Redian新闻
>
高性能!超轻量!AI模型编译器MegCC开源了!让推理引擎体积变小小小小小…

高性能!超轻量!AI模型编译器MegCC开源了!让推理引擎体积变小小小小小…

公众号新闻

目前社区中存在着不少个移动端深度学习推理框架(比如NCNN、MNN),它们为社区用户在移动端部署深度学习提供了相当多的便利,但是这些推理框架有一个共性问题:随着不断迭代以及性能优化,运行时库会逐渐增大,尤其是不同算子 fuse 时,会导致大量长尾算子,使 App 或 SDK 体积变得尾大不掉。


为了解决这个问题,由 MegEngine 团队开源的 MegCC 创新性地使用模型预编译方案,生成模型推理必要的代码,将与模型推理无关的代码去除,从而极大程度减小了推理引擎的体积。其主要方法是将传统框架运行时的必要步骤如计算图优化、Kernel 选择、内存分配等全部移到编译过程中,最大程度减少了 Runtime 时的二进制体积大小,并根据模型信息进行进一步的性能优化。

GitHub 开源地址:https://github.com/MegEngine/MegCC

方案特点


  • 伴随框架的迭代将不再增大推理引擎体积
  • 算子融合可以在编译时根据模型信息生成对应的代码
  • 模型编译时可以获得整个计算图的信息,以便继续进行极致的性能优化
  • 可以吸收社区在代码生成方面的经验用于为 MegCC 生成代码

不同于传统推理框架,MegCC 是一个真实的深度学习模型编译器,具备极轻量的 Runtime 二进制体积、高性能、方便移植、极低内存使用以及快启动等核心特点。用户可在 MLIR上进行计算图优化,内存规划,最后通过预先写好的代码模版进行代码生成。目前,MegCC 已支持 Arm64、Armv7、x86、risc-v 以及单片机平台。
MegCC 架构

使用方法及效果

使用 MegCC 完成模型部署只需要完成以下 3 步:
  1. 模型编译:编译 MegEngine 模型,生成运行这个模型对应的 Kernel 以及优化之后的模型。
  2. Runtime 编译:这个阶段会将 Runtime 和上一步中生成的 Kernel 一起编译成一个静态库。
  3. 集成到应用中:调用上一步编译的静态库的接口进行推理。


详细操作指南见:https://github.com/MegEngine/MegCC/blob/main/doc/how-to-use-chinese.md

以 YOLOX 模型为例,运行效果如下图:


从图中可见,MegCC 生成的推理程序在保证推理性能良好(模型测速结果为 670ms)的情况下,其大小可以达到 95KB。

未来计划

目前 MegCC 仅支持 MegEngine 模型作为输入,其他模型格式可以考虑转换到 ONNX,然后通过 mgeconvert 进行模型格式转换。

预计在未来 2 个月内,MegCC 将支持更多的模型格式编译。同时实现以下进阶功能:

  • 支持 ONNX 模型作为输入
  • 更多的 Kernel fusion
  • 支持更多的后端设备

大家在使用 MegCC 过程中有任何问题,欢迎随时提 issue 告诉我们,也欢迎提 PR 帮助 MegCC 变得更好。

精彩预告

旷视 MegEngine 端侧推理负责人陈其友将于2022 年 11 月 19 日参加 DataFunSummit2022 期间举办的 AI 基础软件架构峰会“深度学习框架论坛”,并带来《MegCC 用模型编译的方式实现超轻量端上高性能推理》主题演讲,从目前端上推理的现状分析,到创新使用模型预编译方案的 MegCC 详解,带你领略新一代 AI 模型编译器 MegCC 的魅力。

演讲提纲:

1. 概述目前端上推理的现状,主要是推理引擎体积方面的情况

2. 介绍 MegCC 的编译器方案

3. 分享「超轻量、高性能、扩展性强」等特性的实现思路

4. 总结 MegCC 的现状、优势以及未来的计划

精彩不容错过,与您相约线上直播~


点击文末阅读原文,立即报名



微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
预告 | 高性能秋冬运动速干衣 & 再也没有了的Modarri高颜值组装模型车潞晨科技实习生招聘:AIGC大模型算法工程师、AI编译器开发工程师、前端开发工程师等大瓜!马斯克自曝:FBI花350万美元让推特删帖,禁言,压下拜登儿子丑闻?超轻量!AI模型编译器MegCC开源,让推理引擎体积变小小小小小……Lapce:一个开发中的快速、轻量级的开源代码编辑器 | Linux 中国推理速度数倍提升,大幅简化多GPU后端部署:Meta发布全新推理引擎AITemplateNotepad++ 替代品开源了,好用 !!!【开源了】撸了一个电子文件签字+合同系统,爽!《山居续忆》:第四章:榆园忆旧: (五) 榆园的人物 (下)狂揽两千星,速度百倍提升,高性能Python编译器Codon开源中科院 AI 团队最新研究发现,大模型可通过自我验证提高推理性能ChatGPT 爆火,揭秘 AI 大模型背后的高性能计算网络ChatGPT爆火,揭秘AI大模型背后的高性能计算网络AirBnb 开源动画引擎 Lottie:采用 Core Animation 提高性能微软工程师展望Rust 2023:重写编译器、解决管理问题一条假推文导致礼来股票急跌,并可能让推特损失数百万美元不要think step by step!谷歌最新自然语言推理算法LAMBADA:「反向链推理」才是答案重磅!阿里开源自研高性能核心搜索引擎Havenask不再圆满的中秋,做过的月饼马斯克让推特网友投票他是否卸任推特CEO… 千万人投票后,他耍赖了??CICC开放2023 Internship,Base香港、北京「内附秋招网申表」美丽与野性共存的冰川国家公园(1)初上“走向太阳之路”更快更强!EfficientFormerV2来了!一种新的轻量级视觉Transformer阿里「杀手锏」级语音识别模型来了!推理效率较传统模型提升10倍,已开源在欧洲思考为什么美国如此强大?肚皮舞中秋晚会(三十二)2.4K star,一个高性能、无侵入的Java性能监控和统计工具,有点东西!Pajar羽绒服一律7折!超轻长款$240!实操1年累积变现50w,中视频真实案例分享(黑)Notepad++ 替代品开源了!重磅!阿里开源自研高性能核心搜索引擎 Havenask令人心动的AI offer(四):AIGC、多模态、强化学习、高性能计算等职位,来自腾讯、博世、超参数、智源研究院、MSRA性能提升 2.5 倍!字节开源高性能 C++ JSON 库 sonic-cpp大规模、高性能,清华、聆心智能推出中文开放域对话预训练开源模型OPD马斯克发起投票,让推友决定自己是否应该卸任CEO,结果...
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。