如何在端上高效地部署AI模型

AI应用的部署正逐渐从服务器端走向移动终端和边缘端，覆盖了包括安防、交通、医疗、巡检等等多个行业。服务器上的部署，往往需要通过网络连接来传输数据，因而带来了更大的网络延时。让AI模型在本地硬件上执行推理，不仅可以降低因网络延时带来的问题，而且还能够让用户的数据保存在本地，避免了数据隐私相关的问题。

从人脸识别，到智能家居，再到工业质检应用，市场上有多种多样的AI硬件来满足日益旺盛的端上AI部署的需求。这些硬件公司包括ARM、Qualcomm、MediaTek、瑞芯微、晶晨、安霸、寒武纪等等。这些硬件中，除了传统的CPU、GPU以外，更多是针对特定AI应用场景推出的专用优化芯片。

面对日益多样化的AI硬件，如何挑选适合应用场景的硬件？硬件选定以后，如何充分利用硬件上的异构资源计算，最大化利用端侧推理算力呢？面对端侧有限的资源，如何缩减预测库的体积满足需求呢？对于Paddle平台暂时还不支持的硬件, 如何通过ONNX等方式部署上? 以上的问题，我们都会在今天的课程中一一解答。

飞桨作为国内首个功能完备的深度学习平台，在端侧AI模型部署上，提供了一系列的产品，满足用户的不同场景的部署需求，并且能够实现对硬件算力的充分利用。同时，在端侧还可以结合模型压缩工具PaddleSlim，利用量化训练、剪枝、蒸馏等方法，实现模型的性能进一步加速。除此以外，飞桨还提供了内存优化，预测库裁减等方法，可以有效利用有限的端侧计算资源。

飞桨继四月推出的“服务器端AI部署月” 大获参与者好评之后，五月份还将继续推出“端侧AI部署月”系列线上直播活动。

在这个系列直播课中，我们将为大家详细讲解如何在各种端侧场景实现AI部署。

既有面向移动和边缘端AI部署的轻量化推理引擎的课程，也有如何在移动APP中快速集成AI能力的课程，还有面向浏览器部署的课程。

对于有集成功能要求的伙伴们，我们还有飞桨企业版BML全功能AI开发平台，在本次的系列课程中，也有针对BML开发部署实战的专场课程，从端侧部署难点入手，围绕垃圾分类这一实用项目，对模型边缘部署技术原理和部署详细流程进行深入讲解与实战演示，教你如何快速实现模型压缩及部署，打通模型训练到端部署开发全流程。 

课程干货满满，敬请期待呦！欢迎大家扫码报名参加吧！

扫描下方二维码，立即报名加入技术交流群

“端侧AI部署月”精彩内容抢先看

点击“阅读原文”，立即报名学习。