OpenPPL高性能深度学习推理平台

OpenPPL 是基于自研高性能算子库的推理引擎，拥有极致调优的性能；提供云原生环境下 的 AI 模型多后端部署能力，支持 OpenMMLab 等深度学习模型的高效部署。

架构如下：

高性能

设计微架构友好的任务/数据/指令等多级并行策略，自研 NV GPU、 x86 CPU 计算库，满足部署场景对神经网络推理、常用图像处理的性能需求

• 支持 GPU T4 平台 FP16 推理


• 支持 CPU x86 平台 FP32 推理


• 核心算子优化，平均性能领先业界

OpenMMLab 部署

支持 OpenMMLab 检测、分类、分割、超分等系列前沿模型，同时提供模型前后处理所需图像处理算子

• 遵循 ONNX 开放标准，提供 ONNX 转换支持


• 支持网络动态特性


• 提供 MMCV 算子高性能实现

云上多后端部署

面向云端异构推理场景，支持多平台部署

• 支持 x86 FMA & AVX512、NV Turing 架构


• 支持异构设备并行推理