TensorRT英伟达高性能深度学习推理平台
TensorRT 是一个高性能深度学习推理平台,它包括深度学习推理优化器和运行时,可为深度学习推理应用提供低延迟和高吞吐量。在推理期间,基于 TensorRT 的应用比仅 CPU 平台的执行速度快 40 倍。
TensorRT 基于 CUDA,NVIDIA 的并行编程模型,能够利用 CUDA-X AI 中的库、开发工具和技术,为人工智能、自动机器、高性能计算和图形优化所有深度学习框架的推理。
此库包含 TensorRT 插件和解释器(Caffe 和 ONNX),还有一些演示 TensorRT 平台的使用和功能的示例应用。
评论
OpenPPL高性能深度学习推理平台
OpenPPL是基于自研高性能算子库的推理引擎,拥有极致调优的性能;提供云原生环境下的AI模型多后端部署能力,支持OpenMMLab等深度学习模型的高效部署。架构如下:高性能设计微架构友好的任务/数据
OpenPPL高性能深度学习推理平台
0
PlaidML跨平台高性能深度学习框架
PlaidML 致力于跨平台开发部署的开源高性能深度学习框架。一方面可以让硬件开发者快速集成到框架里,一方面也可以让框架的使用者有接入各种硬件的能力。使开发者者能够在任何设备上部署高性能神经网络允许硬
PlaidML跨平台高性能深度学习框架
0