ONNX Runtime机器学习模型的加速器

联合创作 · 2023-09-26 06:11

ONNX Runtime 是一个跨平台的推理和训练机器学习加速器。

ONNX Runtime 推理可以实现更快的客户体验和更低的成本,支持PyTorch和TensorFlow/Keras等深度学习框架的模型,以及scikit-learn、LightGBM、XGBoost等经典机器学习库。ONNX运行时与不同的硬件、驱动程序和操作系统兼容,并通过利用硬件加速器(如适用)以及图形优化和转换,提供最佳性能。了解更多信息→

ONNX Runtime 训练可以通过对现有 PyTorch 训练脚本的一行添加来加快 Transformer 模型在多节点 NVIDIA GPU 上的模型训练时间。

特性:

  • 内置优化,可提供高达 17 倍的推理速度和高达 1.4 倍的训练速度
  • 支持多种框架、操作系统和硬件平台
  • 在 Office 365、Visual Studio 和 Bing 中使用,每天提供半万亿次推理

ONNX Runtime 推理的示例用例包括:

  • 提高各种 ML 模型的推理性能
  • 在不同的硬件和操作系统上运行
  • 在 Python 中训练但部署到 C#/C++/Java 应用程序中
  • 使用在不同框架中创建的模型训练和执行推理
浏览 20
点赞
评论
收藏
分享

手机扫一扫分享

编辑 分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

编辑 分享
举报