ONNX Runtime机器学习模型的加速器
ONNX Runtime 是一个跨平台的推理和训练机器学习加速器。
ONNX Runtime 推理可以实现更快的客户体验和更低的成本,支持PyTorch和TensorFlow/Keras等深度学习框架的模型,以及scikit-learn、LightGBM、XGBoost等经典机器学习库。ONNX运行时与不同的硬件、驱动程序和操作系统兼容,并通过利用硬件加速器(如适用)以及图形优化和转换,提供最佳性能。了解更多信息→
ONNX Runtime 训练可以通过对现有 PyTorch 训练脚本的一行添加来加快 Transformer 模型在多节点 NVIDIA GPU 上的模型训练时间。
特性:
- 内置优化,可提供高达 17 倍的推理速度和高达 1.4 倍的训练速度
-
支持多种框架、操作系统和硬件平台
-
在 Office 365、Visual Studio 和 Bing 中使用,每天提供半万亿次推理
ONNX Runtime 推理的示例用例包括:
- 提高各种 ML 模型的推理性能
- 在不同的硬件和操作系统上运行
- 在 Python 中训练但部署到 C#/C++/Java 应用程序中
- 使用在不同框架中创建的模型训练和执行推理
评论