ONNX Runtime机器学习模型的加速器

ONNX Runtime 是一个跨平台的推理和训练机器学习加速器。

ONNX Runtime 推理可以实现更快的客户体验和更低的成本，支持PyTorch和TensorFlow/Keras等深度学习框架的模型，以及scikit-learn、LightGBM、XGBoost等经典机器学习库。ONNX运行时与不同的硬件、驱动程序和操作系统兼容，并通过利用硬件加速器（如适用）以及图形优化和转换，提供最佳性能。了解更多信息→

ONNX Runtime 训练可以通过对现有 PyTorch 训练脚本的一行添加来加快 Transformer 模型在多节点 NVIDIA GPU 上的模型训练时间。

特性：

• 内置优化，可提供高达 17 倍的推理速度和高达 1.4 倍的训练速度


• 
  
  
  支持多种框架、操作系统和硬件平台
  


• 
  
  
  

  
  在 Office 365、Visual Studio 和 Bing 中使用，每天提供半万亿次推理
  

  
  

ONNX Runtime 推理的示例用例包括：

• 提高各种 ML 模型的推理性能


• 在不同的硬件和操作系统上运行


• 在 Python 中训练但部署到 C#/C++/Java 应用程序中


• 使用在不同框架中创建的模型训练和执行推理