Nebullvm将 AI 推理速度提高 5-20 倍

Nebullvm 利用多个深度学习（DL）编译器提高 AI 推理能力，只需几行代码就能将 AI 推理的速度提高 5-20 倍.

这个开源库将你的 AI 模型作为输入，并输出一个优化版本，在你的机器上运行速度快 5-20 倍 。Nebullvm 测试多个深度学习编译器，以确定在你的特定硬件上执行你的模型的最佳方式，而不影响你的模型的准确性。

nebullvm 的目标是让任何开发者都能从 DL 编译器中受益，而不必花费大量的时间来理解、安装、测试和调试这项强大的技术。

• Deep learning model agnostic。nebullvm 支持所有最流行的架构，如 transformers、LSTM、CNN 和 FCN。
• Hardware agnostic。该库现在可以在大多数 CPU 和 GPU 上工作，并将很快支持 TPU 和其他深度学习专用 ASIC。
• Framework agnostic。nebullvm 支持最广泛使用的框架（PyTorch、TensorFlow和Hugging Face），并将很快支持更多框架。
• 安全。一切都在你的机器上本地运行。
• 易于使用。只需几行代码就可以安装库和优化你的模型。
• 充分利用最好的深度学习编译器。有大量的 DL 编译器可以优化你的 AI 模型在硬件上的运行方式。开发人员需要花费大量的时间在每个模型部署时安装和测试它们。这个库为你做了这个工作。