MLC LLM本地大语言模型

MLC LLM 是一种通用解决方案，它允许将任何语言模型本地部署在各种硬件后端和本地应用程序上。

此外，MLC LLM 还提供了一个高效的框架，供使用者根据需求进一步优化模型性能。MLC LLM 旨在让每个人都能在个人设备上本地开发、优化和部署 AI 模型，而无需服务器支持，并通过手机和笔记本电脑上的消费级 GPU 进行加速。

MLC LLM 支持的平台包括：

• iPhone

• Metal GPU 和英特尔 / ARM MacBook;

• 在 Windows 和 Linux 上支持通过 Vulkan 使用 AMD 和 NVIDIA GPU；

• 在 Windows 和 Linux 上 通过 CUDA 使用 NVIDIA GPU；

• 浏览器上的 WebGPU（借助 MLC LLM 的配套项目 Web LLM）。

MLC LLM 的整体 WorkFlow：