MLC LLM本地大语言模型
MLC LLM 是一种通用解决方案,它允许将任何语言模型本地部署在各种硬件后端和本地应用程序上。
此外,MLC LLM 还提供了一个高效的框架,供使用者根据需求进一步优化模型性能。MLC LLM 旨在让每个人都能在个人设备上本地开发、优化和部署 AI 模型,而无需服务器支持,并通过手机和笔记本电脑上的消费级 GPU 进行加速。
MLC LLM 支持的平台包括:
-
iPhone
-
Metal GPU 和英特尔 / ARM MacBook;
-
在 Windows 和 Linux 上支持通过 Vulkan 使用 AMD 和 NVIDIA GPU;
-
在 Windows 和 Linux 上 通过 CUDA 使用 NVIDIA GPU;
-
浏览器上的 WebGPU(借助 MLC LLM 的配套项目 Web LLM)。
MLC LLM 的整体 WorkFlow:
评论
大模型LLM论文整理
LLMs 论文研读社作者:杨夕介绍:该仓库主要记录 LLMs 算法工程师相关的顶会论文研读笔记(多模态、PEFT、小样本QA问答、RAG、LMMs可解释性、Agents、CoT)LLMs 九层妖塔 地址:https://github.com/km1994/LLMsNineStoryDemonTowe
DayNightStudy
0
大模型LLM论文整理
LLMs 论文研读社作者:杨夕介绍:该仓库主要记录 LLMs 算法工程师相关的顶会论文研读笔记(多模态、PEFT、小样本QA问答、RAG、LMMs可解释性、Agents、CoT)LLMs 九层妖塔 地址:https://github.com/km1994/LLMsNineStoryDemonTowe
DayNightStudy
0
Web LLM将语言模型聊天直接带到 Web 浏览器上
WebLLM是一个可将大型语言模型和基于LLM的聊天机器人引入Web浏览器的项目。一切都在浏览器内运行,无需服务器支持,并使用WebGPU加速。这开辟了许多有趣的机会,可以为每个人构建AI助手,并在享
Web LLM将语言模型聊天直接带到 Web 浏览器上
0
Web LLM将语言模型聊天直接带到 Web 浏览器上
Web LLM 是一个可将大型语言模型和基于 LLM 的聊天机器人引入 Web 浏览器的项目。一切都
Web LLM将语言模型聊天直接带到 Web 浏览器上
0