本文约3100字，建议阅读10分钟
        
本文在此会介绍几个适合私人部署的最新大模型，然后手把手部署到电脑及手机。
       
      
     
    
   

大模型无疑是此次AI革命的主角，大模型基于Scaling Law（缩放定律）。简单的说，就是数据越多，参数越大，算力越强，模型最终的能力就越强。随着模型参数和预训练数据规模的增加，模型能力与任务效果不断改善，展示出了一些小规模模型所不具备的“涌现能力”。

随着大模型时代的逐步来临，以ChatGPT为代表的前沿大模型技术正逐步在经济、法律、社会等诸多领域展现其重要价值。与此同时，众多AI企业纷纷推出开源大模型，其规模正遵循扩展定律实现指数级增长。

然而，一个不可忽视的趋势是，大模型的体积正在逐渐精简，使得私有化部署成为可能。这一需求显得尤为重要，特别是在对个人隐私保护要求极高的场景中。想象一下，一个能够深入了解你各类数据的AI机器人，在无需联网传输数据的情况下，直接在你的设备上运行并为你提供决策支持，这无疑大大增强了用户的信任。而如果这种AI只存在企业的“云服务器”上，尽管性能更强，但安全性及可靠性就堪忧了。

本文在此会介绍几个适合私人部署的最新大模型，然后手把手部署到电脑及手机。不过，丑话说在前，现阶段不要对“本地私有部署的大模型”有过高的期待哈。那我们开始吧！

一、开源大模型

目前备受欢迎的大模型，诸如ChatGPT和Bard，都建立在专有的闭源基础之上，这无疑限制了它们的使用，并导致技术信息的透明度不足。

然而，开源AI大模型（LLMs）正逐渐崭露头角，它们不仅增强了数据的安全性和隐私保护，还为用户节省了成本，减少了对外部依赖，实现了代码的透明性和模型的个性化定制。这里我重点介绍下Meta推出的Llama 3 和 微软的 Phi3 ， 这两款算是开源大模型的顶流，是“小而美”的大模型，而且方便部署。

1、Llama 3

Meta 重磅发布两款开源Llama 3 8B与Llama 3 70B模型，供外部开发者免费使用。Meta表示，Llama 3 8B和Llama 3 70B是目前同体量下，性能最好的开源模型。

LLaMA是开源模型的顶流，众多国内的大型模型均源于它的构建！它通过人类反馈的强化学习 （RLHF） 进行了微调。它是一种生成文本模型，可以用作聊天机器人，并且可以适应各种自然语言生成任务，包括编程任务。从其分享的基准测试可以看出，Llama 3 400B+ 的实力几乎媲美 Claude 超大杯以及新版 GPT-4 Turbo，虽然仍有一定的差距，但足以证明其在顶尖大模型中占有一席之地。

GitHub项目地址：https://github.com/meta-llama/llama3

2. Phi-3

Phi是微软AI研究院新推出的开源小型语言模型，适用于商业使用，其优势在于体积小、资源需求少。该模型包括Phi-3-Mini、Phi-3-Small和Phi-3-Medium三种规模。Phi-3-Mini仅有3.8B参数，但在关键基准测试中表现出色，与大型模型如Mixtral 8x7B和GPT-3.5相当。更大的Small和Medium版本在扩展数据集的支持下表现更卓越。《Phi-3 技术报告：一个能跑在手机上的大模型》：https://arxiv.org/abs/2404.14219

小结

从基准测试上看，Llama 3 8B和Phi3 3.8B小模型都有较好的效果，它们不仅仅都是规模小，其实优化方法还有一定相似的。

决定大模型性能有三要素：框架，数据和参数，参数既然要固定是小规模的，框架在这么小参数下做MOE也没意义，因此他们主要是在数据这个要素上下功夫，通过提高数据的数量或质量，从而提升小模型的性能表现。这也为后面精简大模型提供了方向！

二、电脑部署的流程

这里首先介绍一个大模型部署的神器：Ollama，它可以支持Llama 3、Mistral、Gemma等大型语言模型的启动并运行。

通过Ollama在电脑上部署大模型，基本只要简单的两小步：1、下载安装Ollama  2、运行大模型（完）

具体以Windows为例，首先到官网或文末获取。下载Ollama后，然后一路确认就安装好了。

官网下载链接 https://github.com/ollama/ollama

安装完Ollama后，然后打开命令行，运行命令【ollama run llama3】 ，就可以下载并运行llama3大模型了（其他模型的运行命令如上），初次下载模型的会比较慢，下载完就可以愉快地对话了。

Ollama还支持其他功能如，图片等多模态输入、传入提示词调教模型等，具体可以看下文档。

三、手机部署的流程

相比于电脑，手机部署大模型其实意义更大，手机与大家的生活更为密切相关，而且手机上也有大量的个人数据更方便后续的交互。当下大家可能都有好几个闲置手机，如果手机性能不拉跨的话，跑个大模型还是很酷的。我的旧手机是小米8，性能算还行吧~（雷总,请打钱）。

但是手机上部署会麻烦一丢丢，与电脑部署差不多，但需要先在手机上安装配置linux环境，虽然安卓手机的底层是基于linux内核， 但要重装个Linux难度可太大了。好在我发现了另外一个神器：Termux，它是一个Android上的终端模拟器，可以在Android设备上运行许多Linux命令和工具。Termux-app可以在F-Droid官网下载安装或文末获取。

官网下载链接：https://github.com/termux/termux-app/releases

安装后打开Termux如下图。（如有要打开多个Linux窗口，左上角右滑点击New session就可以。）

接下来，通过Termux +Ollama就可以在手机上部署大模型了：

第一步 ，借助Termux，在上面使用proot-distro安装个Linux系统。 （proot-distro允许用户在 Termux 中安装、卸载和运行各种 Linux 发行版，包括 Ubuntu、Debian、Arch Linux 等。这样，用户就可以在他们的 Android 设备上使用完整的 Linux 环境，包括安装和运行 Linux 软件包。）

// 先来安装proot-distropkg install proot-distro//使用proot-distro安装一个debianproot-distro install debian// 安装成功后通过login命令就直接进入debian，为发行版启动一个root shellproot-distro login debian

第二步，同电脑的流程，安装Ollama，下载及运行大模型。

//进入之后再来安装ollamacurl -fsSL https://ollama.com/install.sh | sh
// 安装完毕可以查看ollama版本进行验证，出现版本号之后就可以使用ollamaollama -v

// 后台开启ollama服务nohup ollama serve &
//运行大模型（其他模型的命令如下图，可通过ollama list查看模型） ollama run phi3

第一次要下载安装软件及运行大模型会比较慢，一小时左右吧。（安装完了，后面再次使用，只要运行上面的login debian系统、Ollama服务、运行大模型后就可以使用了。）

感觉手机上跑代码，其实有种说不出来的趣味。手机上一行一行代码简陋地输入，然后看着屏幕一点点的输出，感觉实在太酷了。有兴趣的同学，可以装个远程软件Tailscale、todesk之类的，同过远程电脑上码代码，就更有味了。（不足就是手机算力跟不上，大模型回复太慢了，也比较耗电。）

四、本地大模型的体验

模型表现：大模型表现权威的数据可以看一些相关的测评，比如下图。

在这里我只是简单测试了下手机本地部署的大模型（llama3 、Phi3），并谈谈个人的体验。总的来说，llama3各项表现中更为稳定，Phi可能有时会有差错，但是响应速度更快啊，综合感觉Phi更好用些。

响应速度：受限于本地手机、电脑的性能，电脑如果有GPU可能响应还好点。但手机回复真的慢，等了几分钟就只能回几个字。比较明显的是Phi3 回应的速度会比llama3来的快，而从模型规模上面llama3 8B也差不多是phi3 3.8B的两倍了。

中文能力：中文肯定是这几个开源模型的弱项，问一些比较不常见的问题，中文说着说着，就开始飚起来英文了。很多中文表达不清，让它们讲个笑话内容也很尬。

但这也是没法避免的，毕竟归到底层原因，高质量的中文数据集远比不上英文，这个数据层面差异后面肯定也是会被不断放大。中文方面的任务，感觉llama内容会比phi3来的好一些。有兴趣还可以试试 llama的中文变种llama3-Chinese

llama3

phi3

代码能力：看着都有模有样的，但还是可以看出来Phi3有一些语法错误。

llama3

phi3

数学推理：两个看着都还不错，Phi3感觉更好些。

llama3

phi3

安全性：两个都有不错的合规意识

llama3

phi3

五、结语

文末简单说两句，虽然现在AI的落地的应用还比较少，但技术的发展需要时间，再者大模型的高昂推理成本限制了其实用性。然而，有了小模型如Llama 3 和Phi3 ，大模型实用化的道路变得更加清晰。虽然小模型的训练成本较高，但推理成本低，整体上更省钱，特别是在服务大量用户时，高性能的小模型使得AI更容易摆脱成本限制，更有效地应用于各种场景。一个能自己本地部署定制的AI，别提能玩的会有多溜了~

相信后面，通过模型优化、定制AI芯片等带来的算力提升，越多“小而美”的AI大模型不久就会普及到我们生活！

本文到此为止，大家玩的愉快，别忘了点赞哦！有疑问可以留言评论哦~

编辑：黄继彦