这个71.9K 的代码库真的有点东西，让人人都可拥有一款免费私人助手
共 2891字，需浏览 6分钟
·
2024-06-20 09:10
大模型可以说是近期最热的话题之一，不管是国外的ChatGPT、llama3等，还是国内的文心一言、通义千问等，都可以说是热的发红、红的发紫，秉承着了解的态度，我在github上发现了跟大模型相关的项目，其star高达71.9k，其就是ollama（https://github.com/ollama/ollama?tab=readme-ov-file），ollama是什么呢？——一个支持在本地运行大语言模型的工具，兼容 Windows、Linux 和 MacOS 操作系统。使用 Ollama，您仅需一行命令即可启动模型，下面让我们一起来看看这个项目。
安装
其支持Windows、Linux、MaxOS操作系统，怎么下载呢？最简单的办法就是进入官网：https://ollama.com/download
模型下载
因为其是一个工具，所以安装后是没有对应的模型的，为了调用模型则需要下载对应的模型，其支持很多款本地大语言模型，完整版可以访问其https://ollama.com/library，下面列举出来几个常用的：
| Model | Parameters | Size | Download |
|---|---|---|---|
| Llama 3 | 8B | 4.7GB | ollama run llama3 |
| Llama 3 | 70B | 40GB | ollama run llama3:70b |
| Phi 3 Mini | 3.8B | 2.3GB | ollama run phi3 |
| Phi 3 Medium | 14B | 7.9GB | ollama run phi3:medium |
| Gemma | 2B | 1.4GB | ollama run gemma:2b |
| Gemma | 7B | 4.8GB | ollama run gemma:7b |
| Mistral | 7B | 4.1GB | ollama run mistral |
| Moondream 2 | 1.4B | 829MB | ollama run moondream |
| Neural Chat | 7B | 4.1GB | ollama run neural-chat |
| Starling | 7B | 4.1GB | ollama run starling-lm |
| Code Llama | 7B | 3.8GB | ollama run codellama |
| Llama 2 Uncensored | 7B | 3.8GB | ollama run llama2-uncensored |
| LLaVA | 7B | 4.5GB | ollama run llava |
| Solar | 10.7B | 6.1GB | ollama run solar |
为了尝鲜各个模型，我本地安装了llama3（Meta）和qwen（阿里）两个模型
ollama pull llama3
ollama pull qwen
启动模型开启聊天之旅
下面分别用两个大模型来回答一些问题：
-
你现在是一个程序员，请用js给我写一个冒泡算 -
请用中文回答：先有的鸡还是先有的蛋
llama3尝试
结果正确但是中文支持还是有待提高呀！！！
qwen尝试
编程水平有待提高呀！冒泡都没写对，差评差评！！
终端对话还是有点难搞，还是来个UI吧！
在ollama的github中给推荐了多个UI界面，选来选取选择了一个26K star的库——open-webui，说干就干，安装看一下效果！由于我是本地运行的，所以直接执行如下指令即可安装：（https://github.com/open-webui/open-webui?tab=readme-ov-file）
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
运行后访问http://localhost:3000 看看效果吧！其可以随意切换我们安装的本地模型、界面也有一种清新脱俗的感觉，给个好评！
体验心得
自己在工作中是重度的ChatGPT用户，体验了llama3、qwen后，感觉其距离GPT4还是有一段距离，但是本地大模型的优势在于数据安全，且安装在本地后能够避免墙的问题，只能说未来可期，让我们一起期待吧！！！