Dalai本地运行 LLaMA 的简单方法

联合创作 · 2023-09-25 21:44

Dalai 是一种在本地机器上运行 LLaMA 超级简单的方法,无需费心构建 cpp 文件、克隆 GitHub 以及下载文件等。一切都是自动化的。用户只需要:“npx dalai llama”


运行



得到



快速开始


安装 7B 模型(默认)并启动 Web UI:



npx dalai llama
npx dalai serve


然后去 http://localhost:3000


以上两个命令执行以下操作:



  1. 首先安装 7B 模块(默认)

  2. 然后在端口 3000 启动一个 web/API 服务器


安装


基础安装(仅限 7B 模型)



npx dalai llama


安装所有模型



npx dalai llama 7B 13B 30B 65B

浏览 29
点赞
评论
收藏
分享

手机扫一扫分享

编辑 分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

编辑 分享
举报