Dalai本地运行 LLaMA 的简单方法

联合创作 · 2023-09-25 21:44

Dalai 是一种在本地机器上运行 LLaMA 超级简单的方法,无需费心构建 cpp 文件、克隆 GitHub 以及下载文件等。一切都是自动化的。用户只需要:“npx dalai llama”

运行

得到

快速开始

安装 7B 模型(默认)并启动 Web UI:

npx dalai llama
npx dalai serve

然后去 http://localhost:3000

以上两个命令执行以下操作:

  1. 首先安装 7B 模块(默认)
  2. 然后在端口 3000 启动一个 web/API 服务器

安装

基础安装(仅限 7B 模型)

npx dalai llama

安装所有模型

npx dalai llama 7B 13B 30B 65B
浏览 13
点赞
评论
收藏
分享

手机扫一扫分享

编辑 分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

编辑 分享
举报