LocalAIOpenAI 的直接替代品

联合创作 · 2023-09-26 06:49

LocalAI 是一种自主的、社区驱动的、简单的 local OpenAI-compatible API,用go编写。可以作为OpenAI的直接替代品,在消费级硬件的CPU上运行。支持ggml兼容模型,例如: LLaMA, alpaca, gpt4all, vicuna, koala, gpt4all-j, cerebras。

  • OpenAI compatible API
  • 支持多机型
  • 第一次加载后,它会将模型加载到内存中以进行更快的推理
  • 支持提示模板
  • 不 shell-out,但使用 C 绑定来实现更快的推理和更好的性能。使用 go-llama.cpp 和 go-gpt4all-j.cpp

它与 llama.cpp 支持的模型兼容,还支持 GPT4ALL-J 和 cerebras-GPT with ggml

已测试:

它还应该与 StableLM 和 GPTNeoX ggml 模型兼容(未经测试)

Note:你可能需要将旧模型转换为新格式,参见此处以运行gpt4all.

浏览 3
点赞
评论
收藏
分享

手机扫一扫分享

编辑
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

编辑
举报