LocalAIOpenAI 的直接替代品

LocalAI 是一种自主的、社区驱动的、简单的 local OpenAI-compatible API，用go编写。可以作为OpenAI的直接替代品，在消费级硬件的CPU上运行。支持ggml兼容模型，例如： LLaMA, alpaca, gpt4all, vicuna, koala, gpt4all-j, cerebras。

• OpenAI compatible API


• 支持多机型


• 第一次加载后，它会将模型加载到内存中以进行更快的推理


• 支持提示模板


• 不 shell-out，但使用 C 绑定来实现更快的推理和更好的性能。使用 go-llama.cpp 和 go-gpt4all-j.cpp。

它与 llama.cpp 支持的模型兼容，还支持 GPT4ALL-J 和 cerebras-GPT with ggml。

已测试：

• Vicuna


• Alpaca


• GPT4ALL


• GPT4ALL-J


• Koala


• cerebras-GPT with ggml

它还应该与 StableLM 和 GPTNeoX ggml 模型兼容（未经测试）

Note：你可能需要将旧模型转换为新格式，参见此处以运行gpt4all.