h2oGPT真正开源的生成式 AI

h2oGPT 是一个大型语言模型 (LLM) 微调框架和具有文档问答功能的聊天机器人 UI。文档通过为 LLM 提供与指令相关的上下文来帮助他们防止产生“幻觉”。h2oGPT 可以 100% 私密和安全地使用 LLM 和文档嵌入来进行文档问答。

h2oGPT 是一种真正开源的生成式 AI，让组织能够创建自己的大型语言模型，同时保持数据完整性。

支持的操作系统和硬件

GPU模式需要通过torch和transformers来支持CUDA。一个8位的6.9B（或12GB）模型需要使用7GB（或13GB）的GPU内存。8位或4位精度可以进一步减少内存需求。

CPU模式使用GPT4ALL和LLaMa.cpp，例如gpt4all-j，在典型使用中需要约14GB的系统RAM。

在Ubuntu 18-22中的各种NVIDIA GPU上测试了GPU和CPU模式，但任何现代的Linux变体都应该可以工作。在运行Monterey v12.3.1的Macbook Pro上使用CPU模式测试了MACOS支持。