OpenLLM操作大语言模型的开放平台
OpenLLM 是一个生产级的操作大语言模型 (LLM) 的开放平台。支持便捷 Fine-tune 微调、Serve 模型服务、部署和监控任何 LLM。借助 OpenLLM,可以使用任何开源大语言模型运行推理,部署到云端或本地,并构建强大的 AI 应用程序。
OpenLLM 特性包括:
- 先进的 LLM:内置支持各种开源 LLM 和模型运行时,包括 StableLM、Falcon、Dolly、Flan-T5、ChatGLM、StarCoder 等。
- 灵活的 API:只需一个命即可通过 RESTful API 或 gRPC 为 LLM 提供服务,并通过 WebUI、CLI、Python/Javascript 客户端或任何 HTTP 客户端进行查询。
- 自由构建:对 LangChain、BentoML 和 Hugging Face 具有一级支持,可以通过将 LLM 与其它模型和服务组合来轻松创建自己的 AI 应用程序。
- 简化部署:自动生成 LLM 服务器 Docker 镜像或通过 BentoCloud 部署为无服务器端节点。
- 自建 LLM:使用 LLM.tuning() 微调任何 LLM 以满足特定需求。 (即将推出)
支持模型:
Model | CPU | GPU | Installation | Model Ids |
---|---|---|---|---|
flan-t5 | ✅ | ✅ |
pip install "openllm[flan-t5]"
|
|
dolly-v2 | ✅ | ✅ |
pip install openllm |
|
chatglm | ❌ | ✅ |
pip install "openllm[chatglm]"
|
|
starcoder | ❌ | ✅ |
pip install "openllm[starcoder]"
|
|
falcon | ❌ | ✅ |
pip install "openllm[falcon]"
|
|
stablelm | ✅ | ✅ |
pip install openllm |
|
opt | ✅ | ✅ |
pip install openllm |
评论
RedPajama大语言模型
RedPajama项目旨在创建一套领先的全开源大语言模型。目前,该项目已完成了第一步,成功复制了LLaMA训练数据集超过1.2万亿个数据token。该项目由Together、Ontocord.ai、E
RedPajama大语言模型
0
LLaMA大语言模型
LLaMA语言模型全称为"LargeLanguageModelMetaAI",是Meta的全新大型语言模型(LLM),这是一个模型系列,根据参数规模进行了划分(分为70亿、130亿、330亿和650亿
LLaMA大语言模型
0
OPT-175B大语言模型
OPT-175B是Meta开源的大语言模型,拥有超过1750亿个参数——和GPT-3相当。相比GPT-3,OPT-175B的优势在于它完全免费。Meta还公布了代码库、开发过程日志、数据、研究论文和其
OPT-175B大语言模型
0
SALMONN听觉大语言模型
SALMONN是清华大学电子工程系与字节跳动火山语音团队联手开源的全新听觉大语言模型。SALMONN支持语音、音频以及音乐输入,它可以感知和理解不同类型的音频内容输入,并具备多语言语音识别和翻译以及语
SALMONN听觉大语言模型
0