【回顾】专为企业级大模型开发的框架、工具和模型
共 1596字，需浏览 4分钟
·
2024-06-29 19:30
大家好，又见面了，我是 GitHub 精选君！
背景介绍
在当今的企业环境下，很多的公司都在落地大模型相关的应用。但是并不是每个公司都具备相应的专业大模型的人才，能够很好的处理大模型落地过程中碰到的问题。
今天要给大家推荐一个 GitHub 开源项目 llmware-ai/llmware，该项目在 GitHub 有超过 1.6k Star，用一句话介绍该项目就是：“Providing enterprise-grade LLM-based development framework, tools, and fine-tuned models.”。
项目介绍
llmware 是一个专为企业级 LLM 开发的框架、工具和模型。该项目在私有云中将企业知识与 LLM 安全并有效地整合，以便于创建出专业的、基于知识的企业 LLM 应用。主要功能包括：
1、提供高性能的文档解析器以快速处理多种常用文档类型；
2、提供完整的直观的查询方法，如语义查询，文本查询以及混合查询；
3、支持人类参与评估、反馈和纠正 AI 的响应；
4、可灵活地分析和审核 LLM 提示生命周期，等等。
此外，llmware 还提供快速开始使用增强型检索生成（RAG）的教程和视频，以便于让大家探索并掌握这个开源项目。
如何使用
llmware 的安装和使用十分方便，可以通过 pip 命令进行安装。
pip3 install llmware对于 MongoDB 和 Milvus 的使用者，llmware 可以直接通过 Docker Compose 文件进行安装，以便于提供生产级的数据库和向量嵌入能力。安装完成后，只需引入 llmware 库即可开始编写代码。
from llmware.models import ModelCatalog
ModelCatalog().get_llm_toolkit() # get all SLIM models, delivered as small, fast quantized tools
ModelCatalog().tool_test_run("slim-sentiment-tool") # see the model in action with test script included 项目推介
llmware 构建的框架由四大主要组件组成，可以满足全面而多元的业务需要。
以下是该项目 Star 趋势图（代表项目的活跃程度）：
更多项目详情请查看如下链接。
开源项目地址：https://github.com/llmware-ai/llmware
开源项目作者：llmware-ai
关注我们，一起探索有意思的开源项目。
点击如下卡片后台回复：加群，与技术极客们一起交流人工智能、开源项目，一起成长。如果你正在寻求开源项目推广、DevOps、AIGC 大模型、软件开发等领域的付费服务，可参考推文了解详情。