简介
用于文本生成推理的 Rust、Python 和 gRPC 服务器。在HuggingFace的生产中用于为 LLM 的 api 推理小部件提供支持。特性:使用简单的启动器为最流行的大型语言模型提供服务Tensor Parallelism 用于在多个 GPU 上进行更快的推理使用服务器发送事件 (SSE... 更多
其它信息
地区
不详
开发语言
Python
Rust
开源组织
无
所属分类
神经网络/人工智能、 LLM(大语言模型)
授权协议
Apache-2.0
操作系统
跨平台
收录时间
2023-09-25
软件类型
开源软件
适用人群
未知
评价
0.0(满分 10 分)0 个评分
什么是点评分
全部评价(
0)
推荐率
100%