简介
用于文本生成推理的 Rust、Python 和 gRPC 服务器。在HuggingFace的生产中用于为 LLM 的 api 推理小部件提供支持。特性：使用简单的启动器为最流行的大型语言模型提供服务Tensor Parallelism 用于在多个 GPU 上进行更快的推理使用服务器发送事件 (SSE... 更多
其它信息
地区
不详
开发语言
Python
Rust
开源组织
无
所属分类
神经网络/人工智能、 LLM（大语言模型）
授权协议
Apache-2.0
操作系统
跨平台
收录时间
2023-09-25
软件类型
开源软件
适用人群
未知
时光轴
里程碑1
LOG0
2023
2023-09
轻识收录
评价
0.0（满分 10 分）0 个评分
什么是点评分
全部评价(
0)
推荐率
100%
推荐
StarCoder代码生成语言模型
StarCoder（150亿参数）是HuggingFace联合ServiceNow发布的免费大型语言模型，该模型经过训练主要用途是可以生成代码，目的是为了对抗GitHubCopilot和亚马逊Code
StarCoder代码生成语言模型
0
Bark文本提示生成音频模型
Bark是由Suno创建的基于转换器的文本到音频模型。Bark可以生成高度逼真的多语言语音以及其他音频-包括音乐、背景噪音和简单的音效。该模型还可以产生非语言交流，如大笑、叹息和哭泣。为了支持研究社区
Bark文本提示生成音频模型
0
RedPajama大语言模型
RedPajama项目旨在创建一套领先的全开源大语言模型。目前，该项目已完成了第一步，成功复制了LLaMA训练数据集超过1.2万亿个数据token。该项目由Together、Ontocord.ai、E
RedPajama大语言模型
0
LLaMA大语言模型
LLaMA语言模型全称为"LargeLanguageModelMetaAI"，是Meta的全新大型语言模型（LLM），这是一个模型系列，根据参数规模进行了划分（分为70亿、130亿、330亿和650亿
LLaMA大语言模型
0