搜索

Mooncake 大模型推理架构

0粉丝
月之暗面 Kimi 和清华大学 MADSys 实验室联合 9#AISoft、阿里云、华为存&
知识
简介
月之暗面 Kimi 和清华大学 MADSys 实验室联合 9#AISoft、阿里云、华为存&... 更多
其它信息
授权协议
Apache-2.0
开发语言
C/C++Google GoRust
操作系统
跨平台
软件类型
开源软件
所属分类
神经网络/人工智能、LLM（大语言模型）
开源组织
无
地区
国产
投递者
白开水不加糖
适用人群
未知

时光轴

里程碑1
LOG12
2025
02-18
轻识收录
打卡
我要打卡
我要打卡
评价
0.0（满分 10 分）0 个评分
什么是点评分
图片
表情
全部评价( 0)
推荐率 100%
推荐
Mooncake 大模型推理架构
月之暗面 Kimi 和清华大学 MADSys 实验室联合 9#AISoft、阿里云、华为存&
SGLang 大模型推理框架
SGLang 是一个针对大语言模型和视觉语言模型的快速服务框架&
SGLang 大模型推理框架
SGLang 大模型推理框架
0
fastllm高性能大模型推理库
fastllm 是纯 C++ 实现的全平台 llm 加速库。支持 Python 调用，chatglm
KTransformers 大模型推理优化框架
‌KTransformers‌是由清华大学的KVCache.AI团队与趋境科技联合发布的开&
fastllm高性能大模型推理库
fastllm是纯C++实现的全平台llm加速库。支持Python调用，chatglm-6B级模型单卡可达10000+token/s，支持glm、llama、moss基座，手机端流畅运行。功能概述纯C
KTransformers 大模型推理优化框架
‌KTransformers‌是由清华大学的KVCache.AIV
SkyThought 开源推理 AI 模型
Sky-T1：在450美元以内训练你自己&#x
SkyThought 开源推理 AI 模型
Sky-T1：在 450 美元以内训练你自己的 O1 预览模型。 该存储库包含
Text Generation Inference大语言模型文本生成推理
用于文本生成推理的Rust、Python和gRPC服务器。在HuggingFace的生产中用于为LLM的api推理小部件提供支持。特性：使用简单的启动器为最流行的大型语言模型提供服务TensorPar