KTransformers 大模型推理优化框架认领

‌KTransformers‌是由清华大学的KVCache.AI团队与趋境科技联合发布的开&

SGLang 是一个针对大语言模型和视觉语言模型的快速服务框架&

月之暗面 Kimi 和清华大学 MADSys 实验室联合 9#AISoft、阿里云、华为存&

月之暗面Kimi和清华大学MADSys实验&#

fastllm是纯C++实现的全平台llm加速库。支持Python调用，chatglm-6B级模型单卡可达10000+token/s，支持glm、llama、moss基座，手机端流畅运行。功能概述纯C

fastllm 是纯 C++ 实现的全平台 llm 加速库。支持 Python 调用，chatglm

Facebook开源了FBGEMM，一个针对服务器推理优化的高性能核心库。与其他库不同，FBGEMM最大程度优化了CPU性能，通过降低精度计算来加速深度学习模型。目前Facebook已经在自己的服务中

Facebook 开源了 FBGEMM，一个针对服务器推理优化的高性能核心库。 与其他库不同，FBG

Soot 是一个 Java 优化框架，它能够用来分析、检测、优化及可视化 Java 和 Androi