fastllm高性能大模型推理库

0粉丝
fastllm 是纯 C++ 实现的全平台 llm 加速库。支持 Python 调用,chatglm-6B 级模型单卡可达 10000+token /
简介
fastllm 是纯 C++ 实现的全平台 llm 加速库。支持 Python 调用,chatglm-6B 级模型单卡可达 10000+token / s,支持 glm、llama、moss 基座,手机端流畅运行。功能概述纯 C++ 实现,便于跨平台移植,可以在安卓上直接编译ARM平台支持NEON指... 更多
其它信息
地区
国产
开发语言
C/C++
开源组织
所属分类
神经网络/人工智能、 LLM(大语言模型)
授权协议
未知
操作系统
跨平台
收录时间
2023-09-25
软件类型
开源软件
适用人群
未知

时光轴

里程碑1
LOG0
2023
2023-09
轻识收录
评价
0.0(满分 10 分)0 个评分
什么是点评分
图片
表情
全部评价( 0)
推荐率 100%
推荐