简介
fastllm 是纯 C++ 实现的全平台 llm 加速库。支持 Python 调用，chatglm-6B 级模型单卡可达 10000+token / s，支持 glm、llama、moss 基座，手机端流畅运行。功能概述纯 C++ 实现，便于跨平台移植，可以在安卓上直接编译ARM平台支持NEON指... 更多
其它信息
地区
国产
开发语言
C/C++
开源组织
无
所属分类
神经网络/人工智能、 LLM（大语言模型）
授权协议
未知
操作系统
跨平台
收录时间
2023-09-25
软件类型
开源软件
适用人群
未知
时光轴
里程碑1
LOG0
2023
2023-09
轻识收录
评价
0.0（满分 10 分）0 个评分
什么是点评分
全部评价(
0)
推荐率
100%
推荐
OpenPPL高性能深度学习推理平台
OpenPPL是基于自研高性能算子库的推理引擎，拥有极致调优的性能；提供云原生环境下的AI模型多后端部署能力，支持OpenMMLab等深度学习模型的高效部署。架构如下：高性能设计微架构友好的任务/数据
OpenPPL高性能深度学习推理平台
0
nanomsg高性能通信库
nanomsg是一个实现了几种“可扩展协议”的高性能通信库；可扩展协议的任务是定义多个应用系统如何通信，从而组成一个大的分布式系统。当前版本nanomsg支持以下协议：配对模式：简单的一对一的通信；总
nanomsg高性能通信库
0
wast高性能 Java 库
wast是一个轻量级且高性能java语言开发框架和工具包，集成了最快的json库之一和最快的yaml解析库，代码轻量，无任何依赖。 功能内置json模块在性能评测上远远超过曾经的fastjson和ja
wast高性能 Java 库
0
YYNetSDK高性能网络库
YYNetSDK是一款集成BSDsocket,windowsIOCP等网络技术的开发包，同时包括线程池，连接池，内存池等主流技术。可以免费用于MMORPGServer、WebGameServer，et
YYNetSDK高性能网络库
0