搜索
下载APP
fastllm高性能大模型推理库
认领
关注
0
粉丝
fastllm 是纯 C++ 实现的全平台 llm 加速库。支持 Python 调用,chatglm-6B 级模型单卡可达 10000+token / s,支持 glm、llama、moss 基座,手机端流畅运行。功能概述纯 C++ 实现,便于跨平台移植,可以在安卓上直接编译ARM平台支持NEON指
知识
简介
fastllm 是纯 C++ 实现的全平台 llm 加速库。支持 Python 调用,chatglm-6B 级模型单卡可达 10000+token / s,支持 glm、llama、moss 基座,手机端流畅运行。功能概述纯 C++ 实现,便于跨平台移植,可以在安卓上直接编译ARM平台支持NEON指...
更多
其它信息
授权协议
未知
开发语言
C/C++
操作系统
跨平台
软件类型
开源软件
所属分类
神经网络/人工智能、 LLM(大语言模型)
开源组织
无
地区
国产
适用人群
未知
时光轴
里程碑
1
LOG
0
2023
09-25
轻识收录
打卡
我要打卡
我要打卡
评价
0.0
(满分 10 分)
0 个评分
什么是点评分
图片
表情
视频
评价
全部评价( 0)
推荐率 100%
推荐
OpenPPL高性能深度学习推理平台
OpenPPL是基于自研高性能算子库的推理引擎,拥有极致调优的性能;提供云原生环境下的AI模型多后端部署能力,支持OpenMMLab等深度学习模型的高效部署。架构如下:高性能设计微架构友好的任务/数据
OpenPPL高性能深度学习推理平台
OpenPPL 是基于自研高性能算子库的推理引擎,拥有极致调优的性能;提供云原生环境下 的 AI 模
go-netty高性能网络库
go-netty 是大量参考了netty的设计并融合Golang本身的协程特性而开发的一款高性能网络
nanomsg高性能通信库
nanomsg是一个实现了几种“可扩展协议”的高性能通信库;可扩展协议的任务是定义多个应用系统如何通信,从而组成一个大的分布式系统。当前版本nanomsg支持以下协议:配对模式:简单的一对一的通信;总
wast高性能 Java 库
wast是一个轻量级且高性能java语言开发框架和工具包,集成了最快的json库之一和最快的yaml解析库,代码轻量,无任何依赖。 功能内置json模块在性能评测上远远超过曾经的fastjson和ja
nanomsg高性能通信库
nanomsg是一个实现了几种“可扩展协议”的高性能通信库;可扩展协议的任务是定义多个应用系统如何通
YYNetSDK高性能网络库
YYNetSDK是一款集成BSDsocket,windowsIOCP等网络技术的开发包,同时包括线程池,连接池,内存池等主流技术。可以免费用于MMORPGServer、WebGameServer,et
YYNetSDK高性能网络库
YYNetSDK是一款集成BSD socket,windows IOCP 等网络技术的开发包,同时包
quickws高性能 Websocket 库
quickws是一个高性能的websocket库。特性3倍的简单实现rfc6455实现rfc7692内容安装例子服务端客户端配置函数客户端配置参数配置header配置握手时的超时时间配置自动回复pin
Picoev高性能网络库
Picoev是一个C开发的高性能网络库。Picoev在项目下有把Picoev和libevent这些库做对比,作者也提了一下为什么picoev的速度会这么快。 主要有两个原因:picoev几乎所有顺