搜索

CTranslate2Transformer 模型的快速推理引擎

0粉丝
CTranslate2 是一个 C++ 和 Python 库，用于使用 Transformer 模型进行高效推理。该项目实现了一个自定义运行时，应用了许多性能优化技术，如权重量化、层融合、批量重新排序等，以加速和减少Transformer 模型在 CPU 和 GPU 上的内存使用。目前支持以下模型类
知识
简介
CTranslate2 是一个 C++ 和 Python 库，用于使用 Transformer 模型进行高效推理。该项目实现了一个自定义运行时，应用了许多性能优化技术，如权重量化、层融合、批量重新排序等，以加速和减少Transformer 模型在 CPU 和 GPU 上的内存使用。目前支持以下模型类... 更多
其它信息
授权协议
MIT
开发语言
C/C++ Python
操作系统
跨平台
软件类型
开源软件
所属分类
神经网络/人工智能、 机器学习/深度学习
开源组织
无
地区
不详
适用人群
未知

时光轴

里程碑1
LOG0
2023
09-26
轻识收录
打卡
我要打卡
我要打卡
评价
0.0（满分 10 分）0 个评分
什么是点评分
图片
表情
全部评价( 0)
推荐率 100%
推荐
Tengine Lite嵌入式设备推理引擎
TengineLite 由 OPENAILAB 主导开发，该项目实现了深度学习神经网络模型在嵌入式设备上快速、高效部署。为实现众多 AIoT 应用中跨平台部署，本项目基于原有Tengine项目使用 C
Simple Rule Engine推理规则引擎
SRE (Simple Rule Engine) 是一个轻量级的正向推理的推理规则引擎，基于 .NE
Simple Rule Engine推理规则引擎
SRE(SimpleRuleEngine)是一个轻量级的正向推理的推理规则引擎，基于.NET开发，使用XML编写规则。
fastllm高性能大模型推理库
fastllm 是纯 C++ 实现的全平台 llm 加速库。支持 Python 调用，chatglm
fastllm高性能大模型推理库
fastllm是纯C++实现的全平台llm加速库。支持Python调用，chatglm-6B级模型单卡可达10000+token/s，支持glm、llama、moss基座，手机端流畅运行。功能概述纯C
AI00 RWKV Server基于 RWKV 模型的推理 API 服务器
AI00 RWKV Server是一个基于RWKV模型的推理API服务器。支持VULKAN推理加速，
DeepRec稀疏模型业务场景的训练/预测引擎
DeepRec是基于TensorFlow1.15,Intel-TensorFlow和NVIDIA-TensorFlow之上构建的针对搜索、推荐、广告场景的训练、推理引擎。背景稀疏模型，是指在模型结构中
AI00 RWKV Server基于 RWKV 模型的推理 API 服务器
AI00RWKVServer是一个基于RWKV模型的推理API服务器。支持VULKAN推理加速，可以在所有支持VULKAN的GPU上运行。不用N卡！！！A卡甚至集成显卡都可加速！！！无需臃肿的pyto
DeepRec稀疏模型业务场景的训练/预测引擎
DeepRec 是基于 TensorFlow1.15, Intel-TensorFlow和NVIDI
MoyaMapper基于 Moya 和 SwiftyJSON 的快速解析模型工具
MoyaMapper是基于Moya和SwiftyJSON封装的工具，以Moya的plugin的方式来实现间接解析，支持RxSwift。Usage一、注入定义一个继承于ModelableParamete