RWKV-LM线性 Transformer 模型

0获赞0粉丝0关注
RWKV 是结合了 RNN 和 Transformer 的语言模型,适合长文本,运行速度较快,拟合性能较好,占用显存较少,训练用时较少。RWKV 整体
简介
RWKV 是结合了 RNN 和 Transformer 的语言模型,适合长文本,运行速度较快,拟合性能较好,占用显存较少,训练用时较少。RWKV 整体结构依然采用 Transformer Block 的思路,其整体结构如图所示:相较于原始 Transformer Block 的结构,RWKV 将 s... 更多
其它信息
地区
国产
开发语言
Python
开源组织
所属分类
神经网络/人工智能、 LLM(大语言模型)
授权协议
Apache
操作系统
跨平台
收录时间
2023-09-25
软件类型
开源软件
适用人群
未知

时光轴

里程碑1
LOG0
2023
2023-09
轻识收录
评价
0.0(满分 10 分)0 个评分
什么是点评分
图片
表情
全部评价( 0)
推荐率 100%
推荐