Lightseq用于序列处理和生成的高性能库

联合创作 · 2023-09-26 05:55

LightSeq 是一个高性能的训练和推理库,用于在 CUDA 中实现序列处理和生成。它可以高效计算现代 NLP 模型,例如BERT、GPT、 Transformer等。因此,它最适用于机器翻译文本生成对话语言建模情感分析和其他具有序列数据的相关任务。

该库建立在 CUDA 官方库(cuBLASThrustCUB)和自定义内核函数之上, 这些函数专门为 Transformer 模型系列融合和优化。除了模型组件,推理库还提供了基于 TensorRT 推理服务器的易于部署的模型管理和服务后端 。使用 LightSeq,只需少量额外代码即可轻松开发修改后的 Transformer 架构。

特征

以下是 LightSeq 训练库支持的矩阵与 DeepSpeed 对比。

以下是 LightSeq 推理库支持矩阵与 TurboTransformers 和 FasterTransformer 的对比。

浏览 5
点赞
评论
收藏
分享

手机扫一扫分享

编辑 分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

编辑 分享
举报