Lightseq用于序列处理和生成的高性能库
LightSeq 是一个高性能的训练和推理库,用于在 CUDA 中实现序列处理和生成。它可以高效计算现代 NLP 模型,例如BERT、GPT、 Transformer等。因此,它最适用于机器翻译、文本生成、对话、语言建模、情感分析和其他具有序列数据的相关任务。
该库建立在 CUDA 官方库(cuBLAS、Thrust、CUB)和自定义内核函数之上, 这些函数专门为 Transformer 模型系列融合和优化。除了模型组件,推理库还提供了基于 TensorRT 推理服务器的易于部署的模型管理和服务后端 。使用 LightSeq,只需少量额外代码即可轻松开发修改后的 Transformer 架构。
特征
以下是 LightSeq 训练库支持的矩阵与 DeepSpeed 对比。
以下是 LightSeq 推理库支持矩阵与 TurboTransformers 和 FasterTransformer 的对比。
评论