DeepSpeed基于 PyTorch 的深度学习优化库

联合创作 · 2023-09-26 05:23

DeepSpeed 是一个深度学习优化库,它可以使分布式训练变得容易、高效和有效。

  • 10x 更大的模型
  • 5x 更快地训练
  • 最小的代码更改

DeepSpeed 可以在当前一代的 GPU 集群上训练具有超过千亿个参数的 DL 模型,而与最新技术相比,其系统性能可以提高 5 倍以上。DeepSpeed 的早期采用者已经生产出一种语言模型(LM, Language Model),它具有超过 170 亿个参数,称为 Turing-NLG(Turing Natural Language Generation,图灵自然语言生成),成为 LM 类别中的新 SOTA。 

DeepSpeed API 是在 PyTorch 上进行的轻量级封装,这意味着开发者可以使用 PyTorch 中的一切,而无需学习新平台。此外,DeepSpeed 管理着所有样板化的 SOTA 训练技术,例如分布式训练、混合精度、梯度累积和检查点,开发者可以专注于模型开发。同时,开发者仅需对 PyTorch 模型进行几行代码的更改,就可以利用 DeepSpeed 独特的效率和效益优势来提高速度和规模。

浏览 10
点赞
评论
收藏
分享

手机扫一扫分享

编辑 分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

编辑 分享
举报