DeepSpeed基于 PyTorch 的深度学习优化库
DeepSpeed 是一个深度学习优化库,它可以使分布式训练变得容易、高效和有效。
- 10x 更大的模型
- 5x 更快地训练
- 最小的代码更改
DeepSpeed 可以在当前一代的 GPU 集群上训练具有超过千亿个参数的 DL 模型,而与最新技术相比,其系统性能可以提高 5 倍以上。DeepSpeed 的早期采用者已经生产出一种语言模型(LM, Language Model),它具有超过 170 亿个参数,称为 Turing-NLG(Turing Natural Language Generation,图灵自然语言生成),成为 LM 类别中的新 SOTA。
DeepSpeed API 是在 PyTorch 上进行的轻量级封装,这意味着开发者可以使用 PyTorch 中的一切,而无需学习新平台。此外,DeepSpeed 管理着所有样板化的 SOTA 训练技术,例如分布式训练、混合精度、梯度累积和检查点,开发者可以专注于模型开发。同时,开发者仅需对 PyTorch 模型进行几行代码的更改,就可以利用 DeepSpeed 独特的效率和效益优势来提高速度和规模。
评论
GraphLearn-for-PyTorch基于 PyTorch 的图学习库
GraphLearn-for-PyTorch(GLT)是一个基于PyTorch的图学习库,目的是使分布式GNN训练和推理变得简单和高效。GLT利用GPU加速图采样,并利用UVA来减少顶点和边特征的转换
GraphLearn-for-PyTorch基于 PyTorch 的图学习库
0
【深度学习】常见优化器的PyTorch实现
这里主要讲不同常见优化器代码的实现,以及在一个小数据集上做一个简单的比较。备注:pytorch需要升级到最新版本其中,SGD和SGDM,还有Adam是pytorch自带的优化器,而RAdam是最近提出的一个说是Adam更强的优化器,但...
机器学习初学者
0
QNNPACK移动深度学习优化库
QNNPACK(QuantizedNeuralNetworksPACKage)是一款针对移动AI进行优化的高性能内核库。这个库加速了多项操作,包括高级神经网络架构所使用的深度卷积。QNNPACK的目标
QNNPACK移动深度学习优化库
0