OpenAI炼丹秘籍:教你学会训练大型神经网络
数据派THU
共 3945字,需浏览 8分钟
·
2022-07-16 20:36
来源:新智元 本文约3000字,建议阅读5分钟
本文详细介绍了一些训练大型神经网络的相关技术及底层原理。
想知道那些超大规模神经网络都是怎么训出来的?OpenAI一篇文章总结:除了显卡要多,算法也很重要!
训练流程无并行
数据并行
Pipeline并行
Tensor并行
混合专家系统(MoE)
省内存小妙招
参考资料:
https://openai.com/blog/techniques-for-training-large-neural-networks/
编辑:王菁
校对:龚力
评论