MindFormers大模型训练/推理/部署全流程开发套件

MindSpore MindFormers 套件的目标是构建一个大模型训练、推理、部署的全流程开发套件： 提供业内主流的Transformer类预训练模型和SOTA下游任务应用，涵盖丰富的并行特性。 期望帮助用户轻松的实现大模型训练和创新研发。

MindSpore MindFormers 套件基于MindSpore内置的并行技术和组件化设计，具备如下特点：

• 一行代码实现从单卡到大规模集群训练的无缝切换。


• 提供灵活易用的个性化并行配置。


• 能够自动进行拓扑感知，高效地融合数据并行和模型并行策略。


• 一键启动任意任务的训练、评估、推理流程。


• 支持用户进行组件化配置任意模块，如优化器、学习策略、网络组装等。


• 提供Trainer、ModelClass、ConfigClass、pipeline等高阶易用性接口。

目前支持的模型列表如下：

• BERT


• GPT


• OPT


• T5


• MAE


• SimMIM


• CLIP


• FILIP


• Vit


• Swin