MPT-30B大型语言模型

MPT-30B 是 Mosaic Pretrained Transformer (MPT) 模型系列的一部分，它使用了一个为高效训练和推理而优化的 transformer 架构，并在 1T tokens 的英文文本和代码上从头训练。

这个模型使用 MosaicML LLM 代码库，是由 MosaicML 的 NLP 团队在 MosaicML 平台上进行 LLM 预训练、微调和推理的。

MPT-30B 特点：

• 可商业使用
• 在大量的数据上进行训练
• 由于 ALiBi 的存在，准备好处理极长的输入。
• 能够进行快速训练和推理
• 通过 llm-foundry 资源库配备了高效的开源训练代码

使用

import transformers
model = transformers.AutoModelForCausalLM.from_pretrained(
  'mosaicml/mpt-30b',
  trust_remote_code=True
)