TigerBot多语言多任务大语言模型
TigerBot 是一个多语言多任务的大规模语言模型 (LLM)。
根据 OpenAI InstructGPT 论文在公开 NLP 数据集上的自动评测,TigerBot-7B 达到 OpenAI 同样大小模型的综合表现的 96%。目前已开源:
- 模型:TigerBot-7B, TigerBot-7B-base,TigerBot-180B (research version),
- 代码:基本训练和推理代码,包括双卡推理 180B 模型的量化和推理代码,
- 数据:预训练 100G,从 2TB 过滤后的数据中经过去噪去重清洗而得;监督微调 1G 或 100 万条数据,按比例涵盖用户指令常见的 10 大类 120 小类任务,
- API: chat, plugin, finetune, 让用户能在半小时内无代码的训练和使用专属于自己的大模型和数据,
- 领域数据:涵盖金融,法律,百科,广邀大模型应用开发者,一起打造中国的世界级的应用。
TigerBot 在 BLOOM 基础上,在模型架构和算法上做了如下优化:
- 指令完成监督微调的创新算法以获得更好的可学习型(learnability),
- 运用 ensemble 和 probabilistic modeling 的方法实现更可控的事实性(factuality)和创造性(generativeness),
- 在并行训练上,我们突破了 deep-speed 等主流框架中若干内存和通信问题,使得在千卡环境下数月无间断,
- 对中文语言的更不规则的分布,从 tokenizer 到训练算法上做了更适合的算法优化。
评论
XVERSE-13B支持多语言的大语言模型
XVERSE-13B 是由深圳元象科技自主研发的支持多语言的大语言模型(LargeLanguageModel),主要特点如下:模型结构:XVERSE-13B使用主流Decoder-only的标准Tra
XVERSE-13B支持多语言的大语言模型
0
书生·浦语多语言大型语言模型
InternLM(书生·浦语)是在过万亿token数据上训练的多语千亿参数基座模型。通过多阶段的渐进式训练,InternLM基座模型具有较高的知识水平,在中英文阅读理解、推理任务等需要较强思维能力的场
书生·浦语多语言大型语言模型
0
CodeFuse-MFTCoder多任务微调代码大模型
Codefuse-MFTCoder是一个开源的多任务代码大语言模型项目,包含代码大模型的模型、数据、训练等。项目框架项目优势多任务:一个模型同时支持多个任务,会保证多个任务之间的平衡,甚至可以泛化到新
CodeFuse-MFTCoder多任务微调代码大模型
0
CodeFuse-MFTCoder多任务微调代码大模型
Codefuse-MFTCoder是一个开源的多任务代码大语言模型项目,包含代码大模型的模型、数据、
CodeFuse-MFTCoder多任务微调代码大模型
0
RedPajama大语言模型
RedPajama项目旨在创建一套领先的全开源大语言模型。目前,该项目已完成了第一步,成功复制了LLaMA训练数据集超过1.2万亿个数据token。该项目由Together、Ontocord.ai、E
RedPajama大语言模型
0