GPT-J自然语言处理 AI 模型
GPT-J 是一个基于 GPT-3，由 60 亿个参数组成的自然语言处理 AI 模型。该模型在一个 800GB 的开源文本数据集上进行训练，并且能够与类似规模的 GPT-3 模型相媲美。
该模型通过利用 Google Cloud 的 v3-256 TPU 以及 EleutherAI 的 The Pile 数据集进行训练的，历时大约五周时间。
性能对比：
| Model | Weights | Training FLOPs | LAMBADA PPL ↓ | LAMBADA Acc ↑ | Winogrande ↑ | Hellaswag ↑ | PIQA ↑ | Dataset Size (GB) |
|---|---|---|---|---|---|---|---|---|
| Chance | ✔ | 0 | ~a lot | ~0% | 50% | 25% | 25% | 0 |
| GPT-3-Ada‡ | ✘ | ----- | 9.95 | 51.6% | 52.9% | 43.4% | 70.5% | ----- |
| GPT-2-1.5B | ✔ | ----- | 10.63 | 51.21% | 59.4% | 50.9% | 70.8% | 40 |
| GPTNeo-1.3B‡ | ✔ | 3.0e21 | 7.50 | 57.2% | 55.0% | 48.9% | 71.1% | 825 |
| Megatron-2.5B* | ✘ | 2.4e21 | ----- | 61.7% | ----- | ----- | ----- | 174 |
| GPTNeo-2.7B‡ | ✔ | 6.8e21 | 5.63 | 62.2% | 56.5% | 55.8% | 73.0% | 825 |
| GPT-3-1.3B*‡ | ✘ | 2.4e21 | 5.44 | 63.6% | 58.7% | 54.7% | 75.1% | ~800 |
| GPT-3-Babbage‡ | ✘ | ----- | 5.58 | 62.4% | 59.0% | 54.5% | 75.5% | ----- |
| Megatron-8.3B* | ✘ | 7.8e21 | ----- | 66.5% | ----- | ----- | ----- | 174 |
| GPT-3-2.7B*‡ | ✘ | 4.8e21 | 4.60 | 67.1% | 62.3% | 62.8% | 75.6% | ~800 |
| Megatron-11B† | ✔ | 1.0e22 | ----- | ----- | ----- | ----- | ----- | 161 |
| GPT-J-6B‡ | ✔ | 1.5e22 | 3.99 | 69.7% | 65.3% | 66.1% | 76.5% | 825 |
| GPT-3-6.7B*‡ | ✘ | 1.2e22 | 4.00 | 70.3% | 64.5% | 67.4% | 78.0% | ~800 |
| GPT-3-Curie‡ | ✘ | ----- | 4.00 | 69.3% | 65.6% | 68.5% | 77.9% | ----- |
| GPT-3-13B*‡ | ✘ | 2.3e22 | 3.56 | 72.5% | 67.9% | 70.9% | 78.5% | ~800 |
| GPT-3-175B*‡ | ✘ | 3.1e23 | 3.00 | 76.2% | 70.2% | 78.9% | 81.0% | ~800 |
| GPT-3-Davinci‡ | ✘ | ----- | 3.0 | 75% | 72% | 78% | 80% | ----- |
评论
BLOOM自然语言处理大模型
Bloom是用于自然语言处理的大语言模型，包含1760亿个参数，支持46种自然语言（包括中文）和13种编程语言，可以用来回答问题、翻译文本、从文件中提取信息片段，还能像GitHubCopilot一样用
BLOOM自然语言处理大模型
0
Cerebras-GPT自然语言处理领域大模型
CerebrasGPT是由Cerebras公司开源的自然语言处理领域的预训练大模型，其模型参数规模最小1.11亿，最大130亿，共7个模型。与业界的模型相比，Cerebras-GPT几乎是各个方面完全
Cerebras-GPT自然语言处理领域大模型
0
go-freelingGolang 自然语言处理
go-freeling是Golang自然语言处理器。特性：文字符号化拆分句子形态分析后缀处理，附着词素代词的标记化灵活的多字识别收缩裂缝未登录词类别的概率预测命名实体检测词性标注基于图表的浅层分析命名
go-freelingGolang 自然语言处理
0
HanLP自然语言处理
HanLP:HanLanguageProcessing汉语言处理包HanLP是由一系列模型与算法组成的Java工具包，目标是普及自然语言处理在生产环境中的应用。HanLP具备功能完善、性能高效、架构清
HanLP自然语言处理
0
自然语言处理 NLP
腾讯云自然语言处理（NLP）深度整合了腾讯内部顶级的 NLP 技术，依托千亿级中文语料累积，提供16项智能文本处理能力，包括智能分词、实体识别、文本纠错、情感分析、文本分类、词向量、关键词提取、自动摘要、智能闲聊、百科知识图谱查询等，满足各行各业的文本智能需求。
腾讯云
0