Hugging Face Transformers用于 Pytorch/TensorFlow/JAX 的自然语言处理

Transformers 是为 Jax、PyTorch 和 TensorFlow 打造的先进的自然语言处理。Transformers 提供了数以千计的预训练模型，支持 100 多种语言的文本分类、信息抽取、问答、摘要、翻译、文本生成。它的宗旨让最先进的 NLP 技术人人易用。

Transformers 提供了便于快速下载和使用的API，让你可以把预训练模型用在给定文本、在你的数据集上微调然后通过 model hub 与社区共享。同时，每个定义的 Python 模块均完全独立，方便修改和快速研究实验。

Transformers 支持三个最热门的深度学习库： Jax, PyTorch and TensorFlow — 并与之无缝整合。你可以直接使用一个框架训练你的模型然后用另一个加载和推理。

你可以直接在模型页面上测试大多数 model hub 上的模型。官方也提供了 私有模型托管、模型版本管理以及推理API。

一些例子：

• 用 BERT 做掩码填词
• 用 Electra 做命名实体识别
• 用 GPT-2 做文本生成
• 用 RoBERTa 做自然语言推理
• 用 BART 做文本摘要
• 用 DistilBERT 做问答
• 用 T5 做翻译