命名实体识别工具,支持BertSoftmax、BertCrf、BertSpa,开箱即用
共 2080字,需浏览 5分钟
·
2022-07-31 20:07
向AI转型的程序员都关注了这个号👇👇👇
机器学习AI算法工程 公众号:datayx
nerpy实现了BertSoftmax、BertCrf、BertSpan等多种命名实体识别模型,并在标准数据集上比较了各模型的效果。
https://github.com/shibing624/nerpy
Evaluation
说明:
结果值均使用F1
结果均只用该数据集的train训练,在test上评估得到的表现,没用外部数据
shibing624/bert4ner-base-chinese
模型达到同级别参数量SOTA效果,是用BertSoftmax方法训练, 运行examples/training_ner_model_file_demo.py代码可在各中文数据集复现结果shibing624/bert4ner-base-uncased
模型是用BertSoftmax方法训练, 运行examples/training_ner_model_eng_demo.py代码可在CoNLL-2003英文数据集复现结果各预训练模型均可以通过transformers调用,如中文BERT模型:
--model_name bert-base-chinese
中文实体识别数据集下载链接见下方
QPS的GPU测试环境是Tesla V100,显存32GB
Install
python 3.8+
pip install torch # conda install pytorchpip install -U nerpy
or
pip install torch # conda install pytorchpip install -r requirements.txt
git clone https://github.com/shibing624/nerpy.gitcd nerpypip install --no-deps .
BertSoftmax 模型
BertSoftmax实体识别模型,基于BERT的标准序列标注
机器学习算法AI大数据技术
搜索公众号添加: datanlp
长按图片,识别二维码
阅读过本文的人还看了以下文章:
基于40万表格数据集TableBank,用MaskRCNN做表格检测
《深度学习入门:基于Python的理论与实现》高清中文PDF+源码
2019最新《PyTorch自然语言处理》英、中文版PDF+源码
《21个项目玩转深度学习:基于TensorFlow的实践详解》完整版PDF+附书代码
PyTorch深度学习快速实战入门《pytorch-handbook》
【下载】豆瓣评分8.1,《机器学习实战:基于Scikit-Learn和TensorFlow》
李沐大神开源《动手学深度学习》,加州伯克利深度学习(2019春)教材
【Keras】完整实现‘交通标志’分类、‘票据’分类两个项目,让你掌握深度学习图像分类
如何利用全新的决策树集成级联结构gcForest做特征工程并打分?
Machine Learning Yearning 中文翻译稿
斯坦福CS230官方指南:CNN、RNN及使用技巧速查(打印收藏)
中科院Kaggle全球文本匹配竞赛华人第1名团队-深度学习与特征工程
不断更新资源
深度学习、机器学习、数据分析、python
搜索公众号添加: datayx