BiLSTM+CRF医学病例命名实体识别项目
共 2329字,需浏览 5分钟
·
2021-03-08 05:48
向AI转型的程序员都关注了这个号👇👇👇
人工智能大数据与深度学习 公众号:datayx
数据来自CCKS2018的电子病历命名实体识别的评测任务,是对于给定的一组电子病历纯文本文档,识别并抽取出其中与医学临床相关的实体,并将它们归类到预先定义好的类别中。共提供600份标注好的电子病历文本,共需识别含治疗方式、身体部位、疾病症状、医学检查、疾病实体五类实体。
领域命名实体识别问题自然语言处理中经典的序列标注问题, 本项目是采用BiLSTM+CRF构建模型。
病历结构如下图所示:
三、神经网络结构图
四、实验数据
1、数据格式:
评测方提供了四个目录(一般项目, 出院项目, 病史特点, 诊疗经过),四个目录下有txtoriginal文件和txt标注文件,内容样式如下:
一般项目-1.txtoriginal.txt
2、对分类目标进行标记
O非实体部分,TREATMENT治疗方式, BODY身体部位, SIGN疾病症状, CHECK医学检查, DISEASE疾病实体
3、序列标记方法
采用BIO标注:将每个元素(字)标注为“B-X”、“I-X”或者“O”。其中,“B-X”表示此元素所在的片段属于X类型并且此元素在此片段的开头,“I-X”表示此元素所在的片段属于X类型并且此元素在此片段的中间位置,“O”表示不属于任何类型。如:人 O;咳 SIGNS-B;嗽 SIGNS-I。
五、项目介绍
1、transfer_data.py文件
该脚本构建了一个TransferData类,将文本数据转化为实体序列标注数据,作为模型的输入变量。
如,女性,88岁,农民,双滦区应营子村人,主因右髋部。转化为下图序列:
代码 获取方式:
分享本文到朋友圈
关注微信公众号 datayx 然后回复 NER 即可获取。
AI项目体验地址 https://loveai.tech
2、lstm_train.py文件
(1)build_data函数:构建数据集
(3)load_pretrained_embedding函数:加载预训练好的词向量
(4)build_embedding_matrix函数:使用样本数据到词向量中查表,生成训练用的词向量矩阵。
(5)tokenvec_bilstm2_crf_model函数:使用样本词向量作为Embedding输入,构建BiLSTM+CRF模型框架
(6)train_model函数:对模型进行训练
阅读过本文的人还看了以下文章:
基于40万表格数据集TableBank,用MaskRCNN做表格检测
《深度学习入门:基于Python的理论与实现》高清中文PDF+源码
2019最新《PyTorch自然语言处理》英、中文版PDF+源码
《21个项目玩转深度学习:基于TensorFlow的实践详解》完整版PDF+附书代码
PyTorch深度学习快速实战入门《pytorch-handbook》
【下载】豆瓣评分8.1,《机器学习实战:基于Scikit-Learn和TensorFlow》
李沐大神开源《动手学深度学习》,加州伯克利深度学习(2019春)教材
【Keras】完整实现‘交通标志’分类、‘票据’分类两个项目,让你掌握深度学习图像分类
如何利用全新的决策树集成级联结构gcForest做特征工程并打分?
Machine Learning Yearning 中文翻译稿
斯坦福CS230官方指南:CNN、RNN及使用技巧速查(打印收藏)
中科院Kaggle全球文本匹配竞赛华人第1名团队-深度学习与特征工程
不断更新资源
深度学习、机器学习、数据分析、python
搜索公众号添加: datayx
机大数据技术与机器学习工程
搜索公众号添加: datanlp
长按图片,识别二维码