BiLSTM+CRF医学病例命名实体识别项目
共 2329字，需浏览 5分钟
· 2021-03-08
向AI转型的程序员都关注了这个号👇👇👇
人工智能大数据与深度学习 公众号：datayx
数据来自CCKS2018的电子病历命名实体识别的评测任务，是对于给定的一组电子病历纯文本文档，识别并抽取出其中与医学临床相关的实体，并将它们归类到预先定义好的类别中。共提供600份标注好的电子病历文本，共需识别含治疗方式、身体部位、疾病症状、医学检查、疾病实体五类实体。
领域命名实体识别问题自然语言处理中经典的序列标注问题， 本项目是采用BiLSTM+CRF构建模型。
病历结构如下图所示：
三、神经网络结构图
四、实验数据
1、数据格式：
评测方提供了四个目录(一般项目, 出院项目, 病史特点, 诊疗经过),四个目录下有txtoriginal文件和txt标注文件,内容样式如下:
一般项目-1.txtoriginal.txt
2、对分类目标进行标记
O非实体部分,TREATMENT治疗方式, BODY身体部位, SIGN疾病症状, CHECK医学检查, DISEASE疾病实体
3、序列标记方法
采用BIO标注：将每个元素（字）标注为“B-X”、“I-X”或者“O”。其中，“B-X”表示此元素所在的片段属于X类型并且此元素在此片段的开头，“I-X”表示此元素所在的片段属于X类型并且此元素在此片段的中间位置，“O”表示不属于任何类型。如：人 O；咳 SIGNS-B；嗽 SIGNS-I。
五、项目介绍
1、transfer_data.py文件
该脚本构建了一个TransferData类，将文本数据转化为实体序列标注数据，作为模型的输入变量。
如，女性，88岁，农民，双滦区应营子村人，主因右髋部。转化为下图序列：
代码 获取方式：
分享本文到朋友圈
关注微信公众号 datayx 然后回复 NER 即可获取。
AI项目体验地址 https://loveai.tech
2、lstm_train.py文件
（1）build_data函数：构建数据集
（3）load_pretrained_embedding函数：加载预训练好的词向量
（4）build_embedding_matrix函数：使用样本数据到词向量中查表，生成训练用的词向量矩阵。
（5）tokenvec_bilstm2_crf_model函数：使用样本词向量作为Embedding输入，构建BiLSTM+CRF模型框架
（6）train_model函数：对模型进行训练
阅读过本文的人还看了以下文章：
基于40万表格数据集TableBank，用MaskRCNN做表格检测
《深度学习入门：基于Python的理论与实现》高清中文PDF+源码
2019最新《PyTorch自然语言处理》英、中文版PDF+源码
《21个项目玩转深度学习：基于TensorFlow的实践详解》完整版PDF+附书代码
PyTorch深度学习快速实战入门《pytorch-handbook》
【下载】豆瓣评分8.1,《机器学习实战:基于Scikit-Learn和TensorFlow》
李沐大神开源《动手学深度学习》，加州伯克利深度学习（2019春）教材
【Keras】完整实现‘交通标志’分类、‘票据’分类两个项目，让你掌握深度学习图像分类
如何利用全新的决策树集成级联结构gcForest做特征工程并打分？
Machine Learning Yearning 中文翻译稿
斯坦福CS230官方指南：CNN、RNN及使用技巧速查（打印收藏）
中科院Kaggle全球文本匹配竞赛华人第1名团队-深度学习与特征工程
不断更新资源
深度学习、机器学习、数据分析、python
搜索公众号添加： datayx
机大数据技术与机器学习工程
搜索公众号添加： datanlp
长按图片，识别二维码