“技术需求”与“技术成果”项目之间关联度计算模型top1-技术圈

向AI转型的程序员都关注了这个号👇👇👇

机器学习AI算法工程公众号：datayx

技术需求库和技术成果库的数据来源有两种：

（1）会员单位发布；

（2）非会员单位官方网站采集。每月新增数据量约3000个项目。根据项目信息的文本含义，为供需双方提供关联度较高的对应信息（需求——成果智能匹配服务）。

技术需求与技术成果之间的关联度分为四个层级：
强相关、较强相关、弱相关、无相关。

人工判断技术需求和技术成果关联度的方法是：
从事技术转移工作的专职工作人员，阅读技术需求文本和技术成果文本，根据个人经验予以标注。

项目代码，数据集获取方式：

关注微信公众号 datayx 然后回复智能匹配即可获取。

数据清洗

对技术成果和技术需求的较短内容进行筛选查看，发现其中存在一定量的空白、“\n”、“未提供。”等无用信息。使用对应标题对无用信息进行替换。

数据增广

对问题进一步化简，可以简化成两个文本之间的关联度计算。

1.那么A文本与B文本之间关联度，同样也是B文本与A文本之间关联度。该方法在仅取标题时可以提升成绩。当加入内容时会造成过拟合，最终未采用该方法。

2.那么假设A文本与B文本之间关联度为4，A文本与C文本之间关联度为3，那么可以假定B文本与C文本之间关联度为3，按照这个思路可以假设关联矩阵

其中A文本与B文本之间关联度为i，A文本与C文本之间关联度为j，那么B文本与C文本之间关联度为R_(i,j)。此方法可增加数据295994条，从中按照原数据集各个关联度等级的比例从中随机取出10000条。该方法我认为具有一定的可能性，但由于训练时间过长、提交次数有限，尝试过的参数均会造成过拟合现象。最终模型中未对数据进行数据增广。

模型

1.标题与内容拼接的孪生BERT模型

2.分别进行标题与内容关联度判别的孪生BERT模型

3.分别进行标题与内容关联度判别的伪孪生BERT模型

最终只采用这个模型，也没有进行融合。当然可以很简单的认为它就是分别使用两个BERT进行相似度判别然后进行拼接。其中进行技术成果标题与技术需求标题关联度计算的BERT采用谷歌开源的BERT-base；进行技术成果内容与技术需求内容关联度计算的BERT采用哈工大讯飞联合实验室发布基于全词覆盖的BERT-WWM。该预训练由于采用了全词覆盖，在多数情况下可以取得更好的效果。在第一个进行技术成果标题与技术需求标题关联度计算的BERT中输入最大长度MaxLenT设置为128，两个标题拼接最大长度也没有超过128个字，同时这样可以减少训练时间和显存需求；在第二个进行技术成果内容与技术需求内容关联度计算的BERT-WWM中输入最大长度MaxLenC设置为512，尽可能多的读取数据内容。两个BERT都采用12layers, 768hidden states, 12heads版本，该模型采用7折交叉验证，其中batch size取16，epoch取8，并在训练时保存较好的模型权值，初始学习率设置成5e-5，后续学习率设置成1e-5。