Transformer细节解读
本系列将对Transformer的关键细节进行解读,尽可能用数学语言阐述,要读懂本系列的读者,只需具备基础的线性代数知识即可。self-attentionattention定义如公式(1)所示:当 时,就是所谓的“self-attention”。在主流...
NLP专栏
0
BERT meet KG第二弹:新训练方式,新问题视角
作者简介:周昆 @Francis Lancelot,中国人民大学博士,导师为文继荣教授和赵鑫教授,研究方向是预训练模型和会话推荐系统。引言:在上一篇文章中,Francis Lancelot:BERT meet Knowledge Graph:预训练模型与知识...
NLP专栏
0
百度文心多项任务分数刷新GLUE榜单,NLP界的「MVP」再次夺冠
机器之心发布机器之心编辑部刷新多项任务分数,百度自研的语义理解技术与平台文心 ERNIE 再次登上了 GLUE 的榜首。近日,自然语言处理领域权威排行榜——GLUE(通用语言理解评估基准)新排名出炉。百度自研的语义理解...
NLP专栏
0