Transformer+self-attention超详解(亦个人心得)
程序员大白
共 4288字,需浏览 9分钟
·
2021-12-12 23:27
点击上方“程序员大白”,选择“星标”公众号
重磅干货,第一时间送达
最近刚开始阅读transformer文献感觉有一些晦涩,尤其是关于其中Q、K、V的理解,故在这里记录自己的阅读心得,供于分享交流
01
1.1 计算顺序
1.2 计算公式详解
补充:最开始的W权值矩阵需要初始化,在后续BP的过程中,W的具体数值会不断更新学习,这样做的好处不仅仅是可以提高模型的非线性程度,还能提高模型拟合能力,通过不断学习让注意力权值正确分布
02
2.1 整体结构
2.2 encoder
2.3 Multi-Head Attention层
2.4 Scaled Dot-Product Attention层
2.5 decoder
2.6 Mask
2.7 关于decoder的输入(包括shifted right)讲解:
推荐阅读
关于程序员大白
程序员大白是一群哈工大,东北大学,西湖大学和上海交通大学的硕士博士运营维护的号,大家乐于分享高质量文章,喜欢总结知识,欢迎关注[程序员大白],大家一起学习进步!
评论
项目管理心得:一个项目经理的个人体会、经验总结
有感于许多人对项目经理这个职位的陌生和含糊,将自己的切身经历和阅读、交流得到的一些经典案例整理出来,有朋友问我,这篇文章出处在哪里?这些经历很多不是一个人的经历,这些总结很多也不是出自一个人之手,如同我们觉得一段代码写的很好,必定会收藏整理成为自己的一部分加以完善共享,接着不断的有人完善共享下去,我们谁都不敢说自己是最聪明的人,但只要不断的学习总结别人已经有的经验,就有可能在最短的时间赶超别人!
要做好一个项目经理,是很有点难的?他首先必须要是技术和管理的化身,其次要具备较好的形象和极佳的口才,同时拥有一定的人格魅力,另外他还要具备一定的设计头脑和审美观,还有很多,不再赘述....在大多数boss的眼里,是没有体系分工的概念或者
世纪卓越周敏
0
谷歌广告投放总结--个人个人个人
借楼替我司打个广告:
出海代理商 独角兽吼 坐标西安环普产业园
游戏&电商&金融&教育各类产品都有
招FB&GG优化师 底薪加绩效加奖金
要求有经验。
有意私信~
另外先挖个坑,会开始系列更FB&GG 投放的总结,欢迎督促大家一起讨论~
————————————————————————
GA 广告投放总结:
服装类电商行业,投了一段时间,小白的心得总结,完全针对这个行业和产品的基本操作总结:
谷歌实际账单的查看(谷歌广告会出现短时间花崩的情况,实际账单以账户为准)
常用参考网站:
https://www.similarweb.com/ 1.发现推荐类似的网站 2.分析一定体量的网站or a
霄汉
0