通宵做了近100页PPT,累趴了
NLP从入门到放弃
共 674字,需浏览 2分钟
·
2021-11-07 16:57
大家好,我是颓废了的DASOU;
自从上周讲完VIT模型之后,一直有CV领域的朋友在私下催我讲一下SwinTRM;DASOU持续开放好友位,搜【dasounlp】加好友;
正巧我自己也对SwinTRM很感兴趣,于是看完论文之后,这周几乎每天晚上回到家就开始搞PPT,一不注意就做了将近100页;然后我模拟复述了一遍,删掉了其中的30页,剩余近70张;
做完PPT,周五晚上就继续录制SwinTRM的讲解视频;
我也是没想到啊,我居然连续讲了一个小时,视频在下面,感兴趣的戳一戳~~
说实话,本来,上周两天录制了两个视频,已经巨累了,本想好好休息一下,结果,这周更累了~~
录制完之后,都快说不出话了,视频后面估计大家也能听说我嗓子很疲惫了。
我不敢说自己讲的很好吧,至少很努力了,感兴趣的朋友可以去B站看看,给个三连,给个关注,后续会有更多讲解深度学习知识的视频~~
整个SwinTRM 其实最重要的就两个点,一个点是相对位置信息,一个是移动窗口注意力机制;把握住这两个点,对SwinTRM的理解就到位;
其中相对位置信息的核心点在于可以把每种相对位置信息和att对应的一行信息对应上;移动窗口注意力机制核心点在于mask,mask矩阵的生成是通过窗口索引tensor相减得到的;
好了,就说这么多,感兴趣的去B站看吧;
评论