手把手带你高效复现最新自监督算法

OpenMMLab 社区开放麦到今天已经办了 3 期啦！第 1 期我们聊了聊基于关键点的动作识别—PoseC3D 的相关内容；第 2 期中，MMPose 的研究员带来了他们关于姿态估计的研究动态，顺带附赠了 MMPose 算法库快速上手介绍；最新的第 3 期中，同济在读生 Alex 从源码的角度，给大家分享了关于 DDP 的实现手段以及使用上的一些 tricks。

如果把人工智能比作一块蛋糕，那么蛋糕的大部分是自监督学习，蛋糕上的糖衣是监督学习，蛋糕上的樱桃是强化学习。Yann Lecun 在他的演讲中引入了“蛋糕类比”来说明自监督学习的重要性。咱先不论这个比喻是否恰当，至少说明了自监督学习在 AI 领域的影响力之大。这么有潜力的方向怎么能不好好学学呢，我们这就安排！第 4 期的社区开放麦就带大家一起来看看最新的主流自监督学习算法。

自监督学习（Self-Supervised Learning），属于无监督学习中的一种方式，主要目的是在非人工标注的数据中来学习到有用的信息，解脱对人工标注这项苦差的依赖。目前一般会把自监督任务分成三个类别：1）基于代理任务学习；2）对比学习；3）掩码图像模型。我们这期内容将从掩码图像模型（Masked Image Modeling）入手，和大家一起来看看自监督算法是如何构造任务驱动模型来进行高效学习的。

赶紧动动手指，点击下方预约按钮，成为学术大佬的日子就在眼前了！

北京时间

2022 年 5 月 12 日（周四）

20: 00 - 20: 40（分享）

20: 40--21: 00（Q&A）

OpenMMLab 算法研究员

负责 MMSelfSup 算法库的开发和维护，同时也负责自监督算法的研究工作。

MMSelfSup 链接

https://github.com/open-mmlab/mmselfsup

近两年来，Masked Image Modeling 逐渐成为图片自监督领域的主流算法，以 BEiT、MAE、SimMIM 和 CAE 为代表。相较于对比学习，Masked Image Modeling 相关模型的训练显得更为复杂，比如使用了相较于 CNN 更为复杂的 Transformer；优化方法上也有显著的不同，比如对比学习中较多采用 SGD、而 Masked Image Modeling 中更多地采用 AdamW。 

除了预训练的差异，在下游任务的评测上面也存在着显著的不同，以 fine-tuning 为代表。MMSelfSup 最近一段时间复现了多篇 Masked Image Modeling 领域的优秀文章，踩了一些坑也总结了一些技巧。我们希望通过这次直播分享，可以帮助大家更加高效地去训练相关模型。

为了方便大家观看，直播将在 OpenMMLab 视频号和 B 站直播间同步播出。在直播间积极参与讨论提出问题，将有机会获得 OpenMMLab 小海象限量周边一份！感兴趣的小伙伴们赶紧关注起来了，开播不迷路，5 月 12 日（周四）晚 8 点，我们不见不散～

👇

👇

同时为了方便大家交流沟通，我们还建立了以【OpenMMLab 社区开放麦】为主题的社群，欢迎大家扫码添加小助手发送关键词“社区开放麦”，直播相关的所有资料都将在群里分享，还能与大佬 1v1，赶紧加入我们吧~