DetCo：用于目标检测的无监督对比学习-技术圈

点击下面卡片关注“AI算法与图像处理”，选择加"星标"或“置顶”

重磅干货，第一时间送达

摘要

无监督对比学习在利用CNN学习图像表征方面取得了很大的成功。与大多数关注于提高图像分类精度的最新方法不同，作者提出了一种新的对比学习方法，名为DetCo，它充分探索了全局图像和局部图像块之间的对比，以学习区分表示用于目标检测。德科有几个吸引人的优点。(1)它是通过研究现有的自我监督方法的缺点而精心设计的，这些方法放弃了对象检测的重要表示。(2)在全局图像和局部小块之间建立分层的中间对比损耗来提高目标检测，同时保持全局表示来进行图像识别。理论分析表明，局部小块实际上去除了图像的上下文信息，提高了互信息的下界，从而更好地进行对比学习。(3)在PASCAL VOC、COCO和cityscape上的大量实验表明，DetCo不仅在目标检测、分割、姿态估计和三维形状预测方面都优于目前最先进的方法，而且在图像分类方面仍然具有竞争力。例如，在PASCAL VOC上，DetCo-100ep达到了57.4 mAP，与MoCov2-800ep的结果相当。此外，在掩码RCNN-C4/FPN/RetinaNet上，DetCo始终以1.6/1.2/1.0 AP优于监督方法。

代码链接1：https://github.com/xieenze/DetCo

代码链接2：https://github.com/open-mmlab/OpenSelfSup

论文创新点

这项工作的主要贡献有三方面。

(1)当自我监督学习表征被转移到下游任务时，图像分类和目标检测的准确性不一致。作者提出了三种潜在的方法来设计适合的无监督借口任务用于目标检测。据作者所知，这是第一次深入研究这一问题的工作。

(2)作者提出了一种新的检测友好的自我监督方法，DetCo，它能够结合多个全局和局部的对比损耗来改进对比学习，以训练用于目标检测的鉴别表示。理论论证表明，DetCo能够提高对比学习中互信息的下界。

(3)在PASCAL VOC[15]、COCO[28]和Cityscapes[6]上进行的大量实验表明，当转移到不同的下游任务，如对象检测、分割、姿态估计和三维形状预测时，DetCo的性能优于以往最先进的方法。

框架结构

与MoCo相比，DetCo的整体管道。(a)是MoCo的框架，仅从全局角度考虑高层次特征和学习对比。(b)是作者的DetCo，它直接添加分层中间对比度和两个额外的局部patch视图作为输入，通过全局和局部表示构建对比度损失。作者的德科通过遵循建议的三个良好实践来提高检测转移能力。注意，T表示图像变换，Ll2g表示交叉局部和全局特征的对比损失。Queueg/l表示不同的内存为全局/本地特性。

实验结果

由DetCo和MoCov2[5]生成的注意力地图。与MoCov2相比，DetCo可以更准确地激活热图中的目标区域。更多的可视化结果见附录。

由DetCo和MoCov2制作的注意力地图。与MoCov2相比，DetCo可以激活更多的热图中的物体区域，并且在物体边界上，DetCo的注意图比MoCov2更准确。放大以获得更好的可视化结果。

结论

在本文中，作者重点设计了一个好的目标检测借口任务。首先，作者详细分析了一系列的自监督方法，认为性能不一致性转移到分类检测任务中。其次，作者提出三个良好的实践来设计一个检测友好的自我监督学习框架。第三，遵循建议的实践，作者提出DetCo，具有层次的中间对比损失和交叉全局和局部对比。它在一系列与检测相关的任务上实现了最先进的性能。作者认为，对于不同的下游任务，不存在单一的最佳无监督借口任务，作者将在今后的工作中进行更多的探索。

论文链接：https://arxiv.org/pdf/2102.04803.pdf

个人微信（如果没有备注不拉群！）

请注明：地区+学校/企业+研究方向+昵称

下载1：何恺明顶会分享

在「AI算法与图像处理」公众号后台回复：何恺明，即可下载。总共有6份PDF，涉及 ResNet、Mask RCNN等经典工作的总结分析

下载2：终身受益的编程指南：Google编程风格指南

在「AI算法与图像处理」公众号后台回复：c++，即可下载。历经十年考验，最权威的编程规范！

下载3 CVPR2021

在「AI算法与图像处理」公众号后台回复：CVPR，即可下载1467篇CVPR 2020论文 和 CVPR 2021 最新论文

点亮，告诉大家你也在看