arxiv论文整理20230617-0623(目标检测方向)

CrossKD: Cross-Head Knowledge Distillation for Dense Object Detection

摘要： 知识蒸馏（KD）已被验证为一种有效的模型压缩技术，用于学习紧凑的目标检测器。现有的目标检测领域的最先进的KD方法主要基于特征模仿，这通常被认为比预测模仿更好。在本文中，我们展示了真实信号和蒸馏目标之间的优化目标不一致是预测模仿效率低下的关键原因。为了缓解这个问题，我们提出了一种简单而有效的蒸馏方案，称为CrossKD，它将学生检测头的中间特征传递给教师检测头。得到的交叉头预测结果则被强制模仿教师的预测结果。这种蒸馏方式使学生头免于接收来自真实标注和教师预测结果的矛盾监督信号，大大提高了学生的检测性能。在MS COCO上，仅使用预测模仿损失，我们的CrossKD将GFL ResNet-50在1×训练计划下的平均精度从40.2提升到43.7，超过了所有现有的目标检测知识蒸馏方法。

点评： 针对密集目标检测，CrossKD提出了一种新的蒸馏方案，将学生模型的检测头的中间特征传递给教师模型的检测头，然后让学生模型的预测结果去模仿教师模型的预测结果。代码已开源。

ps：承接程序代写， 小程序编写  程序应用 深度学习 卷积神经网络 pytorch paddlepaddle  数据结构 机器学习 目标检测 图像处理

有需要的兄弟们可以在我公众号留言。

ppt（有备注，可直接讲）可以在知识星球获取：

我正在「目标检测er的小圈子」和朋友们讨论有趣的话题，你⼀起来吧？

https://t.zsxq.com/0cM8tmd4l