↑ 点击蓝字关注极市平台

作者丨南山

来源丨AI约读社

编辑丨极市平台

极市导读

缓解小目标检测问题的方法有很多，例如：多尺度特征学习，数据增强，训练策略，基于上下文的检测和基于GAN的检测等，今天我们介绍一篇通过改进数据扩增方式提升小目标检测的准确率。 >>加入极市CV技术交流群，走在计算机视觉的最前沿

近年来，目标检测算法取得了很好的成绩，但是，小目标和大目标的检测性能差异较大。小目标检测是目标检测中必不可少且具有挑战性的问题，在人脸检测、交通标记、缺陷检测等领域都是其重要挑战。缓解小目标检测问题的方法有很多，例如：多尺度特征学习，数据增强，训练策略，基于上下文的检测和基于GAN的检测等，今天我们介绍一篇通过改进数据扩增方式提升小目标检测的准确率。

论文题目：Augmentation for small object detection

论文链接：https://arxiv.org/abs/1902.07296

代码链接：https://github.com/gmayday1997/SmallObjectAugmentation

01 小目标检测困难的原因

造成小目标检测困难的原因主要有两个：1、小目标的实例较少，2、小目标标注面积占比小。

1.1 小目标实例较少

第一个问题小目标实例较少，作者以 MSCOCO 数据集为例进行分析，训练集中出现的所有目标中有 41.43% 是小的，而只有 34.4% 和 24.2% 分别是中型和大型目标，并在训练集中出现小目标图片约占一半，而 70.07% 和 82.28% 的训练图像分别包含中型和大型物体，如Table 2所示：

1.2 小目标标注面积占比小

不同大小的目标的 Total Object Area 差异很大，经统计，只有 1.23% 的标注像素属于小目标，中型目标占比 10.18%，是小目标的十倍，而有 82.28% 的占比属于大目标。

当前检测器大部分的anchor匹配策略是以anchor和groud truth的IOU来划分正负样本，例如将 anchor 和 GT 匹配后，匹配 IoU≥0.5 的 anchor 会作为正样本参与训练（如下图所示）。然而这种匹配方式更倾向于大目标，会造成了小目标匹配少、大目标匹配多的不平衡性。

02 小目标检测的数据扩增方法

上面两个问题体现出了小目标的检测性能较差的原因之一是：训练数据中小目标的再现性较差，因此，作者提出对小目标样本进行 Oversampling（过采样），然后在对样本里的小目标进行 Copy-Pasting（复制粘贴），以此来提供足够的小目标来和 anchor 进行匹配，以此实现提高小目标检测的性能。

2.1 Oversampling

在训练阶段对有小目标的图像进行Oversampling(过采样)，来解决含有小目标的图像较少的问题，过采样简单来说就是将一张图片重复加入训练几次，这种方式十分简单，但也有效，并且实现方式也很简单只需要将含有小目标的样本多复制几遍并修改名字就行。复制的次数就是oversampleing rate（过采样率），通过控制oversampleing rate来实现大中小的样本数量均衡。

2.2 Copy-Pasting

作者在Oversampling基础上增加了Copy-Pasting（复制粘贴策略），也就是将小目标贴到图像中的任意位置并生成新的标注，并且粘贴的小目标可以进行随机变换（缩放，翻折，旋转等），这种方式通过增加每个图像中小目标的数量，匹配的 anchor 的数量也会随之增加，这进而提升了小目标在训练阶段对 loss 计算的贡献。

作者提出了三种复制粘贴小目标的方式：

1、图像中选择一个小目标，然后在随机位置复制粘贴多次

2、图像中选择许多小目标，并在任意位置复制粘贴它们一次

3、图像中所有的小目标在任意位置复制粘贴多次

下图说明了所提出的 augmentation 策略以及如何在训练中增加匹配 anchor 的数量，从而更好地检测小目标。

03实验结果

3.1 Oversampling

作者做了充足的实验验证了这种扩增方式对小目标性能的提升。首先作者将Baseline（Mask RCNN）与加入Oversampling进行对比，如Table 3 所示，可以看出 Oversampling 不管是在检测还是分割都有所提高，但可能对大尺度目标的检测效果有损害，因此需要根据实际数据进行调整，并不是越大越好。

3.2 Copy-Pasted

接着作者对Copy-Pasting（复制粘贴）的有效性进行了验证，将Baseline（Mask RCNN）与几种组合Oversampling以及Augmentation进行比较如 Table 4所示。主要包括以下几类：

1、用Copy-Pasted后的图像代替原始的图像(表格中的第二行)

2、在上面方法的基础上使用Oversampling(表格中的第三行)可以发现，上述两个的结果相比于Baseline都比较差。

3、在测试的时候，不是在原始的测试集上了，而是用训练集上的Augmentation方法同样去处理Test数据集，性能获得了较大的提高。

作者认为出现这种情况是由于人工复制的不完美性导致的，例如粘贴的目标 mask 和 background 亮度差，这些相对容易被神经网络发现。采用augmentation and oversampling 相结合的方法，取得了较好的效果，augmentation的概率为 0.5，这使得原始目标和 augmented 的目标比例为 2:1。这种设置比单纯的 oversampling 效果更好，验证了所提出的粘贴小对象策略的有效性。

3.3 Copy-Pasted Strategies

作者最后还对三种复制粘贴策略进行了测试：

1、图像中选择一个小目标，然后在随机位置复制粘贴多次；

2、图像中选择许多小目标，并在任意位置复制粘贴它们一次；

3、图像中所有的小目标在任意位置复制粘贴多次。

这里我们简要介绍一下最好的情况，在这三种策略中第二种也就是选择多个小目标进行复制粘贴取得了最好的效果，并且在粘贴三次小目标的效果最好。如图表所示：

04总结

这篇文章分析表明小目标检测性能较差的原因之一是训练数据中小目标数量较少，导致在anchor匹配小目标匹配少，大目标匹配多的不平衡性，也就是训练数据中小目标的再现性较差。因此，作者提出了过采样和复制粘贴的策略通过增加小目标的数量提升小目标检测的性能并且在实验中证明了其有效性。

推荐阅读

深度学习检测小目标常用方法
我们是如何改进YOLOv3进行红外小目标检测的？
解决小目标检测！多尺度方法汇总

添加极市小助手微信（ID : cvmart2），备注：姓名-学校/公司-研究方向-城市（如：小极-北大-目标检测-深圳），即可申请加入极市目标检测/图像分割/工业检测/人脸/医学影像/3D/SLAM/自动驾驶/超分辨率/姿态估计/ReID/GAN/图像增强/OCR/视频理解等技术交流群：每月大咖直播分享、真实项目需求对接、求职内推、算法竞赛、干货资讯汇总、与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企视觉开发者互动交流~

△长按添加极市小助手

△长按关注极市平台，获取最新CV干货

觉得有用麻烦给个在看啦~

小目标检测：数据增强

01 小目标检测困难的原因

02 小目标检测的数据扩增方法

03实验结果

04总结