CVPR2021目标检测 | 通过可微分神经渲染数据增强（附github源码及论文下载）-技术圈

1、动机&摘要

在不改变监督学习范式的情况下，我们引入了一种离线目标保护离线数据增强方法，该方法在语义上用新的视图插入训练数据。具体地说，提出的系统基于可微神经渲染生成训练图像的可控视图，以及相应的不涉及人工干预的边界框注释。

首先，在估计深度映射的同时，提取并投影出与像素对齐的图像特征到点云中。然后，用一个目标相机的姿势重新投影它们，并渲染一个新的视图2d图像。以关键点形式出现的目标会在点云中进行标记，以恢复新视图中的注释。它完全兼容在线数据增强方法，如仿射变换、图像混合等。

广泛的实验表明，新方法作为一种免费的工具来丰富图像和标签，可以显著提高训练数据稀缺的目标检测系统的性能。

2、相关工作

Data Augmentation

数据增强是缓解数据稀缺问题的一种强大方法，因为增强数据将代表一组潜在的更全面的数据点，缩小训练和测试集之间的差距。通常，这些方法可以分为data warping和oversampling。data warping增强转换现有的图像，同时保留标签。oversampling增强创建合成实例以添加到训练集中，通常用于重新采样不平衡的类分布。方法也可以分为在线和离线，这取决于何时发生增强过程。

Neural Rendering

在认知计算机视觉领域，大多数现有的任务都与感知有关，即从图像、视频或三维点云感知信息。这是一个二维或三维推理的过程。典型的任务包括目标检测、人体姿态估计、分割、三维形状估计等。在计算机图形领域中，渲染是由几何、材料、光源和摄像机属性定义的三维场景的图像生成过程。

神经渲染的目的是弥合2D和3D处理方法之间的差距，允许神经网络在2D投影上操作时优化3D实体。可微神经渲染的应用包括：新颖的视图合成、语义照片操作、面部和身体重构、再照明、自由视点视频或简单地生成高质量的图像。

新提出的增强方法是受新颖视图综合的启发，它与在线数据增强方法完全兼容，并且可以结合在一起，以新的语义进一步增加数据集。在【C. Bowles, L. Chen, R. Guerrero, P. Bentley, R. Gunn, A. Hammers, D. A. Dickie, M. V. Herna ́ndez, J. Wardlaw, and D. Rueckert, “Gan augmentation: Augmenting training data using generative adversarial networks,” arXiv preprint arXiv:1810.10863, 2018.】中，GAN被描述为一种从数据集“unlock”附加信息的方法。通过神经渲染，进一步以高度可控的方式解锁数据集信息。数据的插值是非线性的，在3D中提供了新的空间语义，这对于目标检测任务是非常有价值的。

3、新框架

对DANR系统的概述如下图所示。该系统的目的是用新的视图图像来增强目标检测数据集，以提高目标检测器的性能。增强图像的数量和相机姿态的变化的程度都是可控的。该系统的核心是建立在一个新的视图合成模型之上，如上图所示。该模型以一个RGB图像I和一系列2D图像关键点Bi（表示边界框注释）作为输入。

DANR

详细描述了数据增强系统。首先，列出了使用的最先进的网络和特定的设置。然后介绍了点云投影过程以及如何自动匹配目标视图中注释的生成。最后描述了用于训练整个系统的损失。

Networks.

使用hourglass network作为深度电子计时器，因为这种类似UNet结构在探索跨多个尺度的全局方面被证明是有利的。估计一个像素的深度需要理解全局特征和局部特征，这对感知相对深度很重要。叠加了两个4层hourglass network，最大频道数为256。在最后一个卷积层上使用了一个1×1滤波器来生成深度贴图。对于点投射后的特征提取器网络工作和细化网络，继续使用Encoder-Decoder networks，但做了一些修改：（1)当输入分辨率设置为512×512时，将特征通道减少到64；(2）用inception-resnet替换了basic resnet block，因为特征的连接进一步巩固了表达能力。