CVPR 2022 | 腾讯AI Lab入选论文解读，关注图像理解、生成、建模及可信AI

来自腾讯AI Lab微信（tencent_ailab）

CVPR（Conference on Computer Vision and Pattern Recognition）是计算机视觉三大顶会之一，也是中国计算机学会推荐的人工智能领域的A类会议。今年会议于 6 月 19 - 24 日以线上线下结合形式举行，据此前披露数据，今年会议投稿量突破了一万，其中 2067 篇论文被接收。

本文将解读腾讯 AI Lab 18 篇入选论文，涵盖图像与视频理解、视觉内容生成、神经辐射场建模、可信AI、具身人工智能等方向。论文完整内容将于会议官方渠道发布，本文为部分论文解读。

数字内容生成是视觉领域中备受关注的任务，内容智能创作有巨大应用价值。

保持几何结构的图像拼接方法

Geometric Structure Preserving Warp for Natural Image Stitching

本文由腾讯AI Lab与新加坡国立大学、西北农林科技大学合作完成。保留场景中的几何结构在图像拼接中起着至关重要的作用。然而，现有的方法大多忽略了由直线或曲线反映的大规模布局，降低了整体拼接质量。

本文提出了一种结构保持拼接方法，可以产生具有自然视觉效果和较少失真的图像。该项工作首先采用基于深度学习的边缘检测来提取各种类型的大规模边缘。然后，对提取的边缘进行采样以构造多组三角形来表示它们的几何结构。作者引入了几何结构保持 (GES) 能量项来鼓励这些三角形进行相似变换。此外，本文提出了一种优化的GES能量项，以合理确定几何结构上采样点的权重，并将其添加到称为GES-GSP的全局相似性先验（GSP）拼接模型中，以实现局部对齐和几何结构保存之间的平滑过渡。

本文通过对拼接数据集的综合实验证明了所提出的 GES-GSP 的有效性。同时实验表明，所提出的方法在几何结构保存方面始终优于几种最先进的方法，并获得更自然的拼接结果。

神经辐射场相关技术是近年来计算机视觉与图形学领域的热点研究问题。如何在不同数据条件下利用神经辐射场高效地进行场景与人物的高真实感建模，并灵活的对神经辐射场中的内容进行有效的编辑，是当下相关研究中核心问题。

1. 去模糊神经辐射场: 从模糊图片中恢复清晰神经辐射场

Deblur-NeRF: Neural Radiance Fields from Blurry Images

本文由腾讯AI Lab主导，与香港科技大学合作完成。由于出色的图像合成表现, 神经辐射场（NeRF）已经在3D场景重建和新视点合成领域获得了广泛的关注。然而在真正的重建过程中，拍摄时的镜头失焦或者相机抖动而带来的成像模糊常常会大大降低重建的精度。

为了解决这个问题，本文首创性地提出了从多个模糊的输入图像重建清晰的神经辐射场，可对模糊成像的过程进行建模，通过对模型合成的模糊结果进行分析从而进行去模糊。这个模糊模型的核心是一个新颖的可变性稀疏模糊核(DSK)模块。它通过对一个模板空间的稀疏模糊核进行变形，来模拟空间上处处不同的模糊核。同时模糊核中的每个点的光学中心也会同时被优化变形，因为模糊的物理过程也会有光学中心的变化。该方法将这个DSK模块参数化为一个多层感知器，因此它对不同的模糊类型都是通用的。同时优化神经辐射场和DSK模块，就可以得到一个清晰的神经辐射场。

该方法可以同时用于去除两种最常见的模糊：由于失焦和由于相机抖动造成的模糊。在合成数据集和真实数据集下的对比实验也证明了本方法超过了几个基线方法。

项目细节可见：https://github.com/limacv/Deblur-NeRF

2. NeRFReN: 支持反射的神经辐射场

NeRFReN: Neural Radiance Fields with Reflections

本文由腾讯AI Lab主导，与北京信息科学与技术国家研究中心、北京雁栖湖应用数学研究院合作完成。神经辐射场技术（Neural Radiance Fields，NeRF）通过利用基于坐标的场景表示，在新视点合成任务上取得了令人惊艳的效果。虽然神经辐射场建模了物体的视角相关特性，但实验表明其只能正确地处理高光等简单的反射现象。对于玻璃、镜子等物体带来的复杂反射，神经辐射场会估计错误的几何，并在某些不具有多视角一致性的场景下得到模糊的视点合成结果。

为此，本工作提出使用两个神经辐射场建模此类场景，其中一个建模真实几何的反射光，另一个建模反射像。针对这种欠约束表示，本工作提出采用几何先验和特殊设计的训练策略来进行解空间的约束。本工作提出的方法在有复杂反射的场景下可以实现高质量的视点合成效果，同时取得明显更优的深度估计结果。

本工作将所提出技术应用在了场景编辑上。在含有复杂反射的场景下取得更理想、可解释性更强的的新视点合成结果，并且可以实现多个场景编辑操作，如反射去除、反射替换等。

项目细节可见：https://bennyguo.github.io/nerfren/

3. 光影幻象：神经辐射场中的时空流转

Hallucinated Neural Radiance Fields in the Wild

本文由腾讯AI Lab主导，与西安交通大学合作完成。神经辐射场(NeRF)因其令人印象深刻的新视点合成能力而备受关注。本文研究了幻象NeRF问题：即从一组旅游中拍摄的图片恢复高保真的不同时间的NeRF。现有的解决方案采用具有可控的外观嵌入的NeRF来在各种条件下渲染新的视点，但无法跨视角一致地渲染未曾见过外观的图像。

为了解决这个问题，本文提出了一个端到端框架来构建一种幻象NeRF，称为Ha-NeRF。具体来说，本文提出了一种外观幻象模块来处理时变的外观，并将这样的外观转换到新的视点当中。针对旅游图像的复杂遮挡问题，该方法引入抗遮挡模块对静态对象进行精确的能见度建模。

在合成数据和真实旅游照片采集上的实验结果表明，该方法不仅能产生理想的外观，而且能从不同视角渲染无遮挡的图像。

项目细节可见：https://rover-xingyu.github.io/Ha-NeRF/

近年来，人工智能算法被广泛地应用到医疗、金融、工业生产等多个重要领域，这些算法在提升生产力的同时，也面临各种风险隐患。可信AI目标于使AI系统所做出的决策能够被理解、被信任，其研究范围包含鲁棒性、公平性、可解释性和隐私保护等。

1. LAS-AT：具有可学习攻击策略的对抗训练 

LAS-AT: Adversarial Training with Learnable Attack Strategy  

本文由腾讯AI Lab主导，与中国科学院大学信息工程研究所国家重点实验室，香港中文大学（深圳）大数据研究院数据科学学院合作完成。

对抗训练通常被描述为一个min-max的优化问题，其性能取决于内部的max优化问题，即对抗样本的生成。以前的大多数方法都采用投影梯度下降，手动指定对抗样本的攻击生成参数。攻击参数的组合可以被称为攻击策略。一些研究表明，在整个训练阶段使用固定的攻击策略生成的对抗样本会限制模型的鲁棒性，并提出在不同的训练阶段使用不同的攻击策略来提高鲁棒性。但是，这些多阶段的手工设计的攻击策略需要大量的专业知识，而且鲁棒性改进有限。

本文通过引入“可学习的攻击策略”的概念，提出了一种新的对抗训练框架，它学习自动生成攻击策略，以提高模型的鲁棒性。该框架由一个使用对抗样本进行训练以提高模型鲁棒性的目标网络和一个生成攻击策略以控制对抗样本生成的策略网络组成。在三个基准数据库上的实验评估表明了该方法的优越性，并且该方法优于现有的对抗训练方法。

2. 基于自监督对抗样本的可泛化的假脸检测方法

Self-supervised Learning of Adversarial Example: Towards Good Generalizations for Deepfake Detection

本文由腾讯AI Lab主导，与阿德莱德大学合作完成。近年来，基于深度学习的人脸造假方法层出不穷，同时，针对这些假脸的检测方法也受到了广泛的关注。但是，现有的假脸检测方法一般只能被用来检测训练集中已知的几种造假方法产生的假图，当测试案例中给出的假脸图片由未知的造假方法生成，这些检测方法往往表现较差。

为了有效缓解泛化性的问题，本文提出了一个简单的原则：一个可以泛化的表征必定会对各种假图都敏感。基于此，本文首先提出在训练过程中用可学习的增广方式来决定多种造假参数，并由这些造假参数来丰富假图的种类；其次，为了增强敏感性，本文让模型在预测人脸图片真假的同时，也同步预测假图的造假参数；最后，为了构造困难的检测样本，该项工作用对抗学习的方式来交替更新增广模型和检测模型。

广泛的实验证明，本文的方法能有效提高基准模型的泛化性，并在多个基准数据集上优于现有的方法。

3. 基于对抗分布迁移的黑盒对抗攻击

Boosting Black-Box Attack with Partially Transferred Conditional Adversarial Distribution

本文由腾讯AI Lab与清华大学、香港中文大学（深圳）、深圳大数据研究院、腾讯数据平台部、美团和鹏程实验室人工智能中心合作完成，提出了一种高效的黑盒攻击方法，更贴近业务的运行环境，可以提供更好的对抗鲁棒性评测，进而推动系统的安全性和可靠性。

由于不需要被攻击模型的模型结构和网络参数等信息，黑盒攻击更贴近实际的运行环境，可以更好的衡量业务系统的潜在威胁。本文研究了一种基于对抗样本分布迁移的黑盒攻击方法。对抗样本的迁移性指在替代模型上生成的对抗样本对目标模型仍然具有一定的攻击性。然而，替代模型和目标模型之间潜在的网络结构、模型参数、训练数据集等方面的不一致性，极大的影响着对抗样本的迁移成功率。

本文提出了一种新的部分迁移机制来缓解这种不一致性，特别建模了基于条件流模型的对抗样本分布，并在替代模型上进行流模型学习。在对目标模型的黑盒攻击过程中，本文仅迁移条件流模型的部分参数，其余参数则基于目标模型优化得到。这种部分迁移策略可以兼顾攻击效率和性能，在多个基准数据集和真实的API系统上的实验验证了方法的有效性。

具身人工智能 (Embodied AI) 指拥有实体、在环境中学习的人工智能，亦即人工智能的具身化。

具身人工智能关注以下几个重点问题：1）搭建供智能体学习的仿真/真实环境 2）具身智能体的学习任务 3）如何学习和解决这些任务。

视觉感知是具身智能的重要组成部分，具身化的智能体如何主动在复杂环境中发展可靠、鲁棒、可泛化的视觉系统，理解实体概念，如何感知能够更好服务于决策与执行的信息，也为视觉的发展带来了新的任务和挑战。         

基于神经二值图匹配的多机器人自主场景重建

Multi-Robot Active Mapping via Neural Bipartite Graph Matching

本文由腾讯AI Lab与斯坦福大学、清华大学、北京大学和山东大学合作完成，主要研究多机器人自主场景重建的问题。该问题的目标是利用最少的时间步实现完整的场景重建，而解决这个问题的关键在于用于实现高效机器人移动的目标位置预测算法。过去的方法要么通过一种贪心策略选择边界点（frontier）作为目标位置，要么通过强化学习来直接回归目标位置，这两种方法在探索效率和场景的重建完整度上都表现欠佳。

本文通过融合上述两种方法提出了一种新颖的多机器人自主场景重建算法。具体而言，本文将该问题简化为二值图匹配，并通过建立机器人和边界点的点与点对应来解决该问题。为了实现更有效的图匹配，本文提出一个多元图神经网络来学习点与点之间的神经距离用于填充图匹配中的邻接矩阵。该项工作通过强化学习最大化长期的时间效率和场景完整度来优化多元图神经网络。该算法仅需要9个场景就可以训练成功，且在多种不同的室内场景和一些机器人上验证了其优越性。