ECCV 2020 论文速听-技术圈

目前主流的人脸超分辨率方法大多采用深度卷积神经网络，通过探索局部外观知识来学习低分辨率和高分辨率面部模式之间的映射。然而，大多数这些方法不能很好地利用面部结构和身份信息，并且难以处理具有较大姿势变化的面部图像。本文提出了一种新颖的人脸超分辨率方法，该方法显式地结合了 3D 人脸先验知识，从而抓住了清晰的人脸结构。本文工作是第一个基于对面部属性（例如身份、面部表情、纹理、照明和面部姿势）的参数描述进行融合来探索 3D 可变形知识的工作。此外，先验知识可以很容易合并到任何网络中，并且在提高性能和加快收敛速度方面非常有效。本文算法流程如下，

首先，建立 3D 人脸渲染分支以获得显着的人脸结构和身份信息的 3D 先验知识。
其次，空间注意力模块用于更好地利用此分层信息（即强度相似度、3D 面部结构和身份信息）解决超分辨率问题。

本文提出的人脸超分辨率架构如下图所示。我们的模型包括两个分支: 顶部模块是一个 ResNet-50 网络，用于提取 3D 面部模型（3DMM）的系数并恢复清晰的面部渲染结构。底部模块专用于由面部系数引导的面部超分辨率，并通过空间特征变换（SFT）层将其渲染为清晰的面部结构。

其中，3D 人脸重建过程概括如下，

面部图像的 3D 形状可以通过 3D 面部重建方法从不受约束的 2D 图像中获取。
基于对面部属性（例如性别、身份和独特性）的参数描述的融合，采用 3D 可变形模型（3DMM）来重建 3D 面部先验。

3D 重建的面部将继承面部特征，并呈现清晰的面部成分。

大量的实验表明，与现有技术相比，本文提出的 3D 先验技术具有出色的人脸超分辨率结果。

关于更多的技术细节，有兴趣的同学可以参阅论文^[1]。

⟳参考资料⟲

[1]

论文: https://arxiv.org/pdf/2007.09454v1.pdf

你有没有觉得，

论文太多，根本看不过来！

但又想了解热点、紧跟前沿。

本系列就是让大家解放双眼，

用耳朵更轻松地了解最新的研究工作。

多听，或许可以从另一维度激发你的灵感。