CVPR 2021 人脸编辑GAN汇总

1，Exploiting Spatial Dimensions of Latent in GAN for Real-time Image Editing

• 生成对抗网络 (GAN) 从随机潜在向量Z合成逼真的图像。虽然通过潜在向量能一定程度上控制合成，但存在以下问题：i) 将真实图像投影到潜在向量的优化耗时，ii) 通过编码器的特征嵌入难精确。提出StyleMapGAN：中间潜在空间具有空间维度，且替代AdaIN，更准确控制。

• https://github.com/naver-ai/StyleMapGAN

2，High-Fidelity and Arbitrary Face Editing

• 循环一致性广泛用于人脸编辑。然而，生成器倾向于为满足循环一致性的约束，无法保持丰富细节。这项工作提出HifaFace，从两个角度解决上述问题。首先，通过将输入图像的高频信息直接馈送到生成器的末端来减轻生成器合成丰富细节的压力。其次，采用额外的判别器来鼓励生成器合成丰富的细节。具体来说，应用小波变换将图像变换到多频域，其中高频部分可用于恢复丰富的细节。注意到，对属性进行细粒度和更广泛的控制对于人脸编辑非常重要。为了实现这一目标，提出了一种新的属性回归损失。

3，Hijack-GAN: Unintended-Use of Pretrained, Black-Box GANs

• GAN模型具有高度非线性的潜在空间，本文通过迭代方案实现对图像生成过程的控制。代码可在 https://github.com/a514514772/hijackgan

4，Linear Semantics in Generative Adversarial Networks

• 生成对抗网络 (GAN) 能够生成高质量的图像，但仍难明确指定合成图像的语义。这项工作旨在更好地理解 GAN 的语义表示，从而实现语义控制。

• 本文发现训练好的GAN以一种非常简单的方式在其内部特征图中编码图像语义：特征图的线性变换足以提取生成的图像语义。为了验证这种简单性，对各种 GAN 和数据集进行了大量实验；并且由于这种简单性，能从少量（例如 8 个）标记图像中为经过训练的 GAN 学习语义分割模型。最后利用这种发现，提出少样本图像编辑方法。代码https://github.com/AtlantixJJ/LinearGAN

5，DeFLOCNet: Deep Image Editing via Flexible Low-level Controls

• 在图像编辑场景中，往往会有一些用户交互，比如期望的内容草图、颜色等提示线索。现有方法将输入图像和用户交互线索用于CNN 输入，但相应的特征表示不足以传达用户意图细节，从而导致生成内容不佳。

• 本文提出DeFLOCNet，依赖于深度编码器-解码器保留输入信息在深度特征表示。在每个跳跃连接层中，设计结构生成块，并将这些用户提示直接注入每个结构生成块中。同时，DeFLOCNet还有另一个用于纹理生成和细节增强的解码器分支。

• 代码可在 https://github.com/KumapowerLIU/DeFLOCNet

6，L2M-GAN: Learning to Manipulate Latent Space Semantics for Facial Attribute Editing

• 一般来说，深度人脸属性编辑模型力求满足两个要求：（1）属性正确性——目标属性应该正确出现在编辑后的人脸图像上；(2) 不相关保存——任何不相关的信息（如身份）在编辑后不应更改。。

• 本文提出一种潜在空间分解模型，称为L2M-GAN，它是端到端学习的，可有效编辑局部和全局属性。（1）GAN 的潜在空间向量被分解为属性相关和不相关的码，并施加正交性约束以确保解开。(2) 学习一个属性相关的转换器来操作属性值；

7，One Shot Face Swapping on Megapixels

• 换脸既有娱乐、人机交互等正面的应用，也有DeepFake对政治、经济等的威胁等负面应用。本文提出第一个用于单样本、百万像素级人脸交换方法（或称MegaFS）。

• MegaFS提出“层次表征人脸编码器” (HieRFE) 来表征人脸，保持更多细节，而不是以前的人脸交换方法中的压缩表示。还提出一种精心设计的人脸迁移模块（FTM）将身份从源图像迁移到目标。最后，可以利用StyleGAN2的训练稳定性和强大的生成能力来合成交换的人脸。

• MegaFS的每个部分都可以单独训练，因此可以满足百万像素人脸交换的 GPU 内存模型的相应要求。总之，完整的人脸表征、稳定的训练和有限的内存使用是方法的三个亮点。大量实验了证明MegaFS的优越性，本文也发布了第一个百万像素级别的人脸交换数据库，用于研究DeepFake检测和人脸图像编辑。