UGATIT无监督生成注意网络

U-GAT-IT：具有用于图像到图像转换的自适应层实例标准化的无监督生成注意网络
Junho Kim（NCSOFT），Minjae Kim（NCSOFT），Hyeonwoo Kang（NCSOFT），Kwanghee Lee（波音韩国）

我们提出了一种新的无监督图像到图像转换方法，它以端到端的方式结合了新的注意模块和新的可学习的归一化功能。注意模块引导我们的模型基于辅助分类器获得的关注图来关注区分源域和目标域的更重要区域。与先前基于注意力的方法不同，这些方法无法处理域之间的几何变化，我们的模型可以转换需要整体变化的图像和需要大变形的图像。此外，我们新的AdaLIN（自适应图层实例标准化）功能可帮助我们的注意力引导模型根据数据集通过学习参数灵活地控制形状和纹理的变化量。

训练

> python main.py --dataset selfie2anime

• 如果gpu的内存不足，请设置--light为True

测试

> python main.py --dataset selfie2anime --phase test

架构

结果

消融研究

用户研究

对照

引文

如果您发现此代码对您的研究有用，请引用我们的论文：

@misc{kim2019ugatit,
    title={U-GAT-IT: Unsupervised Generative Attentional Networks with Adaptive Layer-Instance Normalization for Image-to-Image Translation},
    author={Junho Kim and Minjae Kim and Hyeonwoo Kang and Kwanghee Lee},
    year={2019},
    eprint={1907.10830},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}