CVPR 2021 | 1.5倍提速:在一阶段中训练生成对抗网络
作者单位:浙江大学, 史蒂文斯理工学院, 阿里巴巴, 之江实验室
论文:https://arxiv.org/abs/2103.00430
生成对抗网络(GANs)已在各种图像生成任务中取得了空前的成功。然而,令人鼓舞的结果是以繁琐的训练过程为代价的,在此过程中,生成器和鉴别器在两个阶段中交替更新。
在本文中,我们研究了一种通用训练方案,该方案仅在一个阶段即可有效地训练GAN。
基于生成器和鉴别器的对抗损失,我们将GAN分为对称GAN和非对称GAN两类,并引入一种新颖的梯度分解方法来统一这两类,从而使我们可以在一个阶段训练这两个类,从而减轻了训练成本。
算法细节(建议去看原文, 点击阅读更多)
实验结果
对几个数据集和各种网络体系结构的计算分析和实验结果表明,无论生成器和鉴别器的网络体系结构如何,所提出的一阶段训练方案均比常规训练方案产生1.5倍的稳定加速。此外,我们表明,提出的方法很容易适用于其他对抗训练方案,例如无数据知识蒸馏。我们的源代码将很快发布。
---END---
双一流大学研究生团队创建,一个专注于目标检测与深度学习的组织,希望可以将分享变成一种习惯。
将「目标检测与深度学习」设为星标★,并点击右下角“在看“,解锁推送限制,第一时间收到我们的分享。
整理不易,点赞三连↓
评论