JOJO-GAN：这个GAN太gay了 | Demo可玩
共 1843字，需浏览 4分钟
·
2021-12-29 11:11
重磅干货，第一时间送达
来源：量子位
这下真的是万物皆可JOJO化了！
本来就神采飞扬的马斯克，下一刻更是仿佛要直接“我不做人啦！”
世界名画蒙娜丽莎神秘优雅的微笑，似乎也变得JO灼了起来……
再来个同一次元的……团长你在做什么啊团长！
而上面这些效果只要打开网页Demo，点击上传任意本地图片就能实现。
这就一下子引来了大批网友的围观，不仅推特热度800+，在线试玩的抱抱脸（Hugging Face）还排起了队，一张照片最多要等四五分钟。
还不仅JOJO一种风格，还有迪士尼风、英雄联盟风……输入任意一种风格的图像，都可以将这种风格快速应用到新的图片上：
看这楚楚可怜的卡姿兰大眼睛，以及天真无邪的公主笑，我只想说……老马，快收了神通吧！
在线JO化任意人像
看了上面的演示，是不是自己也想整一个JO化脸？
我们用开发者提供的Hugging Face和Colab来试一下。
首先是在线网页版的Hugging Face，点击左边框中空白处就能把任意本地照片丢进去：
再点Submit，等个十几秒……站在你面前的不是别人，而是ko no肌肉金轮大司马哒！
这个方法点开链接就能即传即玩。不过虽然简单快捷，但偶尔还是要排队等个几分钟：
所以强烈安利colab版本，向test_input文件夹中导入任意图像，比如我们这里放入一张冰冰，然后点击运行：
再继续运行下面的生成模块：
把我的冰冰女神JOJO化，这也在你的算计之中吗GAN !
而且，colab中还提供了另一种玩法：导入一张任意风格的图片，自己制作一个XX风格生成器。
嗯……这不得整一个提瓦特大陆版的马斯克？
上传一张老马的正经图：
再在style_images文件夹中上传一张原神风格的人像：
（上传偏二次元风格的图像可能会出现“找不到人脸”的情况，需要多试几张图）
然后进行微调，等待几分钟，再点运行：
这个坚毅的眼神，再配上原图里老马的那个远眺抱胸的姿势，感觉下一秒就能来句天动万象了！
通过GAN反转获取近似风格
那么，这种方法到底是怎么做到只参考一张图片，就能完美学习其美术风格，再将其运用到其他图像上呢？
我们一起来看看这个叫做JoJoGan的模型。
它主要是通过GAN反转（inversion）来获取近似风格的，主要工作流程分四步：
通过GAN将参考风格图像反转为近似的配对训练数据，得到相应的风格化的代码；
根据风格化代码生成真实的人脸图像，并与参考风格图像相匹配，形成成对的数据作为配对训练集；
基于这些成对的训练数据，对StyleGAN进行微调；
使用微调后的StyleGAN生成新的样本。
开发者表示，这一模型非常关注零监督下的风格细节，并且在不同风格中具有良好的通用性，能够轻松泛化到其他风格的图像上。
从二次元到技术宅
开发者Min Jin Chong也是我们的老熟人了，之前曾经搞过二次元老婆生成器：
Min Jin Chong本人本科毕业于美国伊利诺伊大学厄巴纳-香槟分校（UIUC），后继续留校读博，主要研究领域为机器学习、计算机视觉和图像生成。
此前他曾在字节实习过3个月，现在与两位同校学生一起创立了一个叫做Style Space的时尚购物应用，允许用户在虚拟空间中试用和购买产品。
而他的导师David Forsyth则是一位CV领域的大牛，曾与Jean Ponce著有计算机视觉经典教材《Computer Vision：A Modern Approach》：
Hugging Face在线试玩：
https://huggingface.co/spaces/akhaliq/JoJoGAN
colab在线试玩：
https://colab.research.google.com/github/mchong6/JoJoGAN/blob/main/stylize.ipynb#scrollTo=LCLWiXoXwcJb
论文链接：
https://arxiv.org/abs/2112.11641
参考链接：
[1]https://twitter.com/ak92501/status/1473522187491590148
[2]https://github.com/mchong6/JoJoGAN