↑ 点击蓝字关注极市平台

作者丨青暮

来源丨AI科技评论

编辑丨极市平台

极市导读

如果工具更加智能，是不是更能让艺术家释放创造天分？>>加入极市CV技术交流群，走在计算机视觉的最前沿

艺术创作通常不仅对艺术创造力要求极高，也需要高超的技巧，要磨练出这样的技巧需要花费大量的时间和精力。

我们对具备高超技巧的艺术作品自然充满敬意，欣赏这类作品也能带来极大满足感。

但艺术作品的灵魂还是在于创造力，有时候表现手法比绘画技巧更加重要。让作品优秀到忽略画风，也是一种伟大的能力。

然而，如果工具能够更加智能一些，不仅仅是充当工具，更像是扮演着助手的角色，是不是更能让艺术家释放自己的创造天分呢？

今天，谷歌就给我们带来了这样的惊喜。他们开放了一个机器学习模型的Demo，其功能简单来说就是“你画轮廓，我补细节”。

正如上图所示，只需要根据部位选择画笔颜色，比如淡紫色代表翅膀、红色代表头部，勾勒出轮廓后，点击一下“转换”，就创造出真实的怪兽了。

看，这只AI生成的怪兽光影细节逼真、立体感满满，只是，看起来不够可怕？

没关系，我们再给它添加点棱角，也就是几笔几画的事情。

这样是不是威猛多了？

这款怪兽生成器名为Chimera Painter，Chimera即奇美拉，是希腊神话中狮首、羊身、蛇尾的神兽，也就是具有不同物种特征的拼接生物。

拼接是很古老的艺术创作手法，比如先秦奇书《山海经》中的奇珍异兽基本都是各种真实生物的拼接产物。

山海经版人鱼

谷歌取这名字的暗示是，你可以按照自己的想法自由拼接不同的生物体，打造自己的怪兽。

但问题在于，手残党可能连基本特征都画不出来...且慢，作者还是很贴心的，他们为用户提供了四种不同的原型。即使不能大刀阔斧地从头创造怪兽，也能精雕细琢去“美化”原型。

Chimera Painter用户界面（地址：https://storage.googleapis.com/chimera-painter/index.html）

用户可以选择一个参考生物，然后调整生物部分的形状、类型或位置，从而可以快速探索并创建大量图像。此外，这个Demo还允许上传本地图像。

Chimera Painter背后的模型架构即我们熟悉的生成对抗网络（GAN），并且是条件GAN，用颜色块代表生物体部件的语义。从模型效果角度，可以看成是语义分割网络的逆变体，但训练方法不同。

实际上，英伟达也曾经开发出类似的模型GauGAN（CVPR 2019 oral），它可以将分割图转换为风景图，Chimera Painter可以看成是GauGAN的怪兽版本。

为了训练GAN，谷歌创建了全彩色图像的数据集，其中包含了由3D生物模型转换的单一物种生物轮廓。生物轮廓线描绘了生物的形状和大小，并提供了个体身体部位的分割图信息。

模型经过训练后，接下来的任务是根据艺术家提供的轮廓生成多物种的嵌合体。最后，将性能最好的模型合并到Chimera Painter中。

下图展示了使用模型生成的一些示例，包括单物种生物（下排，海马、螃蟹、豪猪）以及更复杂的多物种嵌合体（下排，蚂蚁+豪猪、钝口螈+鲸鱼、飞蛾+螃蟹）。

游戏卡牌界面的设计充满着童年回忆的气息，但菜鸟小编只能小打小闹一番，有基础的玩家可能已经开始构建自己的数码宝贝世界了。

通过结构学习创造生物

人类对生物身体解剖结构比如眼睛、手指、耳朵等的感知是很敏感的，但GAN通常很难对生成内容的结构有很好的语义理解。

在GAN的随机采样图像中，我们经常能看到如下图中所示的混合体，其结构并不鲜明，这样的案例一般认为是失败的。

由于嵌合体生物的幻想特性，为了美学需要，生成这些生物需要一类全新的数据集，它必须是非摄影的、幻想的风格，还具有其它独特的特征，例如戏剧性的视角、构图和照明。

于是，谷歌请了艺术家来构建数据集。比如对于下图中的鬣狗，艺术家会先使用虚幻引擎构建3D模型，然后分别用彩色纹理（左）和语义分割图（右）叠加到3D模型上，然后，使用虚幻引擎将3D生物模型放置在简单的3D场景中，这样一个数据对就完成了。

接下来，谷歌使用自动化脚本改变3D生物模型的姿态、视角、缩放尺寸，从而对数据集进行增强。使用这种方法，谷歌为每个3D生物模型生成了10000+张图像对，与手动创建（每张图像大约20分钟）相比，节省了数百万小时的时间。

由于自动生成的图像存在一定程度的失真，谷歌还结合了艺术家的反馈对生成效果进行了改进。此外，感知损失也是一个重要因素，下图是使用不同的感知损失权重的GAN生成的示例。

上图中的某些变化是由于数据集中每种生物包含多种纹理（例如，红色或灰色的蝙蝠）而造成的。

然而，除颜色以外，还有许多特征的差异与感知损失的变化直接相关。尤其是，谷歌发现某些值可以带来更鲜明的表面纹理特征，使生成的生物看起来更真实。

怎么样，心动了吗？祝看官玩的开心~

参考资料：

https://ai.googleblog.com/2020/11/using-gans-to-create-fantastical.html

推荐阅读

华人小哥控诉机器学习「四大Boring」，CS博士：深有同感，正打算退学
AI性能暴涨7倍，AMD昨夜发布Instinct MI100新卡，英伟达也祭出百亿亿次超算时代神器
读硕/博期间你积累了哪些重要的科研经验？

添加极市小助手微信（ID : cvmart2），备注：姓名-学校/公司-研究方向-城市（如：小极-北大-目标检测-深圳），即可申请加入极市目标检测/图像分割/工业检测/人脸/医学影像/3D/SLAM/自动驾驶/超分辨率/姿态估计/ReID/GAN/图像增强/OCR/视频理解等技术交流群：每月大咖直播分享、真实项目需求对接、求职内推、算法竞赛、干货资讯汇总、与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企视觉开发者互动交流~

△长按添加极市小助手

△长按关注极市平台，获取最新CV干货

觉得有用麻烦给个在看啦~

快来用AI打造你的数码宝贝世界！谷歌AI怪兽制造机开放

通过结构学习创造生物

华人小哥控诉机器学习「四大Boring」，CS博士：深有同感，正打算退学

AI性能暴涨7倍，AMD昨夜发布Instinct MI100新卡，英伟达也祭出百亿亿次超算时代神器

读硕/博期间你积累了哪些重要的科研经验？