B站神曲damedane：精髓在于换脸，五分钟就能学会
大数据文摘授权转载自HyperAI超神经
最近，B 站上涌现出一波画风过于「生草」（B 站黑话，意为魔性搞笑）的视频，播放量动辄上百万，相当火爆。
技能满分的 Up 主们，利用「first order motion 一阶运动模型」的 AI 换脸项目，生成了各种各样画风清奇的视频。
比如，竟然让张学友、杜甫、唐僧、熊猫头表情包声情并茂地演唱《damedane》、《unravel》……画面是这个样子的：
杜甫版《Unravel》，来源 B 站 Up 主：cold_joke
看动图不过瘾，还是直接上视频吧：
流泪猫咪版洗脑神曲《damedane》，截至目前播放量 211.3 万。来源：B 站 Up 主浓密秀发胡图图
不得不说，有点上头……大家可以自行到小破站搜索更多作品观赏。
这些视频引得无数网友摩拳擦掌跃跃欲试，纷纷留言求教程。接下来，我们就来了解一下，实现这些换脸效果的技术（万恶之源）：一阶运动模型（first order motion model）。
学习园地 B 站，多个教程教你对口型
迄今为止，类似的换脸、对口型的技术层出不穷，每提出一个，就会引起一波换脸热潮。
而 First order motion 模型由于在五官、口型优化上效果比较好，且容易上手、实现效率高，于是大受欢迎。
B 站上的 up 主们，已经积极上传了不少教程
比如要文章开头的《damedane》换脸，只需几十秒就能实现，五分钟就可以学会。
B 站上的多数 up 主选用 Google 的云端硬盘和 Colab 来进行教程。考虑到翻墙门槛，我们选取了其中一位 up 主的教程，使用国内的机器学习算力容器服务（https://openbayes.com），现在还能薅羊毛，每周都赠送 vGPU 的使用时长，轻松完成该教程。
不到 5 分钟就可以完成自己的《damedane》
这个教学视频逐步讲解，即使是小白，也能轻松学会这招换脸大法。up 主还将 notebook 上传到了平台，只要一键 clone 就可以直接使用。
不过，很多技术 Up 主表示，娱乐之余，制作视频是为了进行技术交流，所以希望大家不要恶意滥用。
上图视频教程地址：
https://openbayes.com/console/openbayes/public/containers/BwZQj5wr3Jp
原项目 Github 地址：
https://github.com/AliaksandrSiarohin/first-order-model
又一个换脸神器，好用在哪里？
First order motion 模型来自顶会 NeurlPS 2019 上的一篇论文，《First Order Motion Model for Image Animation》（《用于图像动画的一阶运动模型》），作者来自意大利的特伦托大学以及 snap 公司。
论文地址：
https://arxiv.org/pdf/2003.00196.pdf
由标题就可知，该论文要实现的目标是让静态图片动起来。在给定一张源图片和一个驱动视频的情况下，让源图片中的形象，跟着驱动视频中的动作动起来。也就是，让万物皆可动起来。
效果如下图所示，左上角为驱动视频，其余为源静态图：
模型框架构成
总的来说，该一阶运动模型的框架主要由两个模块组成：运动估计模块（motion estimation module）和图像生成模块（image generation module）。
运动估计模块：通过自监督学习将目标物体的外观和运动信息进行分离，并进行特征表示。
图像生成模块：模型会对目标运动期间出现的遮挡进行建模，然后从给定的名人图片中提取外观信息，结合先前获得的特征表示，进行视频合成。
方法概述
比传统模型强在哪里？
有人可能会有疑问，这和之前的 AI 换脸方法有什么不同？作者给出了解释。
此前的换脸视频操作，需要以下操作：
通常需要针对换脸的双方人脸图像数据，进行事先训练； 需要对源图像进行关键点标注、再进行相应的模型训练。
damedane 换脸视频原型的倾情演绎
实习/全职编辑记者招聘ing
加入我们，亲身体验一家专业科技媒体采写的每个细节，在最有前景的行业，和一群遍布全球最优秀的人一起成长。坐标北京·清华东门，在大数据文摘主页对话页回复“招聘”了解详情。简历请直接发送至zz@bigdatadigest.cn
