二次元的正确打开方式
Jack Cui
共 1275字,需浏览 3分钟
·
2021-02-23 11:14
大家好,我是 Jack 。
去年发表的「Talking Head Anime」大家都看过了吧?
最近,这位谷歌工程师对算法进行了升级,「Talking Head Anime 2」效果更好!
只需要一张 PNG 二次元角色图片,就可以生成虚拟偶像,生成带面部表情捕捉的 Vtuber 角色。
作者亲自上场,动漫头像根据作者的口型和头部动作实时「演唱」,作者的完整视频:
老规矩,今天就教大家怎么玩!
1
整个过程分类两个步骤:
第一步:改变面部表情,即控制眼睛和嘴的开闭程度。
第二步:人脸旋转。
每一步都使用单独的一个网络,并将第一个网络的输出作为第二个网络的输入。
第一个网络为人脸变形器,第二个网络为人脸旋转器。
为了获得更好的面部动作,作者本次升级将姿态维度增加到了 42 维。
同时在人脸变形器中增加了眉毛、眼睛、嘴巴形变器。
眉毛变形器:可以分割出眉毛,并控制眉毛扭曲的形状。
眼睛和嘴巴变形器的网络也是类似操作。
更具体的原理,详见作者的论文:
https://pkhungurn.github.io/talking-head-anime-2/
2
第一步:配置开发环境。
依赖不多,使用 Anaconda 配置安装下即可。
python app/manual_poser.py
3
推荐阅读
• 保姆级人工智能学习路线• 我,这一年• 保姆级GPU白嫖攻略
评论