情人节「告白生成器」来了！这个AI能让偶像对你说情话，过于真实！
公众号CVer
共 3018字，需浏览 7分钟
·
2021-02-14 18:48
点击上方“CVer”，选择加"星标"置顶
重磅干货，第一时间送达
① 安装Paddle环境并下载PaddleGAN
② 选择想要「被告白/对口型」的idol/人脸以及「告白台词音频」内容
③ 将准备好的「人脸视频/图片」以及「告白台词音频」输入Wav2lip模型中，让这个模型进行推理工作
④ 输出idol的嘴唇与告白语音做出匹配唇形动作的idol说情话视频，就可以分享到朋友圈过凡尔赛式的情人节啦~
PaddleGAN的唇形迁移能力
Wav2lip
采用唇形同步判别器（Discriminator），以强制生成器（Generator）持续产生准确且逼真的唇部运动。 通过在判别器中，使用多个连续帧而不是单个帧，并使用视觉质量损失（visual quality loss），而不仅仅是对比损失（L1 Loss）来考虑每帧之间的时间相关性，从而很大程度的提升视觉效果。
1.下载PaddleGAN并安装所需依赖
# 进入工作目录
%cd /home/aistudio/work
# 从github上克隆PaddleGAN代码（如下载速度过慢，可用gitee源）
!git clone https://gitee.com/PaddlePaddle/PaddleGAN
#或者使用 !git clone https://github.com/PaddlePaddle/PaddleGAN
# 安装所需安装包
!mkdir sndfile
%cd sndfile
!wget http://www.mega-nerd.com/libsndfile/files/libsndfile-1.0.28.tar.gz
!tar xzvf libsndfile-1.0.28.tar.gz
%cd libsndfile-1.0.28
!./configure --prefix=/home/aistudio/build_libs CFLAGS=-fPIC --enable-shared
!make
!make install
%cd /home/aistudio/work/PaddleGAN
!pip install -r requirements.txt
%cd applications/
2.执行唇形合成命令
!export PYTHONPATH=$PYTHONPATH:/home/aistudio/work/PaddleGAN && python tools/wav2lip.py --face /home/aistudio/work/jieyi13s.mp4 --audio /home/aistudio/work/gaobai12s.m4a --outfile pp_gaobai_jieyi.mp4
具体的参数使用说明如下：
face: 原始idol人脸视频，视频中的idol的唇形将根据台词音频进行唇形合成--即，想让谁说情话
audio：驱动唇形合成的告白台词音频，视频中的idol将根据此音频进行唇形合成--即，想听idol说什么
END
评论