姿态可控的Talking Face Generation隐式模块化 Audio-Visual 表征 (CVPR 2021)

https://github.com/Hangz-nju-cuhk/Talking-Face_PC-AVS

https://arxiv.org/abs/2104.11116

摘要：

提出了一种姿态可控的视听系统（PC-AVS），该系统实现了任意语音人脸的自由姿态控制。我们没有从音频中学习姿势运动，而是利用另一个姿势源视频来仅补偿头部运动。关键是设计一个不含口型和身份信息的隐式低维姿态编码。通过这种方式，视听表示被模块化为三个关键因素的空间：语音内容、头部姿势和身份信息。