CVPR2021-单目实时全身捕捉的方法 | 清华大学

论文：https://arxiv.org/abs/2012.06087

本文提出了第一种实时全身捕捉的方法，该方法通过单一颜色图像的动态3D人脸模型来估计身体和手的形状和运动。我们的方法使用了一种新的神经网络结构，利用身体和手之间的相关性在高计算效率。与以往的工作不同，我们的方法是在多个数据集上联合训练，分别关注手、身体或面部，不需要同时标注所有部分的数据，这是很难创建足够多的多样性。这种多数据集训练的可能性使其具有优越的泛化能力。与早期的单眼全身方法相比，我们的方法通过估算统计人脸模型的形状、表情、反照率和光照参数来捕捉更具表现力的3D人脸几何形状和颜色。我们的方法在公共基准上实现了具有竞争力的精度，同时显著更快，提供更完整的面部重建。