SIGGRAPH 2021 | 学习带神经融合形状的人物动画-技术圈

新智元报道

【新智元导读】本文是对发表于计算机图形学顶级会议 SIGGRAPH 2021 的论文 Learning Skeletal Articulations with Neural Blend Shapes 的解读。关键词：neural rigging, blend shapes

该论文由北京大学陈宝权教授研究团队与北京电影学院未来影像高精尖创新中心、Google Research、特拉维夫大学以及苏黎世联邦理工学院合作，针对骨骼驱动的模型动画的高质量自动化生成进行改进，提出了神经融合形状技术。实验证明，该方法显著减少了已有方法中需要的人工干预，大大提升了生成动画的质量。

论文链接：

https://peizhuoli.github.io/neural-blend-shapes/papers/neural-blend-shapes-camera-ready.pdf

项目主页：https://peizhuoli.github.io/neural-blend-shapes/

GitHub代码仓库：https://github.com/PeizhuoLi/neural-blend-shapes

（点击文末“阅读原文”跳转项目主页）

01引言

骨骼驱动的三维人物动画在游戏、影视等应用场景中随处可见。然而，使用骨骼驱动三维人物网格模型（mesh）进行变形并得到动画，通常需要经历繁琐的骨骼搭建（rigging）以及蒙皮权重绑定（skinning）。这些处理技术复杂而艰深，动画师通常需要数年的时间来尝试掌握。此外，一些常见的特定动作，例如弯曲肘部、蹲下，由于常用的蒙皮技术（线性融合蒙皮，Linear Blend Skinning）的局限性，关节区域的变形并不理想。

左：现有技术在关节区域的问题；右：本文技术生成的高质量且细节丰富的动画

为了简化骨骼搭建和蒙皮权重绑定的过程、高效利用动作捕捉数据以及生成高质量的动画，我们开发了一套能生成具有指定结构的骨骼以及精准绑定权重的神经网络。加以我们提出的神经融合形状（neural blend shapes）技术，我们实现了实时高质量三维人物模型动画的端到端自动生成。

方法概览

02方法简介

从处于 T 姿态的人物模型以及在给定的骨骼结构上的关节旋转开始，我们的包裹变形分支（envelope deformation branch）学习并预测出相应的骨骼以及蒙皮权重。与此同时，补偿变形分支（residual deformation branch）预测出对应的融合形状（blend shapes）并使用输入的关节旋转预测对应的融合系数，然后基于此插值得到补偿变形。综合以上中间结果，可微分包裹变形模块将生成最终的变形结果。这一设计使得我们的神经网络能够通过仅观察变形后的人物模型进行间接学习，而不需要对训练数据集的变形方法有任何限制，极大增广了该方法的适用范围。