无限想象空间,用Python就能玩的3D人体姿态估计

Jack Cui

共 4255字,需浏览 9分钟

 ·

2020-09-30 11:05

点击上方“Jack Cui”,选择“加为星标

第一时间关注技术干货!


1


前言


姿态估计,一直是近几年的研究热点


它就是根据画面,捕捉人体的运动姿态,比如 2D 姿态估计:



再比如 3D 姿态估计:



看着好玩,那这玩应有啥用呢

自动驾驶,大家应该都不陌生,很多公司研究这个方向。

自动驾驶里,就用到了人体行为识别



通过摄像头捕捉追踪人体的动作变化,根据肢体动作或变化角度判断人体动作行为,可用于无人车、机器人、视频监控等行为分析需求场景。


而这些的基础,就是人体的姿态估计。


再比如,虚拟形象



通过真人驱动,让虚拟形象具备类比真人的肢体动作,并支持与3D人脸特效、手势识别等功能结合应用,让虚拟形象更加灵活生动,可用于虚拟IP驱动、肢体驱动类游戏、远程授课或播报等场景。


姿态估计,无疑有着巨大的应用价值

但今天,咱们说的这个算法,比上文提到的,还要酷炫一些!

它就是 FrankMocap。

2


FrankMocap

FrankMocap 是港中文联合 Facebook AI 研究院提出的3D 人体姿态和形状估计算法

不仅仅是估计人体的运动姿态,甚至连身体的形状手部的动作都可以一起计算出来。


算法很强大,能够从单目视频同时估计出 3D 人体和手部运动,在一块 GeForce RTX 2080 GPU 上能够达到 9.5 FPS。

缺点就是,速度有点慢,计算量较大,达到实时性有一定难度。

不过随着硬件的快速发展,这都不是问题,「老黄刀法」很给力。

FrankMocap 算法就在这几天,刚刚开源,有 Python 和深度学习基础的朋友,不容错过。

项目地址:
https://github.com/facebookresearch/frankmocap

算法使用 SMPL-X 人体模型。

给定一张彩色图片,通过两个网络模块分别预测手部姿态和人体姿态。

然后再通过整合模块将手和身体组合在一起,得到最终的3D全身模型,整个流程如下图所示:


在具体的各个模块的实现,那就涉及具体的数学公式了。

本文就不多做扩展了,感兴趣的小伙伴,可以直接看论文。

论文地址:
https://arxiv.org/pdf/2008.08324.pdf

论文对每个模块的公式,记录的很详细。


FrankMocap 算法怎么玩?

这里有详细的安装教程:
https://github.com/facebookresearch/frankmocap/blob/master/docs/INSTALL.md

除了常规的第三方库,还需要 Detectron2 用于手部动作捕捉,以及 Pytorch3D 做姿态渲染。

推荐使用 Anaconda 配置,环境配置完毕,就可以开始体验了。

使用方法很简单:

如果只做身体姿态捕捉,可以运行如下命令:

# using a machine with a monitor to show output on screenpython -m demo.demo_bodymocap --input_path ./sample_data/han_short.mp4 --out_dir ./mocap_output
# screenless mode (e.g., a remote server)xvfb-run -a python -m demo.demo_bodymocap --input_path ./sample_data/han_short.mp4 --out_dir ./mocap_output

运行效果:


如果只做手部姿态捕捉,可以运行如下命令:

# using a machine with a monitor to show outputs on screenpython -m demo.demo_handmocap --input_path ./sample_data/han_hand_short.mp4 --out_dir ./mocap_output
# screenless mode (e.g., a remote server)xvfb-run -a python -m demo.demo_handmocap --input_path ./sample_data/han_hand_short.mp4 --out_dir ./mocap_output

运行效果:


全身的姿态估计,使用如下指令:

# using a machine with a monitor to show outputs on screenpython -m demo.demo_frankmocap --input_path ./sample_data/han_short.mp4 --out_dir ./mocap_output
# screenless mode (e.g., a remote server)python -m demo.demo_frankmocap --input_path ./sample_data/han_short.mp4 --out_dir ./mocap_output

运行效果:


感兴趣的小伙伴,赶快试试吧!

3


总结

3D 人体全身运动姿态捕捉,可以做很多有意思的事情。

看到这项技术,你最先想到的,是能做个什么好玩的应用呢?

我是 Jack Cui,一个爱发技术干货的程序员,我们下期见~

推荐阅读


让图片动起来,特朗普和蒙娜丽莎深情合唱《Unravel》

百年老照片修复算法,那些高颜值的父母!

这些 AI 算法太强了,我有个大胆的想法!

AI还原康乾盛世三代皇帝样貌,竟然有点帅!

心中无码便是高清,马赛克“脑补”算法 PULSE

浏览 33
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报