字节跳动开源视频抠图神器

文章转载自 高效应用

AppHubs，公众号：高效应用字节跳动开源视频抠图神器

字节跳动最近开源了一款视频自动抠图工具 Robust Video Matting，堪称神器。为什么这么说呢？让我们先来看看这款工具的效果。

这个视频是官方发布的。从视频中我们可以看到，整个视频实时抠图非常的流畅，也非常的细腻，即使人物的动作非常大，也能将细如发丝这种细节准确的抠出来。

官方宣称 Robust Video Matting 是专为稳定人物视频抠像设计。与大多数将视频抠图作为独立图像逐帧执行的现有方法不同，Robust Video Matting 的方法使用循环神经网络，在处理视频流时有时间记忆。它使用循环架构来利用视频中的时间信息，并在时间相干性和抠图质量方面取得显着改善，可在任意视频上做实时高清抠像。这个工具在 Nvidia GTX 1080Ti 上实现 4K 76FPS 和 HD 104FPS。

目前 Robust Video Matting 的模型包括 MobileNetV3 模型和 ResNet50 模型，这些模型可以从百度网盘下载。这些模型支持多种框架，如 PyTorch、TorchScript、ONNX、TensorFlow 和 TensorFlow.js。官方也提供了比较清晰的文档以及示范代码。有兴趣的开发者可以到 Github 上下载源码和模型来研究和体验一下，点击阅读原文直接传送。