Kubric创建半现实合成多对象视频

Kubric 是一个数据生成管道，用于创建具有丰富注释的半现实合成多对象视频，例如实例分割掩码、深度图和光流。

动机和设计

我们需要更好的数据来训练和评估机器学习系统，尤其是在无监督多对象视频理解的背景下。当前系统在玩具数据集上成功，但在现实世界数据上失败。如果我们能够根据需要创建具有不同复杂性的合适数据集，则进展可能会大大加快。Kubric 主要建立在 pybullet（用于物理模拟）和 Blender（用于渲染）之上；但是，代码保持模块化以可能支持不同的渲染后端。

Requirements

• 用于方便地生成视频数据的管道。
• 物理模拟，用于自动生成多个对象之间的物理交互。
• 很好地控制生成数据的复杂性，以便我们可以评估各个方面，例如对象和纹理的可变性。
• 现实主义：理想情况下，能够跨越从 CLEVR 到 YouTube8 等真实视频的整个复杂范围。这显然是不可行的，但我们希望尽可能接近。
• 访问有关场景中对象的丰富地面实况信息以进行评估（例如对象分割和属性）
• 控制训练/测试拆分以评估组合性和系统泛化（例如在特征或对象的保留组合上）