ARKitScenes使用 RGB-D 数据理解 3D 室内场景

ARKitScenes 是一个多样化的真实世界数据集，用于使用移动 RGB-D 数据理解 3D 室内场景。

ARKitScenes 不仅是第一个使用现在广泛使用的深度传感器捕获的 RGB-D 数据集，而且还是有史以来收集到的最大的室内场景理解数据。除了原始数据和处理后的数据，ARKitScenes 还包括使用固定激光扫描仪捕获的高分辨率深度图，以及用于大型家具分类的手动标记的 3D 定向边界框。

ARKitScenes 还为两个下游任务提供了帮助脚本：3D 对象检测和 RGB-D 引导上采样。

该仓库包含论文中描述的数据、用于可视化和处理资产的脚本以及训练代码。使用这些数据或源代码时，请引用

@inproceedings{ dehghan2021arkitscenes, title={{ARK}itScenes - A Diverse Real-World Dataset for 3D Indoor Scene Understanding Using Mobile {RGB}-D Data}, author={Gilad Baruch and Zhuoyuan Chen and Afshin Dehghan and Tal Dimry and Yuri Feigin and Peter Fu and Thomas Gebauer and Brandon Joffe and Daniel Kurz and Arik Schwartz and Elad Shulman}, booktitle={Thirty-fifth Conference on Neural Information Processing Systems Datasets and Benchmarks Track (Round 1)}, year={2021}, url={https://openreview.net/forum?id=tjZjv_qh_CE} }

主要特征

• ARKitScenes 是第一个使用广泛使用的 Apple LiDAR 扫描仪捕获的 RGB-D 数据集。除了原始数据，还为每个场景提供相机姿势和表面重建。

• ARKitScenes 是最大的室内 3D 数据集，由 1,661 个独特场景的 5,047 个捕获组成。

• 提供注册RGB-D 帧和房间定义对象的定向边界框的高质量地面实况。

下面是与 ARKitScenes 相比的 RGB-D 数据集及其地面实况资产的概述。HR 和 LR 分别代表高分辨率和低分辨率，可用于 841 个独特场景的 2,257 个捕获的子集。

数据采集

下图中提供了iPad Pro 扫描设置的图示， 网格覆盖以协助使用 iPad Pro 收集数据，使用 iPad pro 捕获的扫描模式之一的示例，红色标记显示该房间中固定激光扫描仪的选定位置。