点击上方“AI算法与图像处理”，选择加"星标"或“置顶”
重磅干货，第一时间送达
本文转载自：新智元 | 编辑：QJP
【导读】谷歌人工智能实验室近日发布 Objectron 数据集，这是一个以3D目标为中心的视频剪辑的集合，这些视频剪辑从不同角度捕获了较大的一组公共对象。数据集包括 15K 带注释的视频剪辑，并补充了从地理多样的样本中收集的超过 4M 带注释的图像（覆盖五大洲的 10 个国家）。
Objectron 数据集链接：
https://github.com/google-research-datasets/Objectron/
机器学习(ML)的最新技术已经在许多计算机视觉任务上取得了SOTA的结果，但仅仅是通过在2D照片上训练模型而已。在这些成功的基础上，提高模型对 3D 物体的理解力有很大的潜力来支持更广泛的应用场景，如增强现实、机器人、自动化和图像检索。今年早些时候，谷歌发布了 MediaPipe Objectron，一套为移动设备设计的实时 3D 目标检测模型，这个模型是基于一个已标注的、真实世界的 3D 数据集，可以预测物体的 3D 边界。
然而，理解3D 中的对象仍然是一项具有挑战性的任务，因为与2D 任务(例如，ImageNet、 COCO 和 Open Images)相比，缺乏大型的真实世界数据集。为了使研究团体能够继续推进3D 对象理解，迫切需要发布以对象为中心的视频数据集，这些数据集能够捕获更多的对象的3D 结构，同时匹配用于许多视觉任务(例如，视频或摄像机流)的数据格式，以帮助机器学习模型的训练和基准测试。近期谷歌发布了 Objectron 数据集，这是一个以对象为中心的短视频剪辑数据集，从不同的角度捕捉了一组更大的普通对象。
每个视频剪辑都伴随着 AR 会话元数据，其中包括摄像机姿态和稀疏点云。数据还包含为每个对象手动注释的3D 边界，这些 bounding box 描述了对象的位置、方向和尺寸。每个视频剪辑都随附有 AR 的元数据，其中包括相机姿势和稀疏点云。数据还包含每个对象的手动注释的 3D 边界框，用于描述对象的位置，方向和尺寸。该数据集包括15K 注释视频剪辑与超过4M 注释图像收集的地理多样性样本(涵盖10个国家横跨五大洲)。除了这个数据集，谷歌还分享了一个 3D 目标检测解决方案，可以用于4类物体：鞋子、椅子、杯子和相机。这些模型是在 MediaPipe 中发布的，MediaPipe 是谷歌的开源框架，用于跨平台可定制的流媒体机器学习解决方案，它同时也支持机器学习解决方案，比如设备上的实时手势、虹膜和身体姿态跟踪。
与之前发布的 single-stage Objectron 模型相比，这些最新版本采用了两级架构。第一级使用 TensorFlow 目标检测模型来寻找物体的 2D 裁剪，第二级使用图像裁剪来估计三维bounding box，同时计算下一帧对象的二维裁剪，使得目标检测器不需要运行每一帧。第二阶段的三维 bounding box 预测器是以83 FPS在 Adreno 650 GPU 上运行。有了真实的注释，我们就可以使用 3D IoU（intersection over union）相似性统计来评估 3D 目标检测模型的性能，这是计算机视觉任务常用的指标，衡量bounding box与ground truth的接近程度。谷歌提出了一种计算一般的面向三维空间的精确 3D IoU 的算法。首先使用 Sutherland-Hodgman Polygon clipping 算法计算两个盒子面之间的交点，这类似于计算机图形学的剔除技术（frustum culling），利用所有截断多边形的凸包计算相交的体积。最后，通过交集的体积和两个盒子的并集的体积计算 IoU。Objectron 数据集的技术细节，包括使用和教程，均可在数据集网站上获得。这些数据集中的物体包括自行车、书籍、瓶子、相机、麦片盒、椅子、杯子、笔记本电脑和鞋子等，和数据集一起发布的具有以下内容:3.AR 元数据 (如照相机姿态、点云和平面表面)4.处理过的数据集: 混合版本的带注释的帧、tf.example 格式的图像和 SequenceExample 格式的视频6.支持脚本将数据加载到 Tensorflow、Pytorch、Jax并且可视化数据集除了数据集，谷歌还开放了数据管道来解析 Tensorflow、 PyTorch 和 Jax 框架中的数据集。还提供了 colab notebook 的实例 。通过发布这个 Objectron 数据集，谷歌希望能够使研究团体推进三维物体几何理解的极限。同时也希望促进新的研究和应用，如视图合成，改进的 3D 表示和非监督式学习等。https://ai.googleblog.com/2020/11/announcing-objectron-dataset.html?utm_source=feedburner&utm_medium=feed&utm_campaign=Feed%3A+blogspot%2FgJZg+%28Google+AI+Blog%29Objectron 数据集链接：
https://github.com/google-research-datasets/Objectron/
下载1：leetcode 开源书
在「AI算法与图像处理」公众号后台回复：leetcode，即可下载。每题都 runtime beats 100% 的开源好书，你值得拥有！
在「AI算法与图像处理」公众号后台回复：CVPR2020，即可下载1467篇CVPR 2020论文
