【学术前沿】基于视觉的体积测量,通过基于深度学习的点云分割,用于现场材料管理

深度学习入门笔记

共 2571字,需浏览 6分钟

 ·

2021-02-05 22:36

点击上方“公众号”可订阅哦!


声明:本文只是针对个人学习记录,侵权可删。本人自觉遵守《中华人民共和国著作权法》和《伯尔尼公约》等法律,其他个人或组织等转载请保留此声明,并自负法律责任。论文版权与著作权等全归原作者所有。







01

文章摘要


新兴的基于视觉的框架已经证明了在点云模型上健壮执行体积测量的巨大潜力,该模型在场地材料管理方面有几个应用(例如,在土方工程期间)。然而,目前流行的基于视觉的框架涉及人工干预,从点云模型手动修剪感兴趣的对象,这将是耗时和劳动密集型的。此外,用于体积测量的点云模型通常是不完整的和有噪声的。为了解决这些挑战,我们通过基于深度学习的方法自动检测和分割点云模型中的目标对象,然后将语义值映射到点云模型上进行三维语义分割。一旦目标对象被分割,相关的体积被量化通过提出的基于视觉的计算过程。为了评估,在真实世界的材料堆上进行了案例研究。所提出的方法具有增强基于视觉的体积测量的潜力,可为工地材料管理的系统决策提供支持。



02

文章导读


工地物料管理包括一种管理实践,即投入显著的努力来确认适当数量的物料的存在,并有效地促进物料进出工地的过渡过程。

例如,在土方工程中,体积估计是至关重要的,以确保切割处的土壤体积与填方的体积一致(即切割/填方体积分析)。然而,在体积水平上的评估往往取决于人的观察,这可能是基于从业人员的经验或知识的主观观察。这使得物料管理工作更加繁重,同时也阻碍了在项目时间表中准确执行数量评估。作为一种系统量化和保存材料记录的替代方法,一些先前的工作已经证明了利用遥感技术的巨大潜力,如射频识别(RFID)标签和全球定位系统(GPS)。例如,GPS设备主要安装在大规模运输材料的重型车辆上。跟踪这些车辆的位置可以量化每辆车辆所携带的材料(如自卸卡车),这支持监控相关工作进展,如土方工程或碎片清除。此外,RFID技术由一组廉价的标签组成,这些标签存储一条信息。每个标签都可以通过电磁信号被触发和读取,这种技术被用来跟踪特定的目标物体。例如,带有电子RFID标签的钢筋可以被工地上的从业人员快速跟踪和量化,减少与了解工地上目前有什么材料和多少材料相关的时间和成本,但这些遥感技术不适用于土壤等原材料。

与此同时,廉价的摄像设备平台的不断普及,如无人机(uav),鼓励建筑业定期记录不断变化的建筑工地的现状。在这方面,从业人员在可视化数据分析方面培育了一系列令人难以置信的发展,以满足他们在工作网站上的需求。

在材料管理的背景下,它们主要面向获取建筑工地的数字孪生模型,以执行库存或材料堆的体积测量。这种能力使他们能够在铺设场地进行库存控制,并使项目经理能够评估相关的工作进展,如工地的土方工程。在此类软件中,体积测量的工作流程通常包括三个步骤:(1)使用从工作现场收集的图像生成三维点云模型;(2)识别目标对象,将其与点云模型中的背景对象分离;(3)将表示目标对象的点云模型转换为等效网格模型,最后估计目标对象的体积。尽管这类软件包有可能简化体积测量的过程,但它们需要手工过程来将目标对象(如库存或材料堆)与数字孪生模型(如3D点云模型)中的背景对象分离。这种劳动密集型的人工干预来选择目标对象已经被认为是一个具有挑战性的过程。这一潜在的挑战在建筑工地上会更加严重,因为有多个库存或目标物体散布在工地各处。

在本文中,我们提出了一种新的基于视觉的体积测量方法,以减少人为的干预和提高性能,以增强建筑项目中的材料管理。所提出的方法以自动化的方式在语义上分割点云模型中的目标对象,并利用体积测量的结果。目标对象在本研究中被称为利益区域(roi)。该方法由两部分组成:(1)对点云模型的RoI进行语义分割;(2)利用三维分割的结果对RoI进行体积测量。结果是增强的点云模型,该模型基于每一类材料堆和相关的体积进行语义分割。通过五桩(集料桩和砂土桩)的工程实例验证了该方法的有效性,并与以往的工程进行了比较。当进行基于视觉的体积测量时,所提出的框架可以减少人为干预。特别地,这项工作的重要性在大型工地变得明显,需要在紧张的时间框架内跟踪各种类型的材料,从而有助于更明智的决策。
本文的贡献主要体现在两个方面:(1)提出了一种新的三维点云分割框架,用于点云模型中目标的识别。这样的自动化过程有可能减少人工干预,以从点云模型中手动分离库存或材料堆的边界,以及其他物体或背景;(2)通过改进重构点云模型的质量和一致性,并将其用于本文提出的计算过程,从而增强体积测量。为了评估所提方法的性能,进行了案例研究,并从已知体积的材料堆中收集了可视化数据。这些数据可以作为体积测量的基准数据集。




03

基于视觉的体积测量模型


通过利用从图像重构的点云模型,提出的体积测量工作流程包括以下四个模块:(1)执行3 d密集的点云重建材料桩从收集的2 d图像,(2)上执行语义分割2 d图像检测区域的利益(RoI),(3)语义信息的点云模型映射和RoI检测隔离他们每个人,和(4)进行体积测量在每个孤立的RoI。图1给出了本文方法的概述。










04

主要结论


视觉传感和分析的进步提供了在三维点云模型上进行体积测量的机会。这些进展已经证明了支持材料管理的巨大潜力,从而有效地测量项目管理所需的材料堆的数量。先前关于基于视觉的体积测量的工作通常需要人工干预来削减点云模型中的RoI。本文提出了一种新的基于视觉的点云模型roi自动分割和分类方法,并基于增强的点云模型进行体积测量。在二维语义分割结果的基础上,提出了一种新的点云模型三维语义分割计算框架,并通过实例进行了验证。该方法具有改进基于视觉的体积测量方法的潜力,可为建筑工地材料管理的系统决策提供支持。通过能够在体积水平上量化材料,实践者将能够更多地关注项目的管理方面,例如库存控制、物流和计划。这项工作的重要性预计将显著影响不断变化和大规模的建筑工地,在这些地方,材料量化需要经常大规模地进行。





 END

深度学习入门笔记

微信号:sdxx_rmbj

日常更新学习笔记、论文简述

浏览 173
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报