基于深层卷积神经网络的建筑外墙石板开裂图像识别

原文: CRACK DETECTION FROM EXTERNAL WALLS OF NATURAL STONES USING DEEP CONVOLUTIONAL NEURAL NETWORK 鈴木 藍雅, 柳本 貴司, 中村 良平, 坂本 成弘, 坂無 英徳 日本建築学会技術報告集 2021 年 27 巻 66 号 p. 1086-1091

来源：营造诸事手札

定期维护和检查对建筑物的长期安全性耐用性和尤为重要。其中的一个检查对象就是建筑物的外部饰材。石板因其优秀的设计性和耐久性常被用作建筑外墙的材料，但石板随着时间的推移可能会因老化而开裂，不仅损害建筑物的耐用性和美观性，还会产生碎片。材料剥落会导致严重事故风险。因此，早期发现外墙石材的裂缝非常重要。由专业工人进行目视检查以检测石材面板中的裂缝的方法目前很常见，但使用相机拍摄的外墙表面进行图像检查也是可行的。在画像识别检测中，虽然拍摄外墙面的工作不需要专业知识，但在大型建筑的情况下，拍摄的图像数量可能达到数万张，从而需要大量工作量，尤其是天然石材面板上的裂纹与石材花纹很难区分，如图1所示，很容易被忽视。因此，为了减轻图像检查工作的负担并防止裂缝识别的疏忽，开发一种计算机自动识别的系统非常重要。

本文讲述的是基于人工智能的建筑外墙石材裂缝检测系统的研究和开发过程。深度卷积神经网络（Deep Convolutional Neural Network：DCNN）可用于检测输入石头图像的小区域内是否存在裂缝。在对结果进行可视化时，将针对每个小区域计算出的“相关部位的裂纹概率”以热图的形式叠加在原始图像上，呈现出裂纹的候选区域。此外，为了抑制在实际操作中输入的图像中反映的面板之间的接缝和窗口等各种伪影引起的过度检测，也进行了非石板区域的学习。在此研究中，该系统被应用于大型建筑中拍摄的花岗岩石材面板的图像，结果表明，此算法可以有效地从未知图像中呈现裂缝区域。

DCNN 是当今作为深度学习的人工智能技术之一。可以算作一个，早期哺乳动物的分层神经网络一种源自 Neocognitron 的模型，一种视觉皮层的人工模型是。DCNN表现出非常高的性能，尤其是在图像识别领域已经有很多报道，近年来，图像识别方法已经失败了。它已经成为一种标准。与传统图像识别方法的比较DCNN 的优势在于传统的图像识别技术是人工设计的。图像特征提取过程中采用误差反向传播法的损失函数最小值它可以在转换过程中自动获取。DCNN 的图像识别处理是识别输入图像的重要特征。转换为特征图的特殊功能，特征图是具有强调症状的多通道图像到症状提取单元和从转换后的特征图中实际识别的识别单元大致可以分为。在前一阶段的特征提取部分，卷积过程和空间purin过程构成了特征提取过程的基础。卷积过程是一个图像对应处理中的卷积滤波，输入图像通过关联中间层特征图的局部模式，转换为对识别有用的特征图。池化过程是一个特征通过用代表性像素替换地图的局部区域来获得特征地图尺寸并保证输出相对于输入的微小移动的不变性这是一个过程。识别部分是一个全连接的神经网络。因此，将转换后的特征图转换为固定维向量，根据感知器的传播规则进行实际识别。

本研究中，DCNN 的架构为 Residual Network（以下简称 Residual Network）。下面，使用了一个名为 ResNet 的模型。ResNet 模型除了通常的 DCNN 传播规则外，通过从每个卷积层的输入到输出的身份映射引入跳过连接来保证学习稳定性。近年来，凭借其在图像分类任务中的高性能表现得到了非常广泛的应用。ResNet 根据层的深度有各种变化，但在本研究中，我们采用了一种称为 ResNet 34 的模型，该模型具有 34 层结构，预计在初步验证中表现出高性能。图 2 显示了 ResNet-34 的概况。

作为之前使用 DCNN 检测图像裂缝的研究，Piku在逐个单元格的基础上呈现裂纹区域的语义分割有一项研究使用全卷积网络 (FCN) 检测混凝土拍摄的图像中的裂缝，这是一个模型。然而，文献中所针对的混凝土裂缝都是肉眼比较容易发现的大裂缝，而本研究所针对的花岗岩石材裂缝是一个像素或少于一个像素的子像素，直接应用FCN是比较困难的，它直接从卷积层处理得到的特征表示中检测裂缝，没有使用全连接层，因为有些层次很难找到。此外，由于本系统支持人工检查工作，因此无需以像素级呈现裂纹位置，可根据输入图像的粗略位置高精度判断裂纹的有无。因此，该系统从图像中提取每个小区域的补丁图像，并学习将它们分为两类，裂纹和非裂纹。使用了 DCNN，从未知的原始图像预测裂纹区域时，原图通过光栅扫描分割成小区域，每个小区域裂开/判断无裂纹并给出结果。该系统的学习和检测结果的可视化的细节描述如下。

1 学习过程：自适应补丁采样器

对于 DCNN 的学习，使用了一对由图像检查人员创建的墙裂缝和从原始图像中剪下的裂缝部分的图像以及图像中裂缝位置的注释图像。图 3 显示了一个训练数据示例。从这些训练图像中学习的小区域的补丁图像进行采样，对于每个固定宽度步幅对小区域进行光栅扫描的方法是最简单的方法。然而，在该方法中，由于样本位置是固定的，所以不可能在小区域内对用于学习的裂纹的形状和裂纹位置给出变化。另外，由于训练图像中的裂纹区域与正常区域相比非常小，因此会出现训练数据严重不平衡的问题。一般来说，已知DCNN学习中当每个识别类的训练数据数量严重不平衡时，模型会在大量类的一侧过度拟合，泛化性能变差。因此，我们提出并使用了一种自适应采样器，它从一对石头图像和裂纹位置的注释图像中为每个类生成相等数量的各种裂纹/非裂纹采样候选区域。图 4 显示了自适应采样器的示意图。自适应采样器首先基于裂纹位置由白色像素表示的二值标注图像生成包含裂纹的补丁图像（以下称为规则补丁）的中心位置候选集。此时，为了使补丁中的裂纹位置具有多样性，引入了包括中心位置候选中裂纹位置注释附近的边缘的概念。现在，当patch的纵横尺寸为𝑘，边距参数为𝑚(𝑚≤k)时，对于标注图像中裂开区域变成白色像素的像素，使用图4底部所示的膨胀过滤器。𝑘-m[px] 像素扩展。将这个白色像素的位置设置为规则斑块中心位置的候选集𝒫，从候选集上的均匀分布𝑈（𝒫）中采样可以得到包括破裂区域在内的任意数量的斑块。生成不包含裂纹的patch图像（以下简称负例patch），取之前生成的裂纹区域候选集𝒫的补集p'，对非裂纹区域使用margin参数𝑚'对𝑘+m′ 进行像素侵蚀处理，将这些设置为反例补丁的中心像素位置的候选集𝒫'，从均匀分布中进行采样 U(p') 与常规补丁的采样一样。这个非裂纹区域的margin 𝑚'是通过DCNN学习一个包含裂纹修复痕迹和雨水渗透造成的污渍的负补丁来减少降低裂纹检测灵敏度的影响。

2 使用非面板区域图像的过检测抑制

在本研究中，切掉上面图3所示的开裂部分将其作为裂纹图像的学习数据。另一方面，在实际检验过程中，系统应处理有许多目标，例如面板以外的窗户、面板之间的接缝、吊船栏杆等。它是包含此类伪影的未经调整的图像。裂纹/非裂纹研究这些伪像在裁剪后显示在面板图像中以供学习。如果不考虑这些的地方，则这些伪像中可能会出现大量的过检测。因此，为了解决这个过度检测问题，我们从原始图像中，将石板、石板接缝和窗户以外的区域通过对窗框、缆车轨道等进行采样并将它们学习为负片来抑制过度检测。图 5 显示了创建的非面板区域的注释示例。与面板图像的裂纹位置标注类似，这些原始图像的非面板区域标注是逐像素标记的，因此使用上述自适应补丁采样器对任何伪像区域进行采样。在学习 DCNN 时，通过将这些补丁图像作为负补丁包含在训练数据中，可以抑制过度检测。

3 通过热图可视化裂纹区域

本系统运行中石材面板有无裂纹的最终判断假设由图像检查工作人员完成，而不是构建的识别模型。因此，为了支持工人的检查工作，需要一种高效的可视化方法，将工人的视线引导到 DCNN 预测的裂纹候选区域。在图像识别中，作为在小区域内可视化检测结果的方法，广泛采用将检测到的裂纹区域作为矩形边界框叠加在原始图像上的方法。但是，这次针对的裂纹往往是连续出现在图像的很长的区域内，而且形状也很复杂。即使使用了非极大值抑制等绑定集成方法，边界框也会隐藏原始图像，从而导致工作效率下降。因此，在该系统中，利用DCNN的输出是“patch中的开裂概率”这一机制，通过在原始图像上叠加热图来可视化推理结果。可视化中DCNN输出的概率为值和概率大于或等于阈值的区域设置阈值根据图像的概率生成热图叠加。通过这种可视化方法的热图的活动部分，即引导操作者的视线到出现裂缝的高概率区域。尝试。此外，由于原始图像在热图可视化中是透明的，因此系统的预测结果可以以不影响操作者最终目视检查的形式呈现。

对于学习结果的定量评估，测试数据窗口直径为 128 x 128 [px]，使用 tride 64x64 [px]光栅扫描的补丁图像数据集得到鉴定结果的准确度(Precision)、再现性(Recall)F1。这里，TP 是常规补丁中可以正确识别的补丁数量。(True Positive), FN (False Negative) 为检测不到的数字，非破解图像让TN（True Negative）是可以正确识别的图像（负例）的数量，而FP（False Positive）是被过度检测的数量。

根据定义，Precision 是“超出检测范围的。它是“真正破解”的比率，可以解释为显示过检测程度低的指标，而Recall是“应该检测到的真正检测到的”的比率，可以解释为高检测率。除了这些性能指标外，还测量了被广泛用作衡量模型异常检测性能的指标的Precision-Recall曲线和Average Precision。Precision-Recall 曲线是模型预测中的一个正检测阈值，横轴表示改变值时实现的预测性能的变化。

回想一下，垂直轴上的精度和观察。检测阈值是指对 DCNN 的 Softmax 函数输出的概率值p∈[0,1]进行破解判断的标准。当输出值大于或等于检测阈值时，确定补丁被破解。被Precision-Recall曲线包围的图形的曲线下面积（AUC）称为PR AUC（Precision-Recall AUC）或Average Precision，被广泛用作显示模型异常检测性能的定量评价指标。.对于Precision和Recall，范围都在[0, 1]，如果有一个理想的检测阈值满足Precision = Recall = 1，Average Precision取最大值1。使用 Precision-Recall 曲线将检测阈值 Softmax 的输出概率评估为 0.5，结果是 Precision：0.890、Recall：0.715 和 F1：0.793。图 6 显示了训练非面板区域的模型的 Precision-Recall 曲线。该平均精度为 0.780。

图 7 显示了模型的 Precision Recall 曲线，其中非面板区域未在相同条件下进行训练，以验证使用非面板区域图像的过检测抑制效果。此时Average Precision的值为0.773，比非面板区域训练的模型的值0.780略差。在实际对比这些图时，在训练非面板区域的模型中，如图 6 中红线所示，即使将裂纹检测阈值设置得很小，使得 Recall 超过 0.7，Precision 仍为 0.906。可以看出，模型可以保持高值，抑制过度检测的趋势，同时可以实现高召回率和精度。另一方面，在图 7 所示的非面板区域中未经训练的模型中，随着 Recall 的提高，Precision 逐渐恶化。与图6类似，当给出Recall 0.7的阈值如图7中红线所示时，对应的Precision为0.643，这是使用非面板区域图像进行过检测抑制时的值。也明显偏低，表明在没有过检测抑制的模型中很难同时实现 Recall 和 Precision。

对于包含在测试数据中的裂缝的墙面原始图像，图8是可视化检测结果的结果，地图的显示阈值为Pthr= 0.5。这张图像在图像底部的石板中心含有间歇性的亚像素级裂缝，这是一个难以区分的问题，但可以看出这些裂缝是可以正确检测到的。为了比较，图 9 显示了没有过检测抑制的DCNN检测结果。

总结：

本文就建筑维修检测工作中外墙石材面板的图像检测，描述了图像识别系统的开发。这个系统使用DCNN作为识别AI，将输入图像的每个小区域都显示出来。进行学习以确定它是否包含。在学习中，使用基于自适应采样器的随机采样来保证裂缝/非裂缝的类不平衡问题和采样子区域的多样性。另外，为了抑制在实际操作中由于训练数据与输入图像的拍摄条件不同而导致的过度检测，我们利用非面板区域的标注来学习负patch。在实验中，通过将该系统应用于实际大型建筑物的花岗岩石材面板的图像，并通过热图可视化裂缝的预测概率，可以有效地支持寻找裂缝的工作。在未来中，正在努力扩展该系统的用户界面，调整识别模型，并支持实际工程中的检查工作。