使用深度学习检测混凝土结构中的表面裂缝-技术圈

点击上方“小白学视觉”，选择加"星标"或“置顶”

重磅干货，第一时间送达

混凝土建筑裂缝

介绍

表面裂缝检测是监测混凝土结构健康的一项重要任务。如果裂纹发展并继续扩展，它们会减少有效承载表面积，并且随着时间的推移会导致结构失效。裂纹检测的人工过程费时费力，且受检验人员主观判断的影响。在高层建筑和桥梁的情况下，手动检查也可能难以执行。在这篇文章中，我们使用深度学习来构建一个简单但非常准确的裂缝检测模型。此外，我们在现实世界的数据上测试了模型，发现该模型在检测混凝土和非混凝土结构示例道路中的表面裂缝方面是准确的。该代码在Github上的链接上开源。

数据集

在这篇文章中，我们使用了公开可用的混凝土裂缝图像数据集，该数据集由 20,000 张有裂缝的混凝土结构图像和 20,000 张无裂缝的图像组成。该数据集由 458 张高分辨率图像（4032x3024 像素）生成。数据集中的每个图像都是 227 x 227 像素的 RGB 图像。部分有裂纹和无裂纹的示例图如下所示：

带有裂纹的示例图像

没有裂纹的示例图像

可以看出，数据集有各种各样的图像——不同颜色、不同强度和形状的裂缝。

建立模型

对于这个问题，让我们在 Pytorch 中构建一个卷积神经网络（CNN）。由于我们的图像数量有限，因此我们将使用预训练的网络作为起点，并使用图像增强功能来进一步提高准确性。图像增强使我们能够进行诸如垂直和水平翻转、旋转和亮度变化之类的转换，从而显着增加样本并帮助模型泛化。

对于以下步骤，请参考我在 Github 上的代码。

将输入数据混洗并拆分为 Train 和 Val

下载的数据将有 2 个文件夹，一个用于正样本文件夹，一个用于负样本文件夹，我们需要将其拆分为 train 和 val。下面的代码片段将为 train 和 val 创建新文件夹，并将 85% 的数据随机混洗到 train 中，并将其余数据随机放入 val 中。

拆分为 train 和 val

应用转换

Pytorch 可以轻松应用数据转换，这可以增强训练数据并帮助模型提高泛化性。我们选择的转换是随机旋转、随机水平和垂直翻转以及随机颜色抖动。此外，每个通道除以 255，然后归一化，这有助于神经网络训练。

转变

预训练模型

我们使用在 ImageNet 上经过预训练的 Resnet 50 模型来快速启动模型。如下所示，ResNet50 模型由 5 个阶段组成，每个阶段都有一个卷积和 Identity 块。每个卷积块有 3 个卷积层，每个标识块也有 3 个卷积层。ResNet-50 有超过 2300 万个可训练参数。我们将冻结所有这些权重和 2 个全连接的层——第一层在输出中有 128 个神经元，第二层在输出中有 2 个神经元，这是最终的预测。

ResNet50 模型

ResNet 模型层

如模型摘要所示，该模型有 2300 万个不可训练参数和 262K 个可训练参数

模型参数

我们使用 Adam 作为优化程序并训练模型 6 个 epoch。

真实图像上的模型训练和预测

我们用迁移学习训练，然后在训练数据集模型，同时在验证集上测量损失和准确性。如下面的损失和准确率数字所示，模型训练的非常快。在第 1 个 epoch 之后，训练准确率为 87%，验证准确率为 97%！这就是迁移学习的力量，我们的最终模型的验证准确率为 98.4%。

模型训练统计

在真实图像上测试模型

现在是最有趣的部分。是的，该模型适用于验证数据，但我们希望确保它也适用于互联网上看不见的数据。为了测试这一点，我们随机拍摄了混凝土开裂结构和路面裂缝的图像，这些图像比我们的训练图像大得多。请记住，该模型是在 227,227 像素的切片上训练的。我们现在将输入图像分成小块并对其进行预测。如果模型预测有裂纹，我们将补丁涂成红色（有裂纹），否则将补丁涂成绿色。以下代码片段将执行此操作。

切片预测

该模型在从未见过的图像上效果非常好。如下图所示，该模型能够通过处理图像上的 100 多个补丁来检测混凝土中很长的裂缝。

混凝土裂缝检测。左原图。右侧红色区域是有裂纹的预测，绿色区域是无裂纹的预测

此外，也在道路裂缝上测试了该模型。这个模型没有在路面数据集上训练过，但在识别道路裂缝方面也做得很好！

道路裂缝检测。左原图。右侧红色区域是有裂纹的预测，绿色区域是无裂纹的预测

在此项目的 github 链接上共享了更多现实世界图像以及有关它们的模型预测。

结论

这篇文章展示了使用深度学习和开源数据构建现实世界的应用程序变得多么容易。整个工作花了半天时间，输出了一个实用的解决方案。我希望小伙伴们自己尝试这个代码，并在更多现实世界的图像上进行测试。

参考

2018 — Özgenel, Ç.F., Gönenç Sorguç, A. “Performance Comparison of Pretrained Convolutional Neural Networks on Crack Detection in Buildings”, ISARC 2018, Berlin.
Good paper on importance of crack detection — https://www.hindawi.com/journals/ace/2018/3924120/
Good blog on Image Classification in Pytorch. Several of the code snippets used in the blog were from here.
Another good blog on Image Classification in Pytorch. Several of the code snippets used in the blog were from here.

Github代码连接：

https://github.com/priya-dwivedi/Deep-Learning/tree/master/crack_detection
https://github.com/priya-dwivedi/Deep-Learning/blob/master/crack_detection/Crack%20Detection%20Model.ipynb
https://github.com/priya-dwivedi/Deep-Learning/tree/master/crack_detection/real_images

下载1：OpenCV-Contrib扩展模块中文版教程

在「小白学视觉」公众号后台回复：扩展模块中文教程，即可下载全网第一份OpenCV扩展模块教程中文版，涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。

下载2：Python视觉实战项目52讲

在「小白学视觉」公众号后台回复：Python视觉实战项目，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目，助力快速学校计算机视觉。

下载3：OpenCV实战项目20讲

在「小白学视觉」公众号后台回复：OpenCV实战项目20讲，即可下载含有20个基于OpenCV实现20个实战项目，实现OpenCV学习进阶。

交流群

欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~