基于ResNet的钢材表面缺陷分类

摘要

开发了一种自动检测和分类轧制金属中三类表面缺陷的方法，该方法允许以指定的效率和速度参数进行缺陷检测。研究了利用残差神经网络对缺陷进行分类的可能性。基于ResNet50神经网络的分类器被接受为基础。该模型可以对三类损伤的平面图像进行分类，基于测试数据，分类精度为96.91%。结果表明，使用ResNet50可以提供出色的识别、高速和准确度，这使其成为检测金属表面缺陷的有效工具。

by Ihor Konovalenko ,Pavlo Maruschak,Janette Brezinová ,Ján Viňáš and Jakub Brezina 

关键词：冶金；钢板；表面缺陷；视觉检测技术；分类

1.导言

钢带的表面缺陷会导致其质量受损，而对这些类型的损伤进行分类可以快速识别并消除其发生的原因[1,2,3]。因此，缺陷分类的效率和准确性是金属产品质量控制的关键[4,5,6,7]。

许多光学数字系统被发明出来，允许在足够高的水平上对轧制金属表面进行缺陷检测。然而，已知大量形状相似的缺陷，其精确识别需要进一步研究[8,9,10]。创建用于检测和识别不同粗糙度的表面缺陷（具有明显的颜色强度梯度）的算法仍然是相关的。此外，现有系统通常对轧制金属带的照明敏感。因此，在该过程中应确保光流的均匀性。

相关标准[11,12,13]中描述了各类缺陷（如裂纹、毛刺等）的控制要求和主要特征。在使用基于大量正确标记的缺陷图像或完整表面示例训练的神经网络时，可以考虑缺陷的最大数量。缺陷几何分析和大样本统计数据的形成是改进工艺和降低轧制设备维护成本的关键，尤其是在消除异常损坏或温度偏差时。因此，可以防止此类设备的不可预测故障[14,15,16]。

针对这类任务，需要构建基于深度残差神经网络的分类模型。在轧制金属的平面图像上研究了它们的定性指标。除了使用缺陷图像作为检测到的缺陷镜损伤外，他们还将其视为钢带缺陷分类的初始信息[17,18,19,20]。使用神经网络需要解决几个任务，例如训练和控制样本的形成和准备、选择神经网络结构、优化其组件的操作参数，以及验证所获得的结果。

不同的神经网络结构，包括AlexNet、GoogLeNet、ResNet等，用于解决各种缺陷检测问题。模型的复杂性决定了它的速度。神经网络是针对某冶金厂的显著缺陷图像进行训练的。这允许在处理训练样本期间考虑现有设备的特征和缺陷形态。这消除了缺陷固有的技术差异问题[21,22]。另一个重要问题是检测和分类具有明显不同或相似特征的不同类别的若干缺陷。对具有此类多个缺陷的轧制金属型材进行光学数字控制，需要开发和完善已知算法，以提高此类缺陷损伤诊断的准确性。现有系统仅限于在稳定工作条件下识别先前分类的缺陷。

对钢表面缺陷进行分类是识别缺陷和研究缺陷成因的一项重要任务。这使得降低产品缺陷率成为可能，并大幅减少炼钢过程中的缺陷数量[23]。在之前的工作中，作者分析了冶金设备的大量缺陷，系统化了其发生的原因，并提出了预测方法[24]。然而，这种方法的潜力并未得到充分利用，因为连铸机上的浇铸速度和轧制速度的提高会对冶金设备造成新类型的损坏[25,26]。设备故障会导致轧制金属中出现的缺陷几何形状发生变化，并导致其参数“不稳定”。显然，轧制产品的低成本光学数字质量控制系统是必要的，目前正在乌克兰和俄罗斯的冶金厂积极引进。这些系统要解决的主要任务包括：对生产中出现的缺陷进行系统化研究，提供将缺陷的几何特征与其发生原因进行比较的能力，以及制定消除技术违规或设备故障的协议和新方法。

基于深度神经网络的钢材表面分析方法得到了广泛应用。在一项研究[27]中，作者提出了一种用于监督钢缺陷分类的最大池卷积神经网络方法。对于从实际生产线收集到的七种缺陷的分类任务，错误率为7%。在其他研究[28]中，作者提出了一种使用深层结构神经网络（如具有类激活映射的卷积神经网络）诊断钢缺陷的方法。

本研究的目的是开发一种基于残差卷积神经网络图像的金属平面缺陷识别和分类方法。

2.缺陷及其分类

众所周知，轧制金属的缺陷是标准化的。标准GOST 21014-88描述并说明了黑色（钢）轧制金属的64种缺陷。同时，现代装置和控制系统根据其参数的描述对缺陷进行分类，在不同的技术条件下可能会有所不同[11,12,13]。对缺陷特征的不准确描述会导致其部分遗漏，或将其归因于缺陷未受损区域。此外，表面缺陷可能来自轧制和炼钢。

应该注意的是，在现代冶金生产中，只要观察轧制的工艺模式，缺陷的数量要小得多。它们包括裂纹、机械缺陷和孔洞。根据规范性文件和带状缺陷的自动分析，确定了形态特征，并找到了其外观的技术原因（表1）。

表1。缺陷形态的观察标识

在一个类别中，缺陷的形状、外观和结构可能不同，这使其分类复杂化。为了解决这个问题，我们使用了基于卷积神经网络的分类器。

为了支持基于神经网络的方法，表面监测工具的开发是一项紧迫的任务[29,30,31]，神经网络通过提供高精度、可靠性和速度，在各个行业证明了其有效性[32,33,34]。

3.数据集培训

神经网络分类器在一个样本上进行训练，该样本包含87704张具有三种损伤类型的扁钢表面数码照片，以及未损伤表面的图像（图1）。训练图像的大小为256×256像素。部分图像取自卡格尔竞赛“Severstal:钢缺陷检测”[35]。

图1。具有1级（a）、2级（b）和3级（c）损伤的图像。见表1和未损坏表面的图像（d）。

训练样本总共包含1820张1级损伤图像、14576张2级损伤图像和2327张3级损伤图像。一些图片显示了几个等级的损坏。特别是，训练图像数据库中有63张1级和2级损伤图像，228张2级和3级损伤图像。训练样本还包含69272张完整表面的图像，占其体积的79%。训练样本在不同类别图像的分布上存在显著的不平衡性，这些图像代表了现实中的类别分布。训练样本的这一特征要求使用神经网络的相关训练技术，这减少了输入数据异质性的影响[36,37]。数据不平衡会对神经网络的训练结果产生负面影响：该算法忽略了小类，导致分类精度较低。为了解决数据不平衡的问题，使用了以下方法：

▪应用类的权重;

•少数群体过采样技术;

•利用失焦功能。

类权值的设计是为了让模型更多地关注在训练样本中表现较少的类。在实践中，这是使用Keras库的工具完成的。权重是标量系数，以权重的损失贡献的不同模型输出。该模型所最小化的损失值将是所有个别损失的加权和。但是，在我们的例子中，使用类权重并没有产生预期的积极效果。

少数类过采样是通过增广将训练样本扩展为多个训练样本来实现的[38,39]。这种方法的使用使我们能够以可接受的结果训练分类器。但是，使用focal loss函数可以得到最好的结果，所以本文中给出的所有数据都与使用focal loss函数[40]的分类器有关。

focal loss将一个调制项应用于交叉熵损失，以便将训练重点放在困难的负面例子上。它降低了分类良好的示例的权重，并将更多训练重点放在难以分类的数据上。在数据不平衡的实际环境中，大多数类会很快得到很好的分类，因为我们有更多的数据。因此，为了保证我们对少数类也能达到较高的准确性，我们可以使用focal loss在训练过程中给予少数类例子更多的相对权重。

研究中的钢样品表面具有不同的纹理和阴影，照片是在不同的光照条件下获得的。因此，训练样本的特征不仅是缺陷的显著多样性，还包括未损坏的表面及其照明度。为了形成模型的最佳泛化特性，对输入图像进行了增强。为此，为模型训练提供数据的数据生成器将图像相对于水平轴和垂直轴翻转，并以一定的概率以90°的倍数旋转图像。通过图像修改来增加训练样本的技术被各个应用领域的研究人员广泛使用[38,39]。为了在验证过程中实现更好的泛化，使用了一个验证图像生成器，它使用随机增强。鉴于在每个样本的增强过程中随机选择变换，我们可以声明，对于每个学习阶段，图像的验证子集将永远不会重复。OpenCV库用于扩充。

虽然本研究只选择了三类表面缺陷，但通过替换最后一层完全连接的神经元，神经网络分类器很容易扩展。

4.方法

为了解决表面缺陷分类问题，选择了残差神经网络[41]。ResNet是功能最强大的深层神经网络之一，已经显示出了优异的性能。残差网络成为2015年ImageNet大规模视觉识别挑战赛（ILSVRC）图像分类、检测和定位比赛的冠军，以及2015年Microsoft COCO：上下文中的常见对象检测和分割比赛的冠军。ILSVRC是一项年度计算机视觉竞赛，它是基于一个名为ImageNet的公开计算机视觉数据集的子集开发的。

ResNet架构允许通过训练剩余表示函数而不是训练信号表示函数来构建一个高达1202层的非常深的网络[41,42]。ResNet引入了跳过连接（或快捷连接），将输入从上一层链接到下一层，而无需对输入进行任何修改。我们没有将堆叠的层链接到所需的底层映射，而是显式地让这些层匹配剩余映射。跳过连接可以拥有更深的网络并获得更好的性能。

作为解决表面缺陷分类问题的一部分，我们研究了残余神经网络ResNet34、ResNet50、ResNet152和SeResNet50。剩余神经网络ResNet50由微软研究司令部于2015年提出。ResNet50在图像识别任务中表现出良好的泛化性能和较低的错误率，因此是一种有用的分类工具。让我们考虑在基本模型RESNET50的示例中检测表面缺陷的分类器的结构。该分类器有50个堆叠层和2300多万个可训练参数。Xu等人[38]认为，堆叠层不应降低网络性能，因为我们可以简单地在当前网络上堆叠快捷连接（不做任何事情的层），由此产生的架构也会执行相同的功能。

ResNet50的架构如图2所示。模型分为四个阶段，每个阶段都有一个残余块体。每个残差块有三层，分别作1 × 1和3 × 3卷积。

图2  ResNet50分类器体系结构。

为了减少梯度在深层消失的问题，ResNet网络使用了快捷连接。快捷连接将输入直接传输到剩余块的末端。ResNet50模型分别使用7 × 7和3 × 3 kernel size进行初始卷积和max-pooling, stride均为2。然后网络的阶段1开始，阶段1有三个剩余块，每个块包含三层。在第1阶段块的所有三层中进行卷积运算的kernel大小分别为64、64、256。当我们从一个阶段过渡到另一个阶段时，通道宽度增加了一倍，输入的大小减少了一半。曲线指的是快捷连接。虚线表示用stride 2对残块进行卷积运算。因此，输入的大小将减少到一半，但通道宽度将增加一倍。

如图2所示，ResNet50在其block中采用了瓶颈设计。每个区块都有三层叠在一起。这三层分别是1 × 1,3 × 3和1 × 1卷积。1 × 1卷积层首先被缩减，然后它们恢复维度。3 × 3层作为输入/输出尺寸更小的瓶颈。

最后，该网络有一个平均池化层，接着是一个全连接层，该层包含三个神经元(根据所研究的三类缺陷)。每个神经元在输出处都可以有一个在[0…1]范围内的值，可以认为是输入图像中存在某一类损伤时模型的置信度。

该分类器是使用Python 3.6编程语言和Keras和TensorFlow库设计的。

5.培训

为了训练分类器，我们使用了迁移学习技术。作为基础，我们从ImageNet数据库中获取了140万张1000个类别的标签图像，并对其进行了培训。

所有图像分为测试组（20%）和训练组（其余80%）。在训练模型时，20%的训练样本用于验证。所有类别的损害按其在总金额中所占的比例列示在每组中。

研究了两类分类器：多标签分类器和多类分类器。多标签分类器假设多个类别的损坏可能出现在一张图像中，而多类别分类器则假设每个图像只代表一个类别的损坏。由于在我们的例子中，只有0.3%的图像包含多个类别的损坏，我们可以假设它们对错误的总贡献（如果只有一个类别的损坏）将是微不足道的。之前的研究表明，多标签分类器具有更好的准确性。因此，只研究了多标签分类器。在结构上，多标签分类器模型是四个二进制分类器的组合。在每个阈值的输出处使用一个单独的阈值，以确定分析图像中是否存在特定类别的损伤。这使得实现每个类别的最佳识别质量成为可能。

训练中使用了二元损失函数和二元焦点损失函数。在每个历元结束时，保留以下指标的值：假阳性、假阴性、真阳性、真阴性、准确性、精密度、召回率和受试者工作特征曲线下面积（AUC）。我们已经确定，使用焦损函数可以获得最好的结果，这已经证明了它们对不平衡数据的适用性[37]。

在之前的研究中发现，使用随机梯度下降（SGD）优化器和焦损函数可以获得最佳结果。Adam和RMSprop优化器的使用导致了更糟糕的结果。在训练分类器时，训练速率、批量大小和每个历元的步数等超参数是不同的。

学习率最初设置为0.001或0.0005。每10个时期后，如果损失函数没有改善，则减少25%。训练期间，批量大小设置在8-20张图像范围内。在每个时代结束时，模型被保存。在过去10个时期内，进行训练，直到丧失功能有所改善。作为培训的结果，选择了验证损失函数值最低的模型。培训是在一台配备英特尔Core i7-2600 CPU、32 GiB RAM和两个NVIDIA GeForce GTX 1060 GPU、6 GiB视频内存的工作站上进行的。

为了选择最优分类器模型，研究了29种基于残差神经网络的分类器模型。表2给出了其中四个的超参数。

 表2  分类器模型的超参数。

图3给出了表2中分类器训练期间二元焦损函数的变化图。从验证损失函数可以看出，该模型在20-40个训练阶段达到了数据泛化的最高水平，之后逐渐出现过度拟合。与此同时，培训损失继续减少。

图3。来自表2的分类器模型的训练曲线：（a）模型1，（b）模型2，（c）模型3和（d）模型4。

基于ResNet50的模型显示出最好的结果，该模型使用SGD优化器训练，学习速率为0.9，批处理大小为20，每epoch的步数为3000。将学习率降低到0.0005会稍微增加训练的持续时间，但并没有改善结果。因此，选取0.001为最优值。批量大小在8-20范围内没有显著影响结果。

6.分类器结果的评估和讨论

为了评估分类器的质量，我们计算了每个分类器的召回指标、精度、F1分数和二进制精度。

召回指标显示了某一类别的损坏的哪些部分被正确识别，精度指标表明被识别为属于特定类别的损伤的哪一部分实际上属于该类别。

F1分数是一个综合指标，可以解释为精确度和召回率的加权平均值，其中F1分数在1时达到最佳值，在0时达到最差值。准确度和回忆度对F1成绩的相对贡献是相等的。

二进制精度度量显示图像中所有类别的总体检测精度。

在训练期间，在分类器输出处获得的基本真值的形式为，其中是类的数量（在我们的例子中是），是输出向量元素，如果输入图像中存在带索引的类，则等于1，如果不存在，则等于0。

输出预测向量为[0,1]。如果该向量的元素是（某个极限值），则图像中存在一个具有索引的类，反之亦然。让我们表示一个描述以下条件的逐步函数：

我们还表示两个参数的相等函数，如果它们相同，则返回1，否则返回0：

那么，单个预测的二进制精度等于：

按大小批量预测输入图像的二进制精度：

6.1. 召回度量

发现2级损坏是最容易识别的（对于不同型号，召回范围为0.7102至0.7403）。这些损伤数量最多，面积较大，使模型具有良好的泛化性质。3级损伤也能很好地检测到。与周围背景相比，它也有很大的面积和明显的形态异质性。对于此类车型的不同车型，召回指标的范围为0.6169至0.6981。分类器在识别类别1中最精细的损伤方面表现最差，而这在训练样本中表现最差。对于这一类，召回率在0.2953到0.3509之间。所有模型都能最好地检测未损坏的表面；对他们来说，召回率为0.9392–0.9658。在训练样本中，未损坏的图像数量最多（占总数的79%），这使模型能够最好地了解其特征。

因此，我们可以得出结论，进一步扩展训练样本，特别是对于1类损伤，将允许训练具有最佳泛化性质的模型。

6.2. 精密度

该指标适用于3级损伤，其形态与背景损伤和其他损伤最为不同。该等级的精度在0.8714–0.8906之间。在2级损伤的分类中也有相当多的误报。该等级的精度指标为0.8323–0.8561。对于1级损伤，再次获得最差结果：精度在0.7131–0.8430之间。未受损表面的假阳性病例数最少（精度为0.9401–0.9597）。

6.3. F1成绩指标

F1分数是一个综合指标，总结了召回率和精确度指标的价值。由于它基于前面两个指标的值，因此显示了类似的结果：1级损伤的识别最差（其指标范围为0.4398–0.4706）。2级伤害和3级伤害被更好地识别：它们的度量分别达到0.7940和0.7809。

6.4. 二进制精度度量

二进制精度计算预测与二进制标签匹配的频率。不同模型训练期间的二进制精度图如图4所示。对于测试样本，二元精度在0.9472到0.9691之间。

图4 表2分类器模型训练期间的二元精度曲线：（a）模型1，（b）模型2，（c）模型3和（d）模型4。

二值精度度量的值受确定缺陷的精度和确定图像中是否存在缺陷的精度的影响。由于分类器可以很好地识别缺陷的存在，所有类别的度量值都很高（0.9321–0.9884）。

对分类结果的分析表明，大多数误报与图像中类似真实损伤的伪影有关。图5显示了没有缺陷但被错误识别为缺陷的图像。因此，在图5中，可以看到小瑕疵（1级损伤由小斑点表示，但实际上是表面上的一个缺口）。图像中的2类缺陷（划痕和擦伤）具有不同的外观，其中一个缺陷由暗直线表示。图5b说明了模型在这种表面形成上的错误操作。3级损伤以大面积和显著的形态多样性为特征。在图5c中，我们可以看到类似的工件。根据获得的结果，可以假设进一步扩展训练样本将允许训练具有更好特征的模型，因为这将为模型提供每个类别缺陷的更多特征。

图5。1级（a）、2级（b）和3级（c）损伤的误报。

6.5. 选择最佳模型

由于模型的每个输出神经元产生的结果不依赖于其他神经元的值，因此每类缺陷可能有其自己的最佳阈值，在该阈值下将获得最佳性能。因此，针对每个类别分析了0到1的阈值（步长为0.05）的分类结果。图6显示了模型1中每个类别的混淆矩阵，该矩阵显示了阈值为0.2、0.4、0.6和0.8时正确识别和错误识别的样本比例。每个矩阵的左上单元（真负片）对应于正确识别的未损坏表面，这些表面数量最多。右下角的细胞（真阳性）对应于正确分类的图像，具有相应类别的缺陷。另外两个细胞（假阳性和假阴性）对应于I型和II型错误。我们的目标是为每一个类找到一个阈值，该阈值将产生最小数量的错误。这对于接收器工作特性（ROC）曲线很方便。

图6 模型1中三类缺陷在不同阈值下的混淆矩阵。在每一行中，分别获得阈值为0.2、0.4、0.6和0.8的矩阵。

ROC曲线显示了二进制分类器在输出信号的不同阈值下识别输入信号的能力。曲线显示了在不同阈值下真阳性率（）与假阳性率（）的依赖关系。ROC曲线对类别分布不敏感。如果阳性与阴性的比例改变，ROC曲线不会改变。该曲线下的面积（AUC-ROC）是模型质量的一个整体指标，它总结了模型区分特定类别的能力。

图7显示了表2中模型1的ROC曲线。不同类别的AUC-ROC面积为0.90–0.98。从图中可以看出，3级损伤（AUC-ROC面积为0.98）与未受损表面相比具有显著的形态差异，是最好的识别。2级损伤也得到了广泛认可（AUC-ROC面积为0.96）。通常与背景融合的1级细微损伤（最低AUC-ROC面积为0.90）最难检测。

图7 具有最佳质量指标的分类器的接收器操作特征（ROC）曲线（模型1和模型2，表2）。

在分析了模型在不同阈值下的结果后，我们为每个类别选择了最佳限值，从而提供了最佳的分类精度。表3显示了最佳阈值的最成功模型的性能指标。

表3。模型1和模型2的性能指标。

在探测方面最有问题的是1类物体。不同的模型在检测不同类型损伤方面表现出不同的能力。因此，模型2比模型1更好地检测出16%的1类缺陷，但如精度指标（0.7143对0.8430）所示，显示出更多的误报。因此，模型1的整体精度在这一类中更高。对于2级和3级损伤，不同模型的结果非常相似，这在训练样本中表现得更好。根据广义指标F1得分，模型1是最好的。

7.结论

建立了多种基于深度残差神经网络的分类模型，并对轧制金属平面图像的定性指标进行了研究。结果表明，所提出的模型可以用于高精度的表面缺陷检测。面积足够大（2级和3级）的缺陷最好识别。1级细损伤最难识别，它与通常在完整样本上发现的表面结构最为相似。同时，似乎可以显著改善1级损伤的结果。这需要在本课程中扩展损伤照片的训练样本。

通过对不同类型的ResNet模型的分析，我们发现模型的最佳深度为50层。较简单的模型（34层）表现出较差的泛化特性，而较深的模型在训练中表现出更好的结果。然而，测试数据的结果更差，表明拟合过度（或复杂模型的训练样本不足）。

基于ResNet50的多标签分类器的最佳模型显示，对于所有类型的损伤，分类的平均准确度为0.9691。利用二元焦损函数和SGD优化器对模型进行训练。