机器视觉项目实战：织物缺陷图像识别方法

纺织业在是中国最大的日常使用及消耗相关的产业之一，且劳动工人多，生产量和对外出口量很大，纺织业的发展影响着中国经济、社会就业问题。而织物产品的质量直接影响产品的价格，进一步影响着整个行业的发展，因此纺织品质量检验是织物产业链中必不可少且至关重要的环节之一。

织物缺陷检测是纺织品检验中最重要的检验项目之一，其主要目的是为了避免织物缺陷影响布匹质量，进而极大影响纺织品的价值和销售。

长期以来，布匹的质量监测都是由人工肉眼观察完成，按照工作人员自己的经验对织物质量进行评判，这种方法明显具有许多缺点。首先，机械化程度太低，人工验布的速度非常慢；其次，人工视觉检测的评价方法因受检测人员的主观因素的影响不够客观一致，因而经常会产生误检和漏检。

目前，基于图像的织物疵点自动检测技术已成为了该领域近年来的的研究热点，其代替人工织物疵点检测的研究算法也逐渐成为可能，主流方法一般分为两大类， 一是基于传统图像处理的织物缺陷检测方法，二是基于深度学习算法的织物缺陷检测定位方法。

传统的目标检测方法主要可以表示为：特征提取-识别-定位， 将特征提取和目标检测分成两部分完成。

基于深度学习的目标检测主要可以表示为：图像的深度特征提取-基于深度神经网络的目标定位， 其中主要用到卷积神经网络。

正常情况下，织物表面的每一个异常部分都被认为是织物的缺陷。

在实践中， 织物的缺陷一般是由机器故障、纱线问题和油污等造成的，如断经纬疵、粗细经纬疵、 破损疵、 起球疵、 破洞疵、 污渍疵等。然而，随着织物图案越来越复杂，相应的织物缺陷类型也越来越多，并随着纺织技术的提高， 缺陷的大小范围越来越小。在质量标准方面，一些典型的织物缺陷如图所示。

各类模式织物表面的疵点图像

由纺线到成品织物，需经过纱线纺织、裁剪、图案印染等流程，而且在每个流程中，又需要很多的程序才能完成。在各环节的施工中，如果设定条件不合适， 工作人员操作不规范，机器出现的硬件问题故障等，都有可能导致最后的纺织品发生表面存在缺陷。从理论上说，加工流程越多，则缺陷问题的机率就越高。

最常见的疵点类型及形成原因

随着科技水平的进步，纺织布匹的技术不断随之发展，疵点的面积区域必将越来越小，这无疑给织物疵点检测带来了更大的难题。疵点部分过小，之前的方法很难将其检测出来。

检测存在困难的织物疵点类型

基于深度学习的织物疵点检测方法相比传统的方法，虽然具有检测速率快，误检率低，检测精度高等优点， 但这些方法是依赖于大量的训练数据库基础之上的。只有在训练阶段包含了尽量多的织物疵点图像，尽可能的把每种疵点的类型都输入训练网络，这样对于网络模型来说，才能反复的熟悉疵点的“模样”，即获得疵点位置的特征信息，从而记住疵点的特征信息，以在以后的检测过程中可以更好更快更准的检测到疵点的位置并标识。

首先搭建由光源、 镜头、相机、 图像处理卡及执行机构组成的织物图像采集系统，然后基于本系统，采集破洞、油污、起毛不均、漏针、撑痕、粗节等一定规模的织物疵点图像，并通过转置、 高斯滤波、图像增强等操作扩充织物图像，构建了织物图像库，为后续深度学习提供了样本支撑。

织物图像采集系统整体结构图

相机选择

工业相机是图像采集系统中的一个关键组成部分，它的好坏字节影响后续所有工作，其最终目的是得到图像数字信号。相机的选择，是必不可少的环节之一，相机的选择不仅直接影响所采集到的图像质量， 同时也与整个系统后续的运行模式直接关联。

镜头选择

镜头选择

和工业相机一样， 是图像采集系统中非常重要的的器件之一， 直接影响图片质量的好坏， 影响后续处理结果的质量和效果。同样的， 根据不同标准光学镜头可以分成不同的类， 镜头摆放实物图如图所示。

光源选择

光源的选择

也是图像采集系统中重要的组成部分，一般光的来源在日光灯和LED 灯中选择，从不同的性能对两种类型的光源进行比较。而在使用织物图像采集系统采集图像的过程中， 需要长时间进行图像采集， 同时必须保证光的稳定性等其他原因，相比于日光灯， LED 灯更适合于图像采集系统的应用。

发射光源种类确定了，接下来就是灯的位置摆放问题，光源的位置也至关重要，其可以直接影响拍出来图片的质量，更直接影响疵点部位与正常部位的差别。一般有反射和投射两种给光方式，反射既是在从布匹的斜上方投射光源，使其通过反射到相机，完成图像拍摄；另外一种透射，是在布匹的下方投射光源，使光线穿过布匹再投射到相机，完成图签拍摄，光源的安装方式对应的采集图像如下图所示。

不同光源照射的效果对比图

数据库构建

TILDA 织物图像数据库包含多种类型背景纹理的织物图像，从中选择了数据相对稍大的平纹背景的织物图像，包含 185 张疵点图像，但该图像数据存在很大的问题：虽然图片背景是均匀的，但是在没有疵点的正常背景下，织物纹理不够清晰，纹理空间不均匀，存在一些没有瑕疵，但是纹理和灰度值与整体正常背景不同的情况。

TILDA 织物图像库部分疵点图像

由于织物纹理复杂性， 织物疵点检测是一项具有挑战性的工作。传统的检测算法不能很好的做到实时性检测的同时保持高检测率。卷积神经网络技术的出现为这一目标提供了很好的解决方案。

基于 SSD 神经网络的织物疵点检测定位方法：

步骤一：将数据集的 80% 的部分作为训练集和验证集，再将训练集占其中80% ，验证集占 20% ，剩余 20% 的部分作为测试集，得到最终的实验结果。

步骤二：将待检测的织物图像输入到步骤一训练好的织物检测模型，对织物图像进行特征提取，选取出多个可能是疵点目标的候选框。

步骤三：基于设定好的判别阈值对步骤二中的候选框进行判别得到最终的疵点目标，利用疵点目标所在候选框的交并比阈值选择疵点目标框，存储疵点的位置坐标信息并输出疵点目标框。

这个算法对平纹织物和模式织物均具有很好的自适应性及检测性能， 扩大了适用范围， 检测精度高，有效解决人工检测误差大的问题，模型易训练，操作简单。

织物疵点图像检测结果

随着深度学习技术飞速发展， 以及计算机等硬件水平的不断提升， 卷积神经网络在工业现场的应用将随之不断扩大， 织物表面疵点检测作为工业表面检测的代表性应用产业， 其应用发展将影响着整个工业领域。