非制冷红外图像降噪算法综述

本文内容转载自《红外技术》2021年第6期，版权归《红外技术》编辑部所有。本文内容不含参考文献，如有需要请参考原论文。

王加，周永康，李泽民，王世锦，曾邦泽，赵德利，胡健钏

昆明物理研究所，陆军装备部驻重庆地区军事代表局驻昆明地区第一军代室

摘要：红外图像处理中，由于非制冷红外探测器工艺技术上的原因，原始的红外图像包含多种噪声，尤其是椒盐噪声、固定或随机条纹噪声。当前有许多红外图像降噪的滤波算法，但在时间、空间、降噪效果、细节保持等方面各有侧重，难以实现完美结合。如何更快速、更高效、更准确地滤除噪声信息，保留更多的细节信息，是今后红外图像处理降噪研究的关键方向。本文调研了目前主流的红外图像降噪算法，并从传统滤波降噪、变换域滤波降噪、基于图像分层处理滤波降噪三大类别进行了分析比较，并且提出了一种结合传统算法和基于图像分层的自适应降噪算法，为今后的相关领域研究人员提供参考。

关键词：红外图像降噪；自适应降噪；传统滤波器；图像分层滤波器变换域滤波器

0 引言

非制冷红外探测系统多用于军事领域，红外图像属于灰度图像，由于受到探测器的限制和多种外界环境因素的干扰，普遍存在灰度范围窄、图像对比度低、信噪比小、图像边缘模糊、高频细节信息少等缺陷。红外图像具有明显的椒盐噪声（主要来源于非制冷探测器响应不均匀）以及固定或随机条纹噪声。在军用领域内，对非制冷红外探测系统的实时性有很高要求，对生成的红外图像的细节信息和捕捉小目标信息同样有着更高的要求。因此需要开发一种实时性高且占用资源小的算法对红外图像进行降噪处理。对红外图像的降噪研究至今，研究人员们尝试更加充分地利用图像信号的各种特性，最大限度地过滤红外图像的噪声信息，尽可能地保留图像细节信息的完整性。传统的滤波器比如高斯滤波、均值滤波、中值滤波对细节信息的保留不足，无法满足军用的要求。对红外图像进行分层处理如引导滤波、双边滤波、加权最小二乘滤波，对细节信息的保留有所改善，但是仍需要进一步的改善。变换域滤波中如小波变换、Contourlet变换、三维块匹配算法（Block-Matching and 3Dfiltering简称BM3D算法）对细节保留有较好的效果，但是算法复杂度较高，实时性不足，难以满足工程应用的要求。如何在满足实时性要求的前提下最大限度地保留细节信息和小目标信息，实现降噪是亟待解决的问题。

1 传统的滤波算法

传统的滤波算法包括高斯滤波、均值滤波以及中值滤波。这几类滤波算法是通过分析在一定大小的窗口内中心像素与其他相邻像素之间在灰度空间的直接联系，来获取新的中心像素值的方法。高斯滤波器用像素邻域的加权均值来代替该点的像素值，但是由于高斯滤波对每个像素都进行线性滤波，所以导致其降噪能力并不算理想。均值滤波处理是使噪声部分被弱化到周围像素点上，所得到的结果是噪声幅度减小，不能完全消除噪声，并且噪声点的颗粒面积同时变大，所以噪声点所占比例反而扩大了。中值滤波通过统计模板内部所有像素的平均中值，能够较好地消除椒盐噪声，但是会使图像变模糊，并且对边缘细节信息的损失较大。

1.1 高斯滤波

高斯滤波是对整个图像进行加权平均的过程，即使用一个特定的窗口对图像中的每一个像素点进行扫描，用窗口确定范围内像素的加权平均灰度值去替换窗口中心像素点的值。

文献[1]提出了一种改进的自适应高斯滤波算法的降噪方法，运用高斯核中的参数，作为对应窗口中的权重，将像素矩阵中的每一个灰度值都关联起来，最终达到降噪的目的。此方法通过算法发现改进的自适应高斯滤波算法具备一定的通用性。但是，针对不同强度以及不同类型的噪声下是否仍然具备同样降噪效果，仍需大量实验反复验证，以提高算法的适用性。

1.2 均值滤波

均值滤波是一种直接在空间域上进行平滑处理的算法，是一种较为直观的线性滤波方式，主要通过在领域内各像素的平均灰度值替换初始的灰度值。

均值滤波算法使用简便，易于实现，对于滤除图像中产生的椒盐噪声效果较好，但是会造成图像的过于平滑，从而导致图像会变得模糊，造成细节信息的丢失。

文献[2]针对边缘细节信息的不足，提出了一种基于均值滤波的算法上增添了梯度影响因子的滤波算法，更好地降低噪声的同时将细节信息保留下来，但是增加了算法的复杂度，实时性不足，仍需要进一步研究。

1.3 中值滤波

中值滤波属于非线性滤波，是对一个滑动领域内的所有像素灰度值进行排序，找到其中间值，用中间值代替中心像素原来灰度值的算法。对于这种算法而言，正确选择领域尺寸的大小是一个较为重要的步骤。对于处理简单模型的噪声时，如均匀空旷区域背景下的噪声，具有较好的效果，但是对于图像的细节部分噪声处理较为乏力，尤其对于图像的边角区域，易造成细节信息丢失。

在中值滤波计算时，选取的是窗口的中间值，如果中间值和原始值差距较大，则会改变原始图像的信息特征，例如将图像中的点或者线信息当成是噪声进行滤除。基于中值滤波改进了加权中值滤波器，自适应中值滤波也是对中值滤波缺点的改进。

文献[3]针对红外图像的降噪处理，提出了一种改进的中值滤波器算法，改进的自适应窗口中值滤波器能够在滤除较明显的椒盐噪声的同时，还能更完整地保留红外图像的细节信息，对比于传统的中值滤波器，处理的效果更为理想。但是仍然存在一些可以继续改进的部分，例如在一些细节信息得以保留的同时，能否使图像整体的均匀性更佳。

2 基于图像分层处理的滤波算法

当前对红外图像降噪处理应用较为主流的方法如图1所示，是对图像进行分层处理，即通过低通滤波器将输入图像进行平滑处理，作为背景层；再将输入图像与背景层图像做差，得到图像中的细节信息，作为细节层。由于细节层中包含所有高频信息，所以不仅含有图像的细节信息，也会含有噪声信息。对细节层中所需要的真实细节进行增强，对形成干扰的噪声进行降噪处理。最后，将处理过后的细节层与背景层合并，输出图像。

在红外图像分层处理中，目前较为主流的滤波器有引导滤波器、双边滤波器以及加权最小二乘滤波器。以上3种滤波器对于红外图像的细节信息有较好的平滑效果，通过与输入图像作差，从而将细节层从输入图像分离出来，达到细节提取的目的。

图1 红外图像分层处理基本框架

文献[4]提出了改进的引导滤波算法，能更好地保护边缘细节信息，进一步提升了噪声的抑制效果。文献[5]提出了一种自适应双边滤波结合自适应高斯滤波的算法，通过自适应高斯滤波解决了双边滤波带来的梯度反转的问题。进一步抑制了噪声对图像的影响。

文献[6]采用加权最小二乘滤波器将输入的图像进行多尺度分层，用不同算法对不同层进行处理后再将细节层和背景层合并，有效地避免了梯度反转现象的产生，抑制了图像噪声。

2.1 基于引导滤波红外图像分层的降噪算法

引导滤波器属于线性变换滤波的一种，通过一张导引图，对输入图像进行对比滤波处理，使得最后的输出图像接近于输入图像，但是细节部分与导引图接近。引导滤波能在平滑图像的同时对红外图像边界保持可以起到较好的作用。引导滤波的数学模型如下表示：

式中：Q_i为输出图像；I_i为引导图像；P_i表示输入图像；i表示位置像素点；w_k表示确定的窗口；建立了和每个像素点从输入到输出的关系；a_k和b_k是唯一确定的常量系数；︱w︱表示窗口内像素点的个数；μ_k和σ_k²分别表示窗口w_k内的平均值和方差；P_k是输入图像在窗口w_k中的平均值；ε为正则化参数，用于避免a_k过大。

如图2所示为经过引导滤波分层之后，对细节层经过中值滤波处理以及自适应中值滤波处理后的细节层以及与背景层合并后的图像。

2.2 基于双边滤波红外图像分层的降噪算法

双边滤波器属于非线性滤波的一种，是综合了图像的空间邻近度和像素值相似度的一种滤波处理方法，每个像素点的最终处理结果表示为其临近区域各像素的加权均值。该加权均值既考虑空间邻近度与像素灰度差值，也考虑空间域信息和灰度相似性，以达到保边降噪的目的。对于一幅二维的灰度图像，对位置的像素进行滤波，具体数学模型如下所示：

图2 引导滤波细节层处理效果对比图

式中：I(x)和Î(x)是降噪前后x处像素的灰度值；‖x， y‖²₂是二范数，表示欧式距离；w_S为空间邻近度因子；wr为亮度相似度因子；Z为权重的归一化因子；σ_S²和σ_r²分别表示滤波强弱程度的方差参数；N(x)是以位置x为中心的模板滤波窗口。

如图3所示为经过双边滤波分层之后，对细节层经过中值滤波处理以及自适应中值滤波处理后的细节层以及与背景层合并后的图像。

2.3 基于加权最小二乘滤波的红外图像降噪算法

加权最小二乘滤波目的是使得输入图像与经过平滑处理后的图像尽量相似，但是在边缘部分尽量保持原状，其数学模型表示如下：

式中：(i，j)表示图像中的像素点坐标，[I_out(i，j)-I_in(i，j)]²是为了使输出图像和输入图像之间的差距尽可能小，图像平滑程度取决于平滑因子a_i(I_in)和aj(I_in)，是和输入图像相关的平滑系数。λ用于平衡两个多项式，数值越大图像的平滑程度越高。

图3 双边滤波细节层处理效果对比图

式(11)的矩阵形式表示如式(12)所示：

式中：A_i和A_j分别为包含平滑因子的对角矩阵。D_i和D_j为离散微分算子矩阵。求解取得最小值的线性系统如下所示：

式中：I为等阶单位矩阵，对于平滑因子如下所示：

式中：l由输入图像取对数获得，即l＝ln(I_in)，α作为控制细节的尺度，ε为一个很小的常量。

如图4所示，为经过加权最小二乘滤波分层之后，对细节层经过中值滤波处理以及自适应中值滤波处理后的细节层以及与背景层合并后的图像。

2.4 自适应降噪系数细节图像处理

经研究表明，人眼对均匀区域的细节图像噪声敏感程度更高，在复杂的细节区域中包含的噪声，人眼相对而言不易察觉。在图像细节多的区域，图像的局部方差大，噪声可能被细节所掩盖，而在图像细节少的区域，噪声易于观察到。在对细节层图像进行降噪时，使图像的细节降噪系数根据图像的不同区域自适应地进行变化，降噪系数公式如下所示：

式中：定义噪声掩膜函数，m(i，j)与图像的局部方差有关；v(i，j)用于表征噪声可见性与掩膜函数之间的关系；g_L为图像低增益值；g_H为图像高增益值，在统计图像中的某个像素点v(i，j)趋近于零时，该像素点的降噪系数取值相对较大，反之系数取值相对较小。为了不使图像的细节层信息被过多的抑制，g_L与g_H的选值为较小的整数。

通过自适应降噪系数，对图像的细节层分区域进行处理，将噪声更多的进行抑制，对细节进行更明显的增加。

如图5所示，分别为经过引导滤波、双边滤波以及加权最小二乘滤波分层之后，对细节层经过自适应降噪系数处理以后的细节层以及与背景层合并后的图像。

图4 加权最小二乘滤波细节层处理效果对比图

3 变换域降噪算法

随着红外图像降噪算法的多角度研究，也涌现出一些相对复杂的算法。小波变换是关于人眼视觉信息处理的一种较为理想的数学模型，它对信号的分解存在于空间域以及变换域两个域中，而且具有在方向范围内将信息局部化表达出来的特性。Contourlet变换对于图像的细节信息和线性信息具有较大的优势，在复杂噪声的环境下也能获得较好的降噪效果。BM3D降噪算法结合了空间域和变换域的算法，运用了两次降噪的过程，经过算法处理后残留的噪声更少，图像细节保留得更为完好，是目前算法中效果领先的降噪算法。

图5 自适应降噪系数细节层处理效果对比图

文献[7]分析了小波阈值去噪的基本原理以及软、硬阈值方法去噪的优缺点，对阈值函数做了改进。结果表明：采用改进阈值的去噪方法在有效地减少红外图像噪声的同时，能保留更多的图像细节信息，去噪后的红外图像具有更高的信噪比，对红外图像中的噪声具有良好的滤除效果。

文献[8]提出一种了基于小波的非下采样Contourlet变换并结合灰色系统理论的算法。首先分析灰色关联度与非下采样Contourlet变换系数间的关系，得出系数之间的相关性；再由相关性得出图像的降噪算法。该算法能较好地区分出边缘细节以及噪声。因此，在降低噪声的同时能够较好地保留细节信息。

文献[9]依据噪声是复合存在的特点，提出了基于BM3D算法的改进算法，在传统的BM3D算法中加入了方差稳定性变换，得到方差统一的噪声图像，同时，对BM3D算法的第一步计算后加入噪声残差图对比，以保留图像更多的细节。

尽管这些算法能获得更为满意的处理效果，但是其算法的复杂度以及时间和空间复杂度使得工程适用性较差，在实际工程应用中的时间和空间消耗占比很大，难以满足实时处理图像的目的。这些算法很难完整地移植到目前大多采用FPGA/DSP的硬件平台之上。大多数情况下需要进行简化和近似处理，不可避免地使处理效果有所折扣。

4 分析讨论

4.1 算法优缺点分析

为了更为直观地体现出3类算法的区别，将各类算法的特点展示出来，本文对降噪算法进行了概括性的比较，如表1所示。

如图6所示，将经过3种滤波分层处理后，加入自适应增益系数处理后的细节图像，结合自适应中值滤波处理，使图像均匀区域的噪声进一步降低，细节信息尽可能多地保留下来。

4.2 未来发展趋势分析

如何兼顾细节保留与噪声抑制，且对于不同的降噪算法，针对抑制的噪声也不尽相同，这些问题一直以来就是红外图像降噪处理中最需要去平衡最难以解决的问题。在民用领域，对计算速度与资源占用的要求也较为宽泛，可以从其他角度如变换域降噪对红外图像进行处理。在军用领域，对各项指标的要求都较为严格，特别是实时性要求高，变换域降噪等占用资源多，算法复杂度高，计算时间长的降噪算法并不适用，需要从空间域降噪进行多角度、多维度的探索，去着手解决问题。

非制冷红外图像降噪算法在军用工程应用方面具有计算速度快，占用资源小的要求，根据本身的优势，可以结合更多维度的降噪算法，以求得更好的红外图像质量，也可更有效地对噪声进行抑制。进一步提升非制冷红外图像降噪算法的性能，使其更加多元化的应用到红外探测系统之中，生成的图像更符合人眼观察特性，进一步推动红外探测系统的发展与进步。

表1 三类基于分层处理算法优缺点对比

图6 三种分层处理滤波器结合中值滤波器与自适应系数处理效果对比

5 结论

本文分别对传统滤波器、基于图像分层滤波器和基于变换域的滤波器进行了分析。并对非制冷红外图像降噪算法的发展趋势做出了一定的分析。其中传统滤波器对于细节信息的保留有较大缺陷，变换域滤波器的算法复杂度较高，耗费的计算时间较大，不易于实现工程化。基于红外图像具有典型的椒盐噪声和条纹噪声的特点，提出了一种结合传统算法和基于图像分层的自适应降噪算法思路，在保留细节的情况下，降噪性能得到了提升。基于红外图像分层处理的降噪算法在对图像质量和系统计算效率都有较高的要求的军事领域，具有一定的实际应用价值，但还仍需进一步的研究提高。

文献：

[1] 李健，丁小奇，陈光，等.基于改进高斯滤波算法的叶片图像去噪方法[J].南方农业学报，2019，50(6): 1385-1391.

[2] 魏松涛，何文思.一种基于均值滤波和梯度影响因子的滤波算法[J].机械制造与自动化，2020，49(1): 20-22.

[3] 刘智嘉，夏寅辉，杨德振，等.基于中值滤波器的红外图像噪声处理的改进方法[J].激光与红外，2019，49(3): 376-380.

[4] LIU Ning，ZHAO Dongxue. Detail enhancement for high dynamic range infraredimages based on guided image filter[J]. Infrared Physics and Technology，2014，67(7): 138-147

[5] 谢岱伟.一种基于双边滤波的高动态红外图像压缩与细节增强算法[J].舰船电子对抗，2019，42(2): 96-98，117.

[6] 朱道广，隋修宝，朱才高，等.基于多尺度的高动态红外图像增强算法[J].红外技术，2013，35(8): 476-481，486.

[7] 秦乾坤，杨慧，岳威，等.基于改进小波阈值的红外热波无损检测图像噪声抑制方法的研究[J].计算机时代，2019(1): 75-78，82.

[8] 王宝坤.基于非下采样Contourlet变换的图像降噪研究[D].哈尔滨:东北林业大学，2018.

[9] 黄丽姝，马铭志.改进的基于BM3D的图像去噪算法[J].现代计算机(专业版)，2019(6): 60-63，71.