超实用性：盲噪声的盲超分辨的非对称卷积神经网络

由哈尔滨工业大学、国立清华大学及香港中文大学的学者提出了一种用于盲噪声的盲超分辨的非对称卷积神经网络，该论文已经在AriXv上发表。该论文打破传统的一个模型只能处理固定缩放因子的图像超分辨问题，该文巧妙地通过一个网络训练出用于处理固定缩放因子的图像超分辨、盲超分辨任务及盲噪声的盲超分辨模型，这对手机和相机等拍照设备具有较强的应用性。

论文题目：Asymmetric CNN for image super-resolution

作者: Chunwei Tian, Yong Xu, Wangmeng Zuo, Chia-Wen Lin and David Zhang

单位：哈尔滨工业大学、国立清华大学、香港中文大学

论文链接：https://arxiv.org/pdf/2103.13634.pdf

论文中给出的代码链接：https://github.com/hellloxiaotian/ACNet

动机：

已有图像超分辨的卷积神经网络都没有考虑到局部特征点的作用，而直接通过残差或者连接操作方法融合不同水平的特征，以提高预测超分辨图像的质量。但该操作会因信息冗余，导致训练效率减慢。此外，已有图像超分辨方法大部分都是通过一个缩放因子来训练一个图像超分辨模型，这与真实世界中收集到无固定尺寸的低分辨率图像的复原是相悖的。因此，作者们提出了盲噪声的盲超分辨的非对称卷积神经网络。

思路：

ACNet通过由3x1, 1x3和3x3组成的非对称卷积结构在水平和竖直方向上增强方核卷积作用，突显局部关键特征对SISR任务的作用和加快训练效率，如网络结构图的AB块所示；为了防止ACNet会因网络深度加深而导致SR性能下降，ACNet利用残差学习操作集成获得网络层次特征，这不仅强化低频特征，同时该操作也通过充分考虑深度特征和宽度特征而使获得低频特征更鲁棒，具体如网络结构图中非对称块（AB）所示；为了获得盲超分辨模型及盲噪声的盲超分辨模型，一组并行的子像素卷积技术（上采样）被用到记忆增强块（MEB）中，具体如MEB和上采样结构图；最好，为了防止上采样过程中，模型不稳定，高频特征融合增强块（HFFEB）结合获得高频特征和低频特征学习得到更精准的超分辨特征，这样能防止之前操作导致特征过分增强现象。为了全面验证提出的ACNet在固定缩放因子图像超分辨、盲图像超分辨及盲噪声的盲图像超分辨上的好性能，本文选择定量分析和定性分析设计验证实验，具体如下所示：

1.网络结构图2.上采样操作

3.实验设置

为了公平地设计实验，本文选择和2018 ECCV发表的CARN-M一样的MSE作为损失函数及选择Adam优化器共同优化参数，其余初试参数如下：1.beta_1 0.9, beta_2 0.999；2.10-8的epsilon；3.660000步；4.Batch size为16；5.初始学习率为10-4，每400000步学习率减半。4.不同方法在不同数据集的SR结果 为了更全面证明本文提出方法的性能，这里选择定量分析和定性分析来验证ACNet在图像超分辨上性能。

定量分析:

本文首先选择在四个基准的超分辨数据集（Set5、Set14、B100和U100）上对于不同缩放因子（x2、x3和x4）测试不同方法的PSNR/SSIM。由表TABLE IV-TABLE VII可知，本文提出的ACNet和ACNet-B（盲超分辨模型）在不同数据集上对于不同缩放因子都取得具有竞争力的性能。

(1)不同方法在Set5和Set14数据集对于不同缩放因子的PSNR/SSIM值(2)不同方法在B100和U100数据集对于不同缩放因子的PSNR/SSIM值其次，考虑到模型复杂度和恢复高质量图像的时间是衡量超分辨技术在数字设备上实用性的重要指标，本文利用选择包括几种经典的方法（2016 CVPR-VDSR、2017 TIP-DnCNN、2016 CVPR-DRCN、2017 CVPR-DRRCN、 2017 CVPR MemNet和2018 ECCV CARN-M）来作为对比方法来设计实验。通过表TABLE VIII中参数和FLOPS和表TABLE IX可知，本文提出的ACNet在复杂度和复原高质量图像的运行速度上与主流方法相比是非常有优势的。

(3)复杂度和运行时间接着，为了更全面测试本文提出的ACNet在感知方面也具有优势，本文利用图像质量评估方法FSIM来测试ACNet。由表TABLE X可知，本文提出的ACNet在不同缩放因子下比其他对比方法获得更好FSIM值，这说明了ACNet在图像质量评估方法取得了更好的性能。(4)图像质量评估最后，为了测试本文提出的ACNet对于恢复带有噪声的低分辨图像上也是有效的。本文设计不同数据集不同缩放因子条件下利用不同方法处理低频噪声的低分辨图像和高频高分辨率图像。从表TABLE XI和TABLE XII中可知，本文提出的ACNet在恢复低频15和25的不同缩放因子的低分辨图像比其他经典深度学习去噪方法DnCNN和图像超分辨方法LESRCNN更有效。从表TABLE XIII和TABLE XIV中可知，本文提出的ACNet在恢复低频35和50的不同缩放因子的低分辨图像比其他经典深度学习去噪方法DnCNN和图像超分辨方法LESRCNN更有效。其中，ACNet-M是包含盲噪声的盲超分辨模型。由以上可知，本文提出的ACNet在恢复低频噪声低分辨图像和高频噪声高水平图像的都具有良好的鲁棒性。

(5)包含低频噪声的低分辨图像复原结果

(6)包含高频噪声的低分辨图像复原结果

定性分析：

本文选择在高清图像、Y通道图像、错误图像（预测高质量图像与给出的高质量图像）、边缘图像上选择一个区域来测试平坦、纹理及恢复细节信息好坏等。对于高清图像、Y通道图像及边缘图像来说，选择的观察区越清晰，代表对应的超分辨方法性能越好。对于错误图像来说，细节信息越少，代表对应的超分辨性能越好。从图3-图13可知，本文提出的ACNet从不同视角的可视化图像上均验证它在图像超分辨任务上强的鲁棒性。

(7)获得高清图像和Y通道图像的平坦区域可视化结果(8)获得错误图像和边缘图像的平坦区域可视化结果

(9)获得高清图像和Y图像的纹理区域可视化结果(10)获得错误图像和边缘图像的纹理区域可视化结果(11)获得高清图像和Y图像的细节信息区域可视化结果

（12）获得错误图像和边缘图像的细节信息区域可视化结果

结论：

作者们从网络设计和功能出发提出一种实用性的超分辨网络。通过非对称卷积核的作用在不同方向上增强局部关键特征对图像超分辨的作用。该操作不仅提高了图像超分辨性能，也加快训练效率。此外，作者们通过并行上采样技术使一个模型能解决固定缩放因子的图像超分辨、盲超分辨、盲噪声的盲超分辨问题，这使用户或者开发者能根据各自需求，选择不同功能。