NTIRE2021 图像去模糊竞赛各大方案简介

NTIRE的各大竞赛已经落下帷幕，冠亚军排名也相继确定，近期会逐步将相关领域的竞赛结果进行一下简单总结，同时也将对这其中的冠军军及优秀方案进行一番解读，感兴趣的朋友可以关注一波...

今天要介绍的NTIRE2021的图像去模糊竞赛。

Datasets

模糊是一种常见的图像退化类型，比如拍摄过程中的抖动问题、虚焦问题等等。但是，实际场景中，模糊往往与低分辨率、压缩伪影、噪声等共存。因此，该竞赛在附加额外退化（比如压缩伪影、低分辨率）下的条件下进行图像去模糊，也就是：

• Track1：该赛道旨在开发一种可以同时进行超分与去模糊的方案；
• Track2：该赛道旨在开发一种可以同时进行去压缩伪影与去模糊的方案。

延续NTIRE2019与NTIRE2020竞赛，我们采用REDS数据度量不同方案的性能。在度量指标方面，主要评价指标为PSNR；此外，我们还提供了SSIM与LPIPS指标。

Challenge Results

该竞赛每个赛道分别由338和238注册队伍，但只有18和17个队伍完成最终的测试提交。下表给出了该竞赛两个赛道各个队伍的成绩与排名，注：推理速度是由组织者在统一平台(Intel Xeon Gold 6248 CPU, NVIDIA Quadro RTX 8000 GPU, Samsung 860 EVO 4TB SSD)测试所得。

Architectures and Main Ideas

在这些方案中有一些新颖的思路，也有一些共性的策略。

• 受启发于EDVR，VIDAR与Imagination团队采用金字塔形变卷积对单图像的多特征进行对齐；
• netai与Noah_CVlab团队采用了多任务学习方法进行优化；
• Noah_CVlab与ZOCS团队采用了Transformer架构；
• The Fat, The Thin and The Strong team提出了half-instance 规范化技术；
• Yonsei-MCML与Blur Attachk团队使用了目标边缘信息；
• CAPP_OB团队使用了自编码损失；
• 很多方案均采用扩张卷积增大感受野，注意力机制也被广泛采用。

Challenge Winners

竞赛冠军由PSNR得分决定，两个赛道的冠军方案分别如下：

• Track1：VIDAR团队凭借EDPN获得了三项指标第一，同时也获得了Track2的SSIM与LPIPS指标第一；
• Track2：The Fat, The Thin and The Strong团队凭借新提出的HIN(Half Instance Normalization)模块构建的HINet获得该赛道的PSNR指标第一。

下面两图提供了不同赛道牌面靠前方案的效果对比。

Challenge Methods and Teams

VIDAR

该团队在EDVR的基础上引入了两个模块：

• PPT：Pyramid Progressive Transfer，它在EDVR中的PCD基础上改进得到，用于探索自相似性与跨尺度相似性；
• PSA：Pyramid Self-Attention，它在EDVR的TSA基础上进行改进得到，用于探索子注意力与空域机制。

目前该文已经上传arxiv，code已经上传github，但并未上传预训练模型。更详细信息可查看笔者的解读。

NTIRE2021图像去模糊竞赛冠军方案: EDPN

netai

该团队提出了PDAN用于联合去模糊与超分，其结构与ED-DSRN类似。受启发于RCAN，它采用RSCA(Residual Spatial Channel Attention)进行特征提取；去模糊模块采用残差编解码结构以扩大感受野。受启发与困难样例挖掘策略提出了HPEM损失，此外还采用了L1损失。

NJUST_IMAG

该团队提出了一个级联去模糊和超分模块的方案，在超分模块采用了非局部残差网络以获得更好的重建图像。该方案采用两阶段方式进行训练，先训练去模糊模块，然后整体训练，损失函数为L1损失和梯度损失。

SRC-B

该团队提出了MRNet(Multi-Refinement Network)用于图像去模糊，它包含四个模块：

• 特征提取：它从单帧图像计算了Siamese特征；
• 融合、采用卷积进行融合；
• 重建：采用了MMDM中的RBM模块的多尺度版以及全局跳过连接；
• 上采样。

Noah_CVlab

华为诺亚团队提出了IPT，它首次将Transformer用于low-level问题，在多个任务上达到了SOTA性能。关于IPT更详细的介绍可参考笔者之前的解读：

Transformer再下一城！low-level多个任务榜首被占领，北大华为等联合提出预训练模型IPT

Mier

该团队在MWCNN与RCAN的基础上提出了Big UNet架构，它采用RCAN中的残差组替换MWCNN中的卷积层。为进一步提升感受野，还添加了源自DAVANet中的MDB。

DMLAB

该团队提出了MS-HDRN(Multi-scale Hierarchical Dense Residual Network)，它采用了多级稠密连接与多级残差连接。为实现多级稠密连接，采用卷积进行降维。此外，还引入了拉普拉斯注意力机制与MDCB模块。

The Fat, The Thin and The Strong

该团队提出一种两阶段特征合成网络，每个阶段均采用了类UNet架构以尽可能提升感受野。此外，该团队还提出一种Half-Instance Normalization技术用于利用规范化与未规范化特征。对该文感兴趣的朋友可以查看笔者解读：

HINet | 性能炸裂，旷视科技提出适用于low-level问题的Half Instance Normalization

GiantPandaCV

GiantPandaCV采用了编解码架构，区别于UNet，采用了扩张卷积扩大感受野。采用了SSIM损失与Charbonnier损失进行模型训练。

其他

• Baidu团队采用类似RRDBNet的结构，损失采用L1、FFT以及MS-SSIM；
• MMM团队采用了类似MPRNet的结构；
• Imagination团队在EDVR基础上进行了进行了改进，提出了金字塔形变卷积；
• TeamInception团队采用了MPRNet的结构；
• ZOCS_Team团队采用RDN与Transformer的组合方案；
• INFINITY团队采用EDSR进行图像去模糊；
• RTQSA-Lab提出了增强注意网络，包含全局与局部注意力；
• Expasoft团队采用ESRGAN与UNet的组合方案；
• DuLang团队基于AFN与MIRNet提出了MSFN，采用L1与拉普拉斯损失；
• SYJ提出Multi-level Wavelet-ResNet；
• Dseny组合SRN与DMPHN构建了其模型
• ........

个人微信（如果没有备注不拉群！）
请注明：地区+学校/企业+研究方向+昵称



下载1：何恺明顶会分享

在「AI算法与图像处理」公众号后台回复：何恺明，即可下载。总共有6份PDF，涉及 ResNet、Mask RCNN等经典工作的总结分析

下载2：终身受益的编程指南：Google编程风格指南

在「AI算法与图像处理」公众号后台回复：c++，即可下载。历经十年考验，最权威的编程规范！

下载3 CVPR2021

在「AI算法与图像处理」公众号后台回复：CVPR，即可下载1467篇CVPR 2020论文 和 CVPR 2021 最新论文