论文链接：https://openaccess.thecvf.com/content/ICCV2021/papers/Mou_Dynamic_Attentive_Graph_Learning_for_Image_Restoration_ICCV_2021_paper.pdf

Github地址：https://github.com/jianzhangcs/DAGL

1.摘要

自然图像的非局部自相似性已被证明是图像恢复的有效先验。然而，大多数现有的non-local方法为每个query分配固定数量的非局部连接，忽略了非局部关联的动态性。此外，非局部相关性通常是基于像素的，但容易因图像退化而产生偏差。为了克服这些缺陷，这篇文章提出了一种动态的图注意力模型(DAGL)，研究图像恢复过程中块级别的动态非局部相似性。具体地说，文章中提出了一种动态的图模型，可以以执行patch-wise的图卷积，每个节点具有动态的和自适应的邻节点数量。这样，局部图像内容可以通过其连接的邻节点自适应地调节重建过程。基于块的非局部连接也可以强化消息传递的过程。文章中提出的模型在图像去噪、图像去马赛克、和图像去块效应等图像重建任务中取得目前最优的性能。

2.方法

文章提出一种交替级联的图像重建网络，由多个特征提取模块和基于动态图的多头信息聚合模块组成，结构如下图所示：

其中，特征提取模块由多个RB串联组成，基于动态图的信息聚合模块的结构如下图所示：

提出的方法以特征块为基本单元计算两两之间的相似度，通过一个动态自适应的阈值过滤掉低相似度的非局部链接，生成一个动态Graph。为了保证可学习，阈值的计算方式和阶段过程如下，巧妙的运用了ReLU来截断低相似度非局部连接。

文章还通过可视化来验证方法的动态性和自适应性。如下图所示，可以看到局部图像内容根据自身的重建需要，自适应的建立了非局部连接。例如，平滑区域因其重复性较高，建立了较多数量的非局部连接，纹理细节区域因其重复性较低，建立了数量较少的非局部连接。

（1）Graph的构建过程：

（2）不同位置邻节点的数量：

3.性能 （1）图像去噪（仿真/真实噪声）

（2）图像去块效应

（3）去马赛克

如果觉得有用，就请分享到朋友圈吧！