CVPR 2023 | 去雨去噪去模糊,图像low-level任务,视觉AIGC系列
共 3134字，需浏览 7分钟
·
2023-05-30 01:34
基于Transformer的方法在图像去雨任务中取得了显著的性能，因为它们可以对重要的非局部信息进行建模，这对高质量的图像重建至关重要。本文发现大多数现有的Transformer通常使用查询-键对中的所有token的相似性进行特征聚合。然而，如果查询中的token与键中的token不同，从这些token估计的自关注值也会涉及到特征聚合，这相应地会干扰清晰的图像恢复。
为了克服这个问题，提出了一种有效的去雨网络，稀疏Transformer（DRSformer），它可以自适应地保留特征聚合的最有用的自关注值，以便聚合的特征更好地促进高质量的图像重建。具体而言，开发了一个可学习的前k选择运算符，以便为每个查询自适应保留最重要的键的自关注分数，进行更好的特征聚合。同时，由于Transformer中的简单前馈网络不能模拟对潜在清晰图像恢复很重要的多尺度信息，开发了一种有效的混合尺度前馈网络，以生成更好的图像去雨特征。为了学习一个丰富的混合特征集，结合了CNN运算符的局部上下文，配备了专家特征补偿器混合的模型，以呈现协作细化去雨方案。
实验结果表明，与最先进的方法相比，所提出的方法在通常使用的基准测试中实现了有利的性能。源代码和训练模型在 https://github.com/cschenxiang/DRSformer
Masked Image Training for Generalizable Deep Image Denoising
当捕捉和存储图像时，设备不可避免地会引入噪点。减少这种噪点是称为图像去噪的关键任务。深度学习已经成为图像去噪的事实标准方法，特别是在出现了基于Transformer的模型之后，在各种图像任务上取得了显著的最先进结果。然而，基于深度学习的方法通常缺乏泛化能力。例如，在高斯噪声上训练的深度模型可能在其他噪声分布上测试时表现不佳。
为了解决这个问题，提出了一种增强去噪网络的泛化性能的新方法，称为掩蔽训练。方法涉及掩蔽输入图像的随机像素，并在训练期间重构缺失的信息。还掩蔽了自注意层中的特征，以避免训练-测试不一致性的影响。方法展现出比其他深度学习模型更好的泛化能力，并直接适用于实际场景。此外，可解释性分析证明了方法的优越性。https://github.com/haoyuc/Masked
Uncertainty-Aware Unsupervised Image Deblurring with Deep Residual Prior
非盲去模糊方法在准确模糊核假设（accurate blur kernel assumption）下能够实现良好的性能。然而，在实践中模糊核的不确定性（模糊核误差）是不可避免的，因此建议采用半盲去模糊方法，通过引入模糊核（或诱导）误差的先验来处理它。但是，如何为模糊核（或诱导）误差设计合适的先验仍然具有挑战性。手工制作的先验通常表现良好，但当模糊核（或诱导）误差复杂时可能会导致性能下降。基于数据驱动的先验过度依赖于训练数据的多样性和丰度，容易受到超出分布的模糊和图像的影响。
为了解决这一挑战，提出了一种针对模糊核诱导误差kernel induced error（称为残差residual）的无数据集深度残差先验（dataset-free deep residual prior），该方法由自定义的未训练深度神经网络表示，它使我们能够在实际场景中灵活适应不同的模糊和图像。通过有机地整合深度先验和手工制作的先验的各自优势，提出了一种无监督的半盲去模糊模型，它可将清晰的图像从模糊的图像和不准确的模糊核中恢复出来。为了处理这个模型，使用了一个高效的交替最小化算法。实验表明，与模型驱动和数据驱动方法相比，所提出的方法在图像质量和对不同类型模糊核误差的稳健性方面具有良好的性能。
关注公众号【机器学习与AI生成创作】，更多精彩等你来读：
深入浅出stable diffusion：AI作画技术背后的潜在扩散模型论文解读
深入浅出ControlNet，一种可控生成的AIGC绘画生成算法！
戳我，查看GAN的系列专辑~！
一顿午饭外卖，成为CV视觉的前沿弄潮儿！
最新最全100篇汇总！生成扩散模型Diffusion Models ECCV2022 | 生成对抗网络GAN部分论文汇总
CVPR 2022 | 25+方向、最新50篇GAN论文
ICCV 2021 | 35个主题GAN论文汇总
超110篇！CVPR 2021最全GAN论文梳理
超100篇！CVPR 2020最全GAN论文梳理
附下载 |《TensorFlow 2.0 深度学习算法实战》
《礼记·学记》有云：独学而无友，则孤陋而寡闻
点击 一顿午饭外卖，成为CV视觉的前沿弄潮儿！ ，领取优惠券，加入 AI生成创作与计算机视觉 知识星球！