CVPR2022|Low-level领域不容错过的几篇paper
共 1779字,需浏览 4分钟
·
2022-03-16 08:36
点击下方“AI算法与图像处理”,一起进步!
重磅干货,第一时间送达
今天给大家推荐几篇笔者曾经解读过也非常喜欢的几篇paper,其他优秀的paper正在赶来的路上,哈哈。
1让Dropout在图像超分领域重焕光彩!
Dropout有助于缓解high-level视觉任务中的过拟合问题,但在low-level视觉任务(如图像超分)中却鲜少应用。作为经典的回归问题,SR具有与high-level任务不同的行为:对dropout操作非常敏感 。
然而,本文研究表明:合理的使用dropout有益于SR模型,提升其泛化性能 。具体来说,dropout更适合于嵌入到网络的尾部 ,并对于多退化情形帮助极大。下图给出了不同配置下采用Dropout前后的性能对比,可以看到:引入dropout可以大幅提升模型的泛化性能 ,甚至可以将SRResNet的提升到优于RRDB的程度。重要的是,添加dropout仅需一行code。真可谓:One line of code is worth a ten-fold increase in the model parameters .
该发现打破了我们的常识并启发我们探索其工作机理。我们采用两种分析工具(Channel Saliency Map与Deep Degradation Representation)进行分析,分析结果为实验发现提供了佐证并为SR模型的理解提供了新视角。
2RealBasicVSR:BasicVSR再次升级,破局真实场景视频超分
真实场景视频数据的多样性、退化的复杂性为视频超分带来了极大的挑战。尽管时序上的长距离传播可以有效改善轻度的重建质量,但真实场景的重度退化则会伴随长距离传播损害重建质量。
为平衡细节生成与伪影抑制,我们发现:预清洗(pre-cleaning)对于降低噪声与伪影不可或缺 。武装上精心设计的预清洗模块后,所提RealBasicVSR在重建质量与效率方面超越了已有方案。
3NTIRE2021竞赛"三冠一亚"方案BasicVSR++,Vid4新巅峰29.04dB
由于需要利用额外的时序信息,视频超分往往比图像超分包含更多的模块,这就导致了各式各样的复杂结构。该文作者对视频超分进行了梳理并重新审查了视频超分的四个基本模块:Propagation
, Alignment
, Aggregation
以及Upsampling
。通过复用现有方案的模块并添加微小改动,作者提出了一种简单方案:BasicVSR,它在推理速度、复原质量方面取得了引人注目的提升。
作者对BasicVSR进行了系统的分析,解释了性能提升的原因所在,同时也讨论了其局限性。在BasicVSR的基础上,作者进一步提出了“信息寄存(information-refile)”与“耦合传播(coupled propagation)”两种机制促进信息集成。所提BasicVSR及其改进IconVSR将视频超分的性能进行了更进一步的提升,可以作为视频超分领域的一个更强的基准。
下图给出了所提方案与其他视频超分方案在性能与推理速度放慢的对比,可以看到BasicVSR与IconVSR遥遥领先。
交流群
欢迎加入公众号读者群一起和同行交流,目前有美颜、三维视觉、计算摄影、检测、分割、识别、NeRF、GAN、算法竞赛等微信群
个人微信(如果没有备注不拉群!) 请注明:地区+学校/企业+研究方向+昵称
下载1:何恺明顶会分享
在「AI算法与图像处理」公众号后台回复:何恺明,即可下载。总共有6份PDF,涉及 ResNet、Mask RCNN等经典工作的总结分析
下载2:终身受益的编程指南:Google编程风格指南
在「AI算法与图像处理」公众号后台回复:c++,即可下载。历经十年考验,最权威的编程规范!
下载3 CVPR2021 在「AI算法与图像处理」公众号后台回复:CVPR,即可下载1467篇CVPR 2020论文 和 CVPR 2021 最新论文