LIFT-CAM：解释性更强的类激活映射
点击下面卡片关注“AI算法与图像处理”，选择加"星标"或“置顶”
重磅干货，第一时间送达
对理解卷积神经网络(CNNs)内部行为的需求日益增加，导致了对解释方法的显著改进。特别地，一些基于类激活映射(CAM)的方法被提出，通过从cnn的激活映射的线性组合生成视觉解释映射。然而，大多数方法在如何分配它们的加权线性系数方面缺乏理论基础。在这篇文章中，作者重新考察了CAM w.r.t.激活图的内在线性。针对线性性，作者构造了一个二元变量的线性函数解释模型，该二元变量表示相应激活映射的存在。该方法采用以形状值作为特征重要度的统一度量标准的加性特征归因方法来确定解释模型。然后，作者证明了形状值作为凸轮的权重系数的有效性。然而，精确的形状值是无法计算的。因此，作者引入一种有效的近似方法，称为升程凸轮。在深度提升的基础上，作者提出的方法能够快速准确地估计出真实的形状值。在定性和定量方面均优于以往的基于cam的方法。
作者提出了一个新的框架，将寻找凸轮的似是而非的视觉解释图的问题重组为使用加性特征归因方法确定解释模型的可靠解的问题。最近提出的消融- cam[5]和XGrad-CAM[8]可以被这个框架重新解释。
作者将激活映射的形状值作为建议框架的统一解决方案。此外，作者还验证了这些价值的卓越性。
本文介绍了一种新的显着方法，即采用深提升的升程凸轮。该方法可以准确地估计激活图的形状值。它在定性和定量上优于以前的凸轮，通过提供可靠的可视解释与一个单一的反向传播。
确定凸轮权重系数的建议框架
首先，作者建立了一个线性解释模型。其次，基于加性特征归因方法优化解释模型，确定激活地图的重要性得分。最后，作者将分数作为CAM的系数传递。
LIFT-CAM框架结构
视觉解释地图的最先进的显著性方法和作者提出的LIFT-CAM。请注意，作者对渐变[18]应用了平滑技术[7]，以获得可信的解释图。
Grad-CAM 和 LIFT-CAM对VQA视觉解释图
在本研究中，作者提出了一个新的分析框架，利用加性特征归因方法来确定凸轮的权系数。基于形状值是这些方法的统一解的思想，作者采用形状值作为系数，证明了它们的优越性。此外，作者引入了升降凸轮，它精确地逼近激活映射的形状值，通过一次反向过程。与之前的其他凸轮相比，它提供了定量和定性增强的视觉解释。
论文链接：https://arxiv.org/pdf/2102.05228.pdf
个人微信（如果没有备注不拉群！） 请注明：地区+学校/企业+研究方向+昵称
下载1：何恺明顶会分享
在「AI算法与图像处理」公众号后台回复：何恺明，即可下载。总共有6份PDF，涉及 ResNet、Mask RCNN等经典工作的总结分析
下载2：终身受益的编程指南：Google编程风格指南
在「AI算法与图像处理」公众号后台回复：c++，即可下载。历经十年考验，最权威的编程规范！
下载3 CVPR2021 在「AI算法与图像处理」公众号后台回复：CVPR，即可下载1467篇CVPR 2020论文 和 CVPR 2021 最新论文
点亮 
，告诉大家你也在看