轻量级RGB-D显著目标检测的中层融合
摘要
不同于现有大多数模型通常采用双流或单流结构，作者提出采用中层融合结构设计轻型RGB-D SOD模型，由于中层融合结构可以同时利用双流结构的模态共享信息和模态特定信息，并且可以显著降低单流结构的网络参数。在此基础上，设计了一种新型的信息感知多模态特征融合模块，以有效地捕获交叉模态互补信息。然后，设计了一种轻量级特征级和决策级特征融合(LFDF)模块，以更少的参数聚集不同阶段的特征级和决策级显著性信息。在中层融合结构中加入了IMFF和LFDF模块，该模型只有3.9M参数，运行速度为33帧/秒。在多个基准数据集上的实验结果验证了该方法的有效性和优越性。
这项工作的主要贡献如下:
(1)通过对中级特征融合的回顾，提出了一种轻型RGB-D SOD模型，该模型效率高、精度好、模型尺寸小，有助于SOD的实际应用。
(2)设计了一种新的信息感知多模态特征融合(IMFF)模块，利用RGB图像和深度图像中所有的区分性显著性信息。与大多数现有模型采用简单的融合策略(例如，串联和元素级加)不同，作者提出的IMFF模块根据多模态特征所包含的信息量进行融合。
(3)提出了一种轻量级的特征级和决策级特征融合(LFDF)模块，以更少的参数有效地聚合不同阶段的特征级和决策级显著性信息，实现更好的显著性预测。
框架结构
大多数现有RGB-D SOD方法的架构。(a)二束结构。(b)及(c)单流结构。(d)作者提出的模型的中层融合结构。
提出的轻量级RGB-D SOD模型的框架。
作者提出的IMFF模块的架构。
实验结果
由不同模型生成的显著性地图的可视化。
结论
在本文中，作者提出了第一个基于中层融合结构的轻量级RGB-D SOD模型。通过重新访问中层融合结构，该模型显著降低了网络参数。此外，本文提出的IMFF模块利用RGB和深度图像中不同局部区域的信息量，可以有效地捕获参数较少的交叉模态互补信息。同时，所提出的LFDF模块通过特征层和决策层信息的交叉层联合融合，可以有效提取交叉层的互补信息。基于中层融合结构，该模型只有3.9M参数，运行速度为33帧/秒。此外，在多个基准上的实验结果表明，本文提出的IMFF和LFDF模块可以在一定程度上弥补由于减小参数引起的性能下降。
论文链接：https://arxiv.org/pdf/2104.11543.pdf
✄------------------------------------------------
双一流高校研究生团队创建，专注于目标检测与深度学习，希望可以将分享变成我们的习惯。
整理不易，点赞三连！