arxiv论文整理20240217-0223(目标检测方向)-技术圈

STF: Spatio-Temporal Fusion Module for Improving Video Object Detection

摘要：视频中连续的帧包含冗余信息，但它们也可能包含与检测任务相关的补充信息。我们的工作目标是利用这些补充信息来改善检测。因此，我们提出了一个时空融合框架（STF）。我们首先引入了多帧和单帧注意力模块，使神经网络能够在相邻帧之间共享特征图，以获得更稳健的物体表示。其次，我们引入了一个双帧融合模块，以可学习的方式合并特征图，以改进它们。我们在包括移动路上用户视频序列在内的三个不同基准数据集上进行了评估。实验结果表明，所提出的时空融合模块相对于基准物体检测器具有改进的检测性能。代码可在https://github.com/noreenanwar/STF-module 上找到。

点评： STF模块通过空间和时间融合策略显著提升了视频对象检测的性能。代码已开源。

MultiCorrupt: A Multi-Modal Robustness Dataset and Benchmark of LiDAR-Camera Fusion for 3D Object Detection

摘要：自动驾驶的多模态三维目标检测模型在nuScenes等计算机视觉基准测试中表现出优异的性能。然而，它们依赖密集采样的LiDAR点云和精心校准的传感器阵列，在真实世界的应用中会面临挑战。传感器错位、校准错误和不同采样频率等问题导致LiDAR和摄像头数据在空间和时间上的不对齐。此外，LiDAR和摄像头数据的完整性经常受到恶劣天气等环境条件的影响，导致遮挡和噪音干扰。为了解决这一挑战，我们引入了MultiCorrupt，这是一个旨在评估多模态三维物体检测器对十种不同类型污染的稳健性的全面基准。我们在MultiCorrupt上评估了五种最先进的多模态检测器，并分析它们的抗干扰能力。我们的结果显示，现有方法根据污染类型和融合策略的不同，表现出不同程度的稳健性。我们提供了关于哪些多模态设计选择使这些模型对特定干扰具有鲁棒性的见解。数据集生成代码和基准测试已在https://github.com/ika-rwth-aachen/MultiCorrupt 开源。

点评：构建了一个用于三维目标检测的数据集和基准，专注于评估LiDAR-Camera融合系统在面对多种传感器污染情况下的鲁棒性。代码已开源。

LiRaFusion: Deep Adaptive LiDAR-Radar Fusion for 3D Object Detection（ ICRA 2024）

摘要：我们提出LiRaFusion来解决LiDAR雷达融合的三维物体检测问题，以填补现有LiDAR雷达检测器性能差距。为了提高这两种模态的特征提取能力，我们设计了一个早期融合模块用于联合体素特征编码，以及一个中间融合模块，通过门控网络自适应地融合特征图。我们在nuScenes上进行了大量评估，证明LiRaFusion有效地利用了LiDAR和雷达的互补信息，并相对于现有方法取得了显着改进。

点评：提出了一种深度自适应的LiDAR-Radar融合方法，用于三维物体检测，这种方法可以灵活地根据不同场景的需求调整融合策略

Weakly Supervised Object Detection in Chest X-Rays with Differentiable ROI Proposal Networks and Soft ROI Pooling

摘要：弱监督目标检测（WSup-OD）增加了图像分类算法的实用性和可解释性，而无需额外的监督。然而，多实例学习在自然图像中的成功在医学图像中并不适用，因为它们的对象（即病理）具有非常不同的特征。在这项工作中，我们提出了一种新方法，称为弱监督感兴趣区域提议网络（WSRPN），用于使用专门的感兴趣区域注意（ROI-attention）模块即时生成边界框提议。WSRPN与经典的骨干-头分类算法结合良好，并且仅需要图像标签监督就可以进行端到端的训练。我们通过实验证明，我们的新方法在胸部X射线图像中的疾病定位这一具有挑战性的任务中优于现有方法。代码： GitHub - philip-mueller/wsrpn

点评：该研究首次提出了可微分的区域提议网络和软区域池化技术，用于胸腔X射线中的弱监督目标检测。代码已开源。

ps：承接程序代写，小程序编写程序应用深度学习卷积神经网络 pytorch paddlepaddle 数据结构机器学习目标检测图像处理

有需要的兄弟们可以在我公众号留言。

论文解读的ppt可以在知识星球获取：

我正在「目标检测er的小圈子」和朋友们讨论有趣的话题，你⼀起来吧？

https://t.zsxq.com/0cM8tmd4l