基于卷积神经网络的雾天智能停车位检测:一种新方法
0. 引言
在自动驾驶系统的设计中，恶劣天气的影响一直为研究人员所苦恼，而雾天停车位的检测又是最难的几项任务之一。本文将带大家精读2021 CVPR的论文"基于卷积神经网络的雾天智能停车位检测:一种新方法"，该论文阐述了一种基于CNN网络的停车位检测方法，适用于雾天环境，对于恶劣天气下的自动驾驶系统设计具有重要的借鉴和指导意义。
1. 论文信息
标题：Smart Parking Space Detection under Hazy conditions using Convolutional Neural Networks: A Novel Approach
作者：Gaurav Satyanath, Jajati Keshari Sahoo, Rajendra Kumar Roul
来源：2021 Computer Vision and Pattern Recognition(CVPR)
原文链接：https://arxiv.org/abs/2201.05858
2. 摘要
与城市化相结合的有限的城市停车空间使得智能停车系统的开发成为必要，该智能停车系统可以将停车位的可用性传达给最终用户。
为此，已经提出了使用卷积神经网络的各种基于深度学习的解决方案用于停车位占用检测。尽管这些方法对于部分障碍和光照条件是鲁棒的，但是发现它们的性能在存在薄雾条件下会降级。
在这个方向上，本文研究了去雾网络的使用，它改善了雾天条件下停车位占用分类器的性能。
此外，还提出了去雾网络的训练程序，以最大限度地提高系统在有雾和无雾条件下的性能。该提议的系统可作为现有智能停车系统的一部分进行部署，其中有限数量的摄像机用于监控数百个停车位。
为了验证我们的方法，我们从现实世界的任务驱动测试集resident-β数据集开发了一个定制的模糊停车系统数据集。
在CNRPark-EXT和模糊停车系统数据集上，针对现有的最先进的停车位检测器对所提出的方法进行了测试。实验结果表明，该方法在雾天停车系统数据集上的准确率有显著提高。
3. 算法分析
在人口密集的地区和靠近工业的地区，大气被烟雾、灰尘和其他颗粒污染，大大降低了能见度。此外，在降雪和降雨期间，能见度受到影响。因此，在雾天条件下检测停车位占用是有挑战性的。而目前所有基于视觉的方法都不适用于这种模糊条件，并且它们的性能在这种情况下在很大程度上降低。
在这个方向上，作者所提出的工作集中于提高基于视觉的停车位占用检测在雾天和非雾天条件下的准确性，并且是第一个解决朦胧条件下停车位占用检测问题的工作，具有如下贡献：
(1) 提出了一种基于视觉的停车位占用检测系统，该系统由以下两个网络串联组成：端到端去雾网络和停车位分类器(CNN)。对于去雾网络，遵循一体化去雾网络(AOD网)架构。对于停车位占用分类器，遵循mAlexnet 架构。此外，该系统可作为现有智能停车系统的一部分进行部署，并可扩展至物联网设置。
(2) 探索了各种训练程序，以在有雾和无雾条件下最大化系统的准确性。
(3)引入了一个定制的模糊停车系统数据集，该数据集由从resident-β数据集的RTTS(真实世界任务驱动测试集)子集提取的5010个真实世界模糊的已占用和未占用停车块组成。
实验结果表明，去雾网络的使用显著提高了模糊停车系统数据集上的停车位分类精度(约10±15%)。
3.1 提议系统
作者提出的去雾网络可以以两种不同的方式使用。
在第一种情况下，从摄像机捕获的图像被馈送到去雾网络。然后，去雾输出被分割成单独的停车位，并使用CNN进行分类。
在第二种情况下，从摄像机捕获的图像首先被分割成停车位，然后每个停车位被馈送到去雾网络，随后使用CNN进行分类处理。
在计算上，前一种情况更有效，因为它对图像中的所有停车位使用一次去雾网络。相比之下，后一种情况对每个停车位使用去雾网络。然而，后一种情况使得能够将去雾网络和分类器作为单个流水线来联合优化，这可以用于在有雾的条件下实现更高的精度。
在原文中，作者采用第二种情况进行实验工作。同时，考虑到系统的计算可行性，作者开发了分类器和去雾网络。原文所提出的系统包括如下五个阶段：
(1) 使用摄像机捕获停车场的图像；
(2) 然后使用预定的掩模从每个图像中提取停车空位的部分。每个分割的图像被调整大小为224x224；
(3) 每个停车位通过去雾网络；
(4) 使用CNN确定停车位占用情况；
(5)最后汇总所有分类结果。
图1所示是作者所提出的提议方法的原理。
图1 提议方法的原理
下面描述在原文中，CNN如何用于停车位分类过程，以及去雾网络如何在提议的模型中使用。
3.2 停车位分类
对于停车位分类，提议系统遵循专为二进制分类任务而构建mAlexnet。它在计算上更便宜，并且被发现对于二进制分类任务达到类似于Alexnet的精度。mAlexnet由三个卷积层和两个全连接层组成，每个卷积层之后是ReLU激活和最大池化层，全连接层FC4和FC5之后分别是ReLU和SoftMax层。如表1所示是作者提出的提议方法的mAlexnet网络结构。
表1 提议方法中使用的修改的mAlexnet架构
3.3 去雾网络
提议系统遵循AOD网络，并且重写了散射方程的所有参数，改写如下：
其中b是恒定偏差，默认值为1。通过将t(x)和A合并到单个参数K(x)中，在给定输入图像I(x)的情况下，训练称为K估计模块的CNN架构来学习参数K(x)。它由五个卷积层组成并组合不同层的特征，以补偿卷积过程中的信息损失，其具体网络结构如图2所示。
图2 K估计模块的网络架构
其中，"concat1"结合了"conv1"和"conv2"的特性。"concat2"结合了"conv1"、"conv2"和"conv3"的特性。"concat3"结合了"conv1"、"conv2"、"conv3"和"conv4"的特性。每个卷积层之后是ReLU激活层。一旦估计了K(x)，就可以获得清晰的图像。
此外，作者提到，AOD网络比其他去雾网络具有更低的平均运行时间。考虑到系统的计算限制，AOD网络是理想的选择。
4. 实验分析
作者首先介绍了几种不同的用于评估的停车数据集，包括CNRPark,CNRPark-EXT以及PKLot数据集，表2所示是几种数据集的详细信息。
表2 CNRPark，CNRPark-EXT和PKLot数据集的详细信息
同时，为了训练去雾网络，作者所提出的系统使用resident-β数据集的户外训练集(OTS)。OTS数据集由72，135张合成室外雾霾图像组成，这些图像是由2061张不同非雾霾室外图像合成。
此外，为了进行模糊停车训练。作者所提出的系统使用resident-β数据集的实时任务驱动测试集(RTTS)。RTTS由4322张图片组成，这些图片涵盖了现实世界中模糊的交通和驾驶场景。每个图像都用边界框和对象类别进行了注释，如表3所示是模糊停车数据集的详细信息。
表3 模糊停车数据集的详细信息
对于去雾网络，作者探索了去雾网络的替代训练方法，以提高系统在非模糊图像上的性能，具体如下:
(1) 在OTS数据集的模糊图像上训练AOD网络，随后是停车位分类器。
(2) AOD网络在OTS数据集的模糊和清晰(非模糊)图像上训练，随后是停车位分类器。
(3) AOD网络在OTS数据集的模糊和清晰(非模糊)图像上训练，使用修改的损失函数并传递给停车位分类器。
如表4所示是作者提出的几种模型在数据集上的精度对比，在CNRPark-EXT测试集上，改进mAlexnet模型在非雾霾条件下表现非常好，达到98.51%的准确率。然而，它在雾天条件下表现不佳，在雾天停车系统测试集上达到74.41%的准确率。相比之下，AOD+mAlexnet模型实现了超过10-15%的准确度的显著增益，而在CNRPark- EXT测试集上的准确度略微下降了1-3%。
表4 模糊停车系统和CNRPark-EXT的模型精度对比
表5所示是模型的平均运行时间，AOD比其他最先进的去雾网络至少快2.5倍。
表5 最新去雾网络的平均运行时间
表6中，作者比较了AOD和mAlexnet及改进的mAlexnet、Ale的平均运行时间。改进的mAlexnet和现有的mAlexnet相比具有紧凑的特性，且速度比Alexnet快20倍，同时在停车位分类上达到类似的精度，使其成为实时应用的理想选择。通过使用去雾网络，作者所提出的架构的平均运行时间显著高于mAlexnet架构。
表6 提议系统的平均运行时间
5. 结论
在论文"Smart Parking Space Detection under Hazy conditions using Convolutional Neural Networks: A Novel Approach"中，作者提出了一种对雾天环境具有鲁棒性的停车位检测模型。系统由两部分组成：去雾网络和使用CNN的停车位分类器。该系统在在CNRPark和CNRPark-EXT数据集上实现了更高的分类精度。
此外，作者提出它们的工作可以通过使用量化技术来扩展，进而减少系统的运行时间，对于后续研究具有广泛的借鉴意义。
