mmdetection最小复刻版(三)：数据分析神兵利器

AI编辑：深度眸

    本文主要说明mmdetection-mini到目前为止已经新增的一些好用的工具，原理方面会稍微提一句，主要是说明使用方法，这些工具是用来分析数据，分析模型，分析模型预测质量的，在实际项目中针对自己的数据进行可视化分析非常有用，例如感受野计算、特征图分析、loss函数分析、推理时间分析等等。

    这里写的是到目前为止，后面也会新增新的，欢迎各位客官提出新的想法！

github: 

https://github.com/hhaAndroid/mmdetection-mini 

欢迎star

1 数据浏览browse_dataset

    给你一个新的目标检测项目，转化为coco格式，设置好cfg后，难道不需要看下label和bbox是否正确？不需要看下数据增强策略是否合适？我想作为一个有经验的工程师必然少不了这个步骤。 故browse_dataset可以对datasets吐出的数据进行可视化检查，看下是否有错误。这个工具我是直接从mmdetection里面copy过来的，并修复了在voc那种数据的配置上面出错的bug。 
    用法非常简单，只需要传入cfg文件即可，以coco数据为例,如下所示 

可视化效果看起来比较难看，不过我懒得改了。

2 coco数据可视化visualize_coco

    上面的可视化效果有点糟糕，既然是coco，那可以调用coco里面的api进行可视化。我对其进行了扩展，可以仅仅显示bbox，为啥要扩展？因为在coco格式中如果没有mask数据是无法显示的，但是例如voc数据即使转化为coco格式，也是不存储mask的，此时用coco api进行显示，是啥都没有的。

其核心参数有两个：

• only_bbox为True表示仅仅可视化bbox，其余label不显示

• show_all为Ture表示所有类别都显示，否则通过指定category_name来确定显示类别

用法在main函数里面。以coco为例， only_bbox=False,也就是coco默认的显示格式： 

only_bbox=True,也就是扩展模式： 

这个显示就酷炫很多了。

如果show_all=Fasle，且category_name='bicycle'(一共有多少类别会同时打印出来，你就可以直接copy了)

如果不想bbox内部填充，可以is_filling设置为False即可

3 任意格式转化为coco格式工具CocoCreator

    对于目标检测，我都推荐大家转化为coco格式进行分析和训练。故咋能没有任意数据转化为coco的工具呢？ 这个工具核心类在mmdet/cv_core/utils/coco_creator.py，其中嵌入了github上面的pycococreatortools函数，我进行了修改使其能够适用多种情况。 
    但是考虑到场景实在是太多了，不知道你的格式长啥样子，所以我这个工具其实有点名不副实，用起来需要掌握点东西才行。慢慢完善吧，我个人精力有限，我自己用还蛮习惯的，大家凑合用吧。 
    以我提供的tools/convert/widerface2coco.py为例说明用法，要生成coco格式数据需要三个步骤，分别对应CocoCreator的三个api，我仔细说下。

1 准备categories字段 

    首先你需要手动写categories，里面存储的是类名，例如：

[    {        'id': 1, # 类别1        'name': 'power',        'supercategory': 'object',    }    {        'id': 2, # 类别2        'name': 'circle',        'supercategory': 'shape',    }    ]

上面显示的是两个类的写法。如果多个类，自己追加List就行。但是这种写法有个弊端：当类别很多时候，会累死人的！改进办法应该是通过读取标注文件，然后追加，类似voc2coco脚本一样。

2 遍历图片和label 

   如何遍历，那就是你自己的事情了，我在cv_core里面提供了遍历函数traverse_file_paths，很好用。

3 处理数据 

    第一个核心api是coco_creater.create_image_info(image_id, imFilename, image.size)

image_id是用来表示图片编号的，你可以简单从1开始累加，也可以像coco一样直接采用文件名然后Int即可，因为有些图片命名格式无法变成image_id，故我需要你自己传入。class_id是类别id，你自己从categories里面取就行

     第二个核心api是coco_creater.create_annotation_info，他可以传入bbox格式，也可以传入二值mask。传入mask时候就不需要传入bbox了，因为基于mask会自动计算出Bbox。 同样的，对于一张图片中有多个物体的场景，需要遍历各个实例，并且通过segmentation_id来区分，所以这个字段也是你自己累加就行。

4 保存 
    在所有图片遍历完成后，直接coco_creater.dump()就可以保存为json输出了。

5 可视化 
     为了检查生成的json文件是否正确，可以用上一个小节的coco可视化工具进行检查。

以wider face为例，转化后可视化如下：

4 anchor分析工具anchor_analyze

    这个工具其实意义不是很大，只能提供一些直观的感觉。这个工具的作用是对AnchorGenerator生成的anchor进行可视化，主要是可以分析出anchor分布、anchor大小和anchor比例等等。

其用法非常简单，只需要填入anchor相关配置即可，例如yolov3:

stride = [32, 16, 8]anchor_generator_cfg = dict(    type='YOLOAnchorGenerator',    base_sizes=[[(116, 90), (156, 198), (373, 326)],                [(30, 61), (62, 45), (59, 119)],                [(10, 13), (16, 30), (33, 23)]],    strides=stride)

如果觉得显示的过多不好看，可以自己设置显示个数。

5 数据分析工具dataset_analyze

    数据分析工具目前支持三个：wh比例分析；wh尺寸分析和kmean算法。本来可以直接对coco的json文件进行分析的，但是基于以下几点考虑，最终采用了dataloader:

• 网络真正运行的图片size不是原始coco文件里面的size，肯定会进行前处理

• 训练过程中会进行图片增强，考虑增强后的图片和label才是合理的

• dataloader可以利用work num加速，比单纯读取json文件遍历快很多

基于以上几点考虑，我这里分析的wh是dataloader输出的图片bbox的宽高。先通过dataloader进行遍历，收集所有bbox的wh，并进行后续分析。k考虑到跑一遍dataloader要很久，故自动会保存wh矩阵，下一次统计数据时候就不需要经过dataloader了。

1. wh比例分析 

    wh宽高比例分析是指对所有gt bbox的wh进行高宽比例统计，分成两个部分，分别是h/w>=1和h/w<1两个，效果如下：

    以coco数据集，配置文件为retinanet_r50_fpn_coco.py，其核心参数img_scale=(600, 800)为例进行分析： 

上图是h/w>=1，下图是h/w<1，可以看出数据高宽分布主要是1.0、2.0、3.0、0.7、0.9这些，也就是说其实大部分物体都是高大于宽的，实际上也很合理，因为大部分自然场景下物体例如人都是高大于宽的。打印输出：

# 按照num数从大到小排序输出hw_ratio：(1.0, 2.0, 0.7, 3.0, 0.8, 0.9, 0.6, 0.5, 0.4, 0.3, 0.2, 4.0, 0.1, 5.0, 6.0, 7.0, 8.0)num：(27340, 11147, 4524, 4374, 4206, 4179, 4024, 3543, 3116, 2391, 1451, 1357, 591, 532,

通过这种图启发我们，其实在设置anchor的wh比例时候不一定要对称设置，例如常规的设置是(0.5,1.0,2.0)，而是可以对于coco数据集设置为(0.5,0.7,1.0,2.0,3.0)或许更加合适。

2. wh尺寸分析 
    wh scale参数也很关键，但是不好意思，我目前没有发现很好的可视化手段，什么叫做很好的可视化手段：换一个新数据集情况下，只需要运行我的脚本生成几个图表，你立刻就能够设置wh比例和wh尺度参数了。

但是目前我还没有想到非常好的可视化手段，欢迎各位朋友提出改进意见。

我只是简单绘制了w和h尺度的直方图而已，不太直观。

3. anchor计算 
    这部分是为yolo系列算法设计的，通过本脚本可以直接生成指定数目的anchor。 
假设设置为9个anchor，那么在coco部分数据集上打印如下：

Accuracy: 61.29%K anchors: [[8, 12], [19, 23], [26, 54], [54, 32], [54, 84], [136, 85], [88, 176], [207, 245], [468, 435]]

由于gt bbox的宽高变化比较大，故kmean后准确率才61.29%。大家可以多运行几次，有可能会得到更好一点的结果。

总之，这个数据分析工具dataset_analyze还不太完善，欢迎大家提出想法。

6 推理时间计算工具infertime_analyze

    当我们设计了一个新网络结构的时候，首先第一个任务就是分析耗时。希望知道这个改进对推理速度有多少影响？并且为了方便对mmdetection-mini里面的所有算法进行公平时间对比，需要一个推理时间计算工具。 
    该工具需要输入配置cfg用来确定算法模型，还需要输入图片size。需要特别注意的是我们仅仅是为了计算前向推理时间，故需要采用forward重写方法实现。 
以yolov3,rtx1070ti硬件为例，脚本运行后打印如下：

# input_shape = (4, 3, 320, 320)batch_avg_time=39.06158ms,one_avg_time==9.76539ms# input_shape = (8, 3, 320, 320)batch_avg_time=72.22127ms,one_avg_time==9.02766ms# input_shape = (1, 3, 320, 320)batch_avg_time=16.97711ms,one_avg_time==16.97711ms

可以看出，batch越大，耗时越短。有了这个工具你就可以在同一硬件情况下测试不同模型推理时间

7 loss分析工具loss_analyze

    loss分析工具的主要目的有两个：

• 检查代码是否有bug

• 理解别人写好的loss

目前这个工具还不完善，只指出focal loss。后续会写通用版本，可以指出mmdetection-mini里面的所有Loss,只需要传入loss的cfg即可。focal loss分析如下： 

上图是loss曲线，下图是梯度曲线。

8 特征图可视化工具featuremap_analyze

    特征图可视化工具的用途是用来可视化任意层的输出特征图，主要用途是：

• 查看任意层特征图的预测情况，看下是否符合预期

• 查看新增的注意力模块到底有没有起作用

• 有待挖掘

    需要特别说明的是：这个工具非常通用，可以指出任何框架的模型，只需要传入Model即可，不需要绑定mmdetection-mini框架也可以使用。

    下面介绍用法。以yolov3 320尺寸，并且下载mmdetection已经训练好的权重进行分析。在配置好参数后，首先你需要指的想看哪一层特征图，为了方便大家，在运行前我会打印网络层数(内部采用torchsummaryX第三方库)，如下所示：

    可以看出，yolov3的三个输出层索引分别是 [218, 214, 210]，特征图从大到小，也就是说这三个特征图是用来检测小物体、中等物体和大物体的。我可视化的这三个层都是255的通道输出，然后全部resize到原图大小进行显示。

效果还是可以的。

    但是其实可以控制更加精细，我们知道这三个其实都是yolov3的输出层，输出通道255都是有具体含义的，例如你可以直接把confidence通道切割出来，然后可视化，效果应该会更好。鉴于我目前代码都是通用的，故你可以自己改改实现这个效果。

9 感受野计算工具receptive_analyze

    感受野分析的作用性，我想大家都知道，在设计网络模型时候非常关键。为了方便大家计算各种模型感受野，我提供了这个工具，和featuremap_analyze一样，也是通用工具。用法和featuremap_analyze一样。 
    你也可以指定想看任意层的感受野，这里是通过梯度反向传播、像素改变的最大范围来计算的。可以发现这里的感受野不是理论值，而是实际值。 
    有一个细节需要说明下：我们知道激活函数relu是非常常用的，但是其梯度仅仅计算大于0区域，这样子的话，算感受野的时候会偏小，所以为了避免计算不准确，我会内部自动把relu替换为Linear，同理，自动把MaxPool2d替换为AvgPool2d，这样子计算的感受野才是准确的。但是目前我仅仅考虑了这两个算子，如果有其他有相同效应的算子也是同样道理替换即可。 以yiny_yolov3为例，计算2个输出层的感受野如下：

• 特征图最大预测层感受野(42)：w=286, h=286

• 特征图最小预测层感受野(214)：w=318, h=318

大家可以测试自己的模型，暂时不知道还有没有bug，欢迎大家试用！

再次贴一下github: 

https://github.com/hhaAndroid/mmdetection-mini

欢迎star

整体来说，工具的作用就是为了减少出错次数和容易分析模型，目前这些工具有些比较通用，有些还有待完善，希望各位客官能够给出指导意见！

推荐阅读

mmdetection最小复刻版(一)：整体概览

mmdetection最小复刻版(二)：RetinaNet和YoloV3分析

基于mmdetection框架算法可视化分析随笔(上)