mmdetection水下海鲜目标检测-技术圈

向AI转型的程序员都关注了这个号👇👇👇

人工智能大数据与深度学习公众号：datayx

任务：在真实海底图片数据中检测出不同海产品（海参、海胆、扇贝、海星）的位置

数据描述

训练集：提供 7600 幅训练图像（含人工标注真值数据），数据集结构如下，

其中 train/image 文件夹中包含所有训练数据，这些图片之间不存在帧间连续性。图片路径示例如下：train/image/000001.jpg，其对应的目标检测标注真值位于路径 train/box/000001.xml 文件中，该文件包含了对应图像中所有物体的类别以及目标框参数（位置和尺寸）。需检测的目标类别包括海参“holothurian”，海胆“echinus”，扇贝“scallop”和海星“starfish”四类。训练数据真值中可能存在水草“waterweeds”这一类别，请忽略这一类。

关于标注：

训练图片中存在一定的标注噪声，如有需要选手可自行清洗数据。其中，前缀 c 为基本干净标注数据，前缀 u 为含噪声标注数据。
关于扇贝的标注歧义性较大，测试评估时基本以“前缀 c 中的扇贝标注标准”为准。

代码获取方式：

分享本文到朋友圈

关注微信公众号 datayx 然后回复海鲜即可获取。

AI项目体验地址 https://loveai.tech

店铺地址：

https://shop585613237.taobao.com

↓

方案简述

Baseline

cascade_rcnn_x101_64x4d_fpn_dcn_e15

注：不是所有数据

ResNeXt101-64x4d

Backbone:
Neck:
DCN
Global context(GC)
MS [(4096, 600), (4096, 1000)]
RandomRotate90°
15epochs + step:[11, 13]
A榜：0.55040585

基于1训练好的模型对训练数据进行清洗(tools/data_process/data_clean.py)

修正错误标注
先过滤掉confidence<0.1的predict boxes, 然后同GT boxes求iou
如果predict box同GT的最大iou大于0.6，但类别不一致，那么就修正该gt box的类别
如果某张图片上所有预测框的confidence没有一个是大于0.9，那么去掉该图片(即看不清的图片)

基于2修正后的数据进行训练模型采用cascade_rcnn_r50_rfp_sac

注：所有数据

ResNet50

Backbone:
Neck: RFP-SAC
GC + MS + RandomRotate90°
cascade_iou调整为：（0.55， 0.65， 0.75）
A榜：0.56339531

基于3训练好的模型进一步清洗数据

注：所有数据

模型同3：
A榜：0.56945031

基于4

注：所有数据

SWA(12epochs)(https://arxiv.org/abs/2012.12645)
A榜：0.57286428

项目运行的资源环境

操作系统：Ubuntu 18.04.2
GPU：1块2080Ti
Python：Python 3.7.7
NVIDIA依赖：

NVCC: Cuda compilation tools, release 10.1, V10.1.243
CuDNN 7.6.5

深度学习框架：

PyTorch: 1.8.1
TorchVision: 0.9.1
OpenCV: 4.5.1
MMCV: 1.2.4+cu101
MMCV Compiler: GCC 7.5
MMCV CUDA Compiler: 10.1
MMDetection: 2.10.0+0489bcb

环境安装及编译

mmdetection安装

参考mmdetection

预训练模型下载

下载mmdetection官方开源的htc的resnext 64×4d 预训练模型
下载mmdetection官方开源的htc的DetectoRS | HTC + ResNet-50 预训练模型

模型训练与预测

训练

python tools/train.py configs/swa_cascade_rcnn_r50_rfp_sac_iou_alldata-v3_e15.py --no-validate
python tools/train.py configs/cascade_rcnn_r50_rfp_sac_iou_e15_alldata_v3.py --no-validate

运行：
r50_rfp_sac (htc pretrained):
SWA -- 训练12轮

预测

python tools/test.py configs/swa_cascade_rcnn_r50_rfp_sac_iou_alldata-v3_e15.py ./swa/swa_cascade_rcnn_r50_rfp_sac_iou_alldata-v3_e15/swa_model_12.pth --format-only --cfg-options "jsonfile_prefix=./submit"
注：采用fp16加速(配置文件添加fp16 = dict(loss_scale=512.0))

运行:
预测结果文件名submit.bbox.json
转化mmd预测结果为提交csv格式文件：
python tools/post_process/json2submit.py --test_json submit.bbox.json --submit_file submit.csv
最终符合官方要求格式的提交文件 submit.csv 位于 submit目录下

机器学习算法AI大数据技术

搜索公众号添加： datanlp

长按图片，识别二维码

阅读过本文的人还看了以下文章：

TensorFlow 2.0深度学习案例实战

基于40万表格数据集TableBank，用MaskRCNN做表格检测

《基于深度学习的自然语言处理》中/英PDF

Deep Learning 中文版初版-周志华团队

【全套视频课】最全的目标检测算法系列讲解，通俗易懂！

《美团机器学习实践》_美团算法团队.pdf

《深度学习入门：基于Python的理论与实现》高清中文PDF+源码

特征提取与图像处理(第二版).pdf