用PyTorch进行语义分割
点击上方“小白学视觉”，选择加"星标"或“置顶”
重磅干货，第一时间送达
木易 发自 凹非寺
量子位 报道 | 公众号 QbitAI
很久没给大家带来教程资源啦。
正值PyTorch 1.7更新，那么我们这次便给大家带来一个PyTorch简单实用的教程资源：用PyTorch进行语义分割。
△图源：stanford
该教程是基于2020年ECCV Vipriors Chalange Start Code实现了语义分割，并且添加了一些技巧。
友情提示：教程中的所有文件均可以在文末的开源地址获取。
预设置
在开始训练之前，得首先设置一下库、数据集等。
库准备
pip install -r requirements.txt下载数据集
教程使用的是来自Cityscapes的数据集MiniCity Dataset。
数据集的简单数据分析
将各基准类别进行输入：
之后，便从0-18计数，对各类别进行像素标记：
使用deeplab v3进行基线测试，结果发现次要类别的IoU特别低，这样会导致难以跟背景进行区分。
如下图中所示的墙、栅栏、公共汽车、火车等。
分析结论：数据集存在严重的类别不平衡问题。
训练基准模型
使用来自torchvision的DeepLabV3进行训练。
硬件为4个RTX 2080 Ti GPU (11GB x 4)，如果只有1个GPU或较小的GPU内存，请使用较小的批处理大小（< = 8）。
python baseline.py --save_path baseline_run_deeplabv3_resnet50 --crop_size 576 1152 --batch_size 8;
python baseline.py --save_path baseline_run_deeplabv3_resnet101 --model DeepLabv3_resnet101 --train_size 512 1024 --test_size 512 1024 --crop_size 384 768 --batch_size 8;
损失函数
有3种损失函数可供选择，分别是：交叉熵损失函数（Cross-Entropy Loss）、类别加权交叉熵损失函数（Class-Weighted Cross Entropy Loss）和焦点损失函数（Focal Loss）。
交叉熵损失函数，常用在大多数语义分割场景，但它有一个明显的缺点，那就是对于只用分割前景和背景的时候，当前景像素的数量远远小于背景像素的数量时，模型严重偏向背景，导致效果不好。
# Cross Entropy Loss
python baseline.py --save_path baseline_run_deeplabv3_resnet50 --crop_size 576 1152 --batch_size 8;
类别加权交叉熵损失函数是在交叉熵损失函数的基础上为每一个类别添加了一个权重参数，使其在样本数量不均衡的情况下可以获得更好的效果。
# Weighted Cross Entropy Loss
python baseline.py --save_path baseline_run_deeplabv3_resnet50_wce --crop_size 576 1152 --batch_size 8 --loss weighted_ce;
焦点损失函数则更进一步，用来解决难易样本数量不平衡。
# Focal Loss
python baseline.py --save_path baseline_run_deeplabv3_resnet50_focal --crop_size 576 1152 --batch_size 8 --loss focal --focal_gamma 2.0;
归一化层
有4种归一化方法：BN（Batch Normalization）、IN（Instance Normalization）、GN（Group Normalization）和EvoNorm（Evolving Normalization）。
BN是在batch上，对N、H、W做归一化，而保留通道 C 的维度。BN对较小的batch size效果不好。
# Batch Normalization
python baseline.py --save_path baseline_run_deeplabv3_resnet50 --crop_size 576 1152 --batch_size 8;
IN在图像像素上，对H、W做归一化，用在风格化迁移。
# Instance Normalization
python baseline.py --save_path baseline_run_deeplabv3_resnet50_instancenorm --crop_size 576 1152 --batch_size 8 --norm instance;GN将通道分组，然后再做归一化。
# Group Normalization
python baseline.py --save_path baseline_run_deeplabv3_resnet50_groupnorm --crop_size 576 1152 --batch_size 8 --norm group;
EvoNorm则是4月份由谷歌和DeepMind 联合发布的一项新技术。实验证明，EvoNorms 在多个图像分类模型上效果显著，而且还能很好地迁移到 Mask R-CNN 模型和 BigGAN。
# Evolving Normalization
python baseline.py --save_path baseline_run_deeplabv3_resnet50_evonorm --crop_size 576 1152 --batch_size 8 --norm evo;
数据增强
2种数据增强技术：CutMix、Copy Blob。
CutMix
将一部分区域cut掉但不填充0像素，而是随机填充训练集中的其他数据的区域像素值，分类结果按一定的比例分配。
而在这里，则是在原有CutMix的基础上，引入了语义分割。
# CutMix Augmentation
python baseline.py --save_path baseline_run_deeplabv3_resnet50_cutmix --crop_size 576 1152 --batch_size 8 --cutmix;
Copy Blob
在 Blob 存储的基础上构建，并通过Copy的方式增强了性能。
另外，如果要解决前面所提到的类别不平衡问题，则可以使用视觉归纳优先的CopyBlob进行增强。
# CopyBlob Augmentation
python baseline.py --save_path baseline_run_deeplabv3_resnet50_copyblob --crop_size 576 1152 --batch_size 8 --copyblob;
推理
训练结束后，对训练完成的模型进行评估。
python baseline.py --save_path baseline_run_deeplabv3_resnet50 --batch_size 4 --predict;
多尺度推断
使用[0.5，0.75，1.0，1.25，1.5，1.75，2.0，2.2]进行多尺度推理。另外，使用H-Flip，同时必须使用单一批次。
# Multi-Scale Inference
python baseline.py --save_path baseline_run_deeplabv3_resnet50 --batch_size 1 --predict --mst;
使用验证集计算度量
计算指标并将结果保存到results.txt中。
python evaluate.py --results baseline_run_deeplabv3_resnet50/results_val --batch_size 1 --predict --mst;
最终结果
最后的单一模型结果是0.6069831962012341，
如果使用了更大的模型或者更大的网络结构，性能可能会有所提高。
另外，如果使用了各种集成模型，性能也会有所提高。
资源地址：
https://github.com/hoya012/semantic-segmentation-tutorial-pytorch
好消息！
小白学视觉知识星球
开始面向外开放啦👇👇👇
下载1：OpenCV-Contrib扩展模块中文版教程 在「小白学视觉」公众号后台回复：扩展模块中文教程，即可下载全网第一份OpenCV扩展模块教程中文版，涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。 下载2：Python视觉实战项目52讲 在「小白学视觉」公众号后台回复：Python视觉实战项目，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目，助力快速学校计算机视觉。 下载3：OpenCV实战项目20讲 在「小白学视觉」公众号后台回复：OpenCV实战项目20讲，即可下载含有20个基于OpenCV实现20个实战项目，实现OpenCV学习进阶。 交流群
欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~