余弦退火重启动学习率机制
余弦退火重启动学习率机制
【导语】主要介绍在pytorch 中实现了余弦退火重启动学习率机制，支持 warmup 和 resume 训练。并且支持自定义下降函数，实现多种重启动机制。
代码：https://github.com/Huangdebo/CAWB
1. 多 step 重启动
设定 cawb_steps 之后，便可实现多步长余弦退火重启动学习率机制。每次重启动时，开始学习率会乘上一个比例因子 step_scale。调整 step_scale 和 epoch_scale 等参数，可以实现学习率跳变的时候是上升还是下降。也可以调整中间的 step 不用走完一个退火过程，保持较高的学习率，实现更复杂的学习率变化机制。
2. 正常余弦退火机制
如果 cawb_steps 为 [], 则会实现正常的余弦退火机制，在整个 epochs 中按设定的 lf 机制一直下降
3. warmup
设定 warmup_epoch 之后便可实现学习率的 warmup 机制。warmup_epoch 结束后则按设定的 cawb_steps 实现重启动退火机制。
4. resume
设定 last_epoch 便可实现 resume 训练，接上之前中断的训练中的学习率。
5. 自定义下降函数
可通过自定义下降函数，实现多种重启动机制
# lf = lambda x, y=opt.epochs: (((1 + math.cos(x * math.pi / y)) / 2) ** 1.0) * 0.9 + 0.1
lf = lambda x, y=opt.epochs: (1.0 - (x / y)) * 0.8 + 0.2
scheduler = CosineAnnealingWarmbootingLR(optimizer, epochs=opt.epochs, step_scale=0.7,
steps=opt.cawb_steps, lf=lf, batchs=len(data), warmup_epoch=0)
6. 实验结果
本实验是在 COCO2017中随机选出 10000 图像和 1000 张图像分别作为训练集和验证集。检测网络使用 yolov5s，学习率调整机制分别原版的 cos 和 本文实现的 CAWB。
6.1 学习率:
# yolov5
lf = lambda x: ((1 - math.cos(x * math.pi / steps)) / 2) * (y2 - y1) + y1
scheduler = lr_scheduler.LambdaLR(optimizer, lr_lambda=lf)
# 本文
lf = lambda x, y=opt.epochs: (((1 + math.cos(x * math.pi / y)) / 2) ** 1.0) * 0.65 + 0.35
scheduler = CosineAnnealingWarmbootingLR(optimizer, epochs=opt.epochs, steps=opt.cawb_steps, step_scale=0.7,
lf=lf, batchs=len(train_loader), warmup_epoch=3, epoch_scale=4.0)
6.2 map:
6.2.1 cos：
mAP_0.5 = 0.294; mAP_0.5:0.95 = 0.161
6.2.2 CAWB ：
mAP_0.5 = 0.302; mAP_0.5:0.95 = 0.165
7. 结论
在实验中使用了 CAWB 学习率机制时候，mAP_0.5 和 mAP_0.5:0.95 都提升了一丢丢，而且上升趋势更加明显，增加 epochs 可能提升更大。
改变 CAWB 的参数可以实现更多形式的学习率变化机制。增加学习率突变就是想增加网络跳出局部最优的概率，所以不同数据集可能合适不同的变化机制。小伙伴们在其他数据集上尝试之后，记得来提个 issue 哈...
代码：https://github.com/Huangdebo/CAWB