↑ 点击蓝字关注极市平台

作者丨 VincentLee

来源丨晓飞的算法工程笔记

编辑丨极市平台

极市导读

这篇论文提出了一种动态ReLU。根据输入，它能动态地调整对应的分段激活函数，以较少的额外计算量大幅提升性能。

Dynamic ReLU

论文地址：https://arxiv.org/abs/2003.10027

论文代码：https://github.com/Islanna/DynamicReLU

Introduction

ReLU是深度学习中很重要的里程碑，简单但强大，能够极大地提升神经网络的性能。目前也有很多ReLU的改进版，比如Leaky ReLU和 PReLU，而这些改进版和原版的最终参数都是固定的。所以论文自然而然地想到，如果能够根据输入特征来调整ReLU的参数可能会更好。

基于上面的想法，论文提出了动态ReLU(DY-ReLU)。如图2所示，DY-ReLU是一个分段函数，参数由超函数根据输入得到。超函数综合输入的各维度上下文来自适应激活函数，能够在带来少量额外计算的情况下，显著地提高网络的表达能力。另外，论文提供了三种形态的DY-ReLU，在空间位置和维度上有不同的共享机制。不同形态的DY-ReLU适用于不同的任务，论文也通过实验验证，DY-ReLU在关键点识别和图像分类上均有不错的提升。

Definition and Implementation of Dynamic ReLU

Definition

定义原版的ReLU为，为输入向量，对于输入的维特征，激活值计算为。ReLU可统一表示为分段线性函数，论文基于这个分段函数扩展出动态ReLU，基于所有的输入自适应,：

因子为超函数的输出：

为函数数量，为维度数，激活参数不仅与相关，也与相关。

Implementation of hyper function

论文采用类似与SE模块的轻量级网络进行超函数的实现，对于大小为的输入，首先使用全局平均池化进行压缩，然后使用两个全连接层(中间包含ReLU)进行处理，最后接一个归一化层将结果约束在-1和1之间，归一化层使用，为Sigmoid函数。子网共输出个元素，分别对应和的残差，最终的输出为初始值和残差之和：

和为和的初始值，和是用来控制残差大小的标量。对于的情况，默认参数为，，即为原版ReLU，标量默认为，。

Relation to Prior Work

DY-ReLU的可能性很大，表1展示了DY-ReLU与原版ReLU以及其变种的关系。在学习到特定的参数后，DY-ReLU可等价于ReLU、LeakyReLU以及PReLU。而当，偏置时，则等价于SE模块。另外DY-ReLU也可以是一个动态且高效的Maxout算子，相当于将Maxout的个卷积转换为个动态的线性变化，然后同样地输出最大值。

Variations of Dynamic ReLU

论文提供了三种形态的DY-ReLU，在空间位置和维度上有不同的共享机制：

DY-ReLU-A

空间位置和维度均共享(spatial and channel-shared)，计算如图2a所示，仅需输出个参数，计算最简单，表达能力也最弱。

DY-ReLU-B

仅空间位置共享(spatial-shared and channel-wise)，计算如图2b所示，输出个参数。

DY-ReLU-C

空间位置和维度均不共享(spatial and channel-wise)，每个维度的每个元素都有对应的激活函数。虽然表达能力很强，但需要输出的参数()太多了，像前面那要直接用全连接层输出会带来过多的额外计算。为此论文进行了改进，计算如图2c所示，将空间位置分解到另一个attention分支，最后将维度参数乘以空间位置attention。attention的计算简单地使用卷积和归一化方法，归一化使用了带约束的softmax函数：

用于将attention平均，论文设为，为温度，训练前期设较大的值(10)用于防止attention过于稀疏。

Experimental Results

图像分类对比实验

关键点识别对比实验

与ReLU在ImageNet上进行多方面对比

可视化DY-ReLU在不同block的输入输出以及斜率变化，可看出其动态性

Conclusion

论文提出了动态ReLU，能够根据输入动态地调整对应的分段激活函数，与ReLU及其变种对比，仅需额外的少量计算即可带来大幅的性能提升，能无缝嵌入到当前的主流模型中。前面有提到一篇APReLU，也是做动态ReLU，子网结构十分相似，但DY-ReLU由于的存在，可能性和效果比APReLU更大。

推荐阅读

APReLU：跨界应用于机器故障检测的自适应ReLU丨IEEE TIE 2020
Full Stack Deep Learning：解构深度学习项目落地过程的各个方面
重磅福利丨PRCV2020日程出炉，大咖云集，速领优惠购票资格！

添加极市小助手微信（ID : cvmart2），备注：姓名-学校/公司-研究方向-城市（如：小极-北大-目标检测-深圳），即可申请加入极市目标检测/图像分割/工业检测/人脸/医学影像/3D/SLAM/自动驾驶/超分辨率/姿态估计/ReID/GAN/图像增强/OCR/视频理解等技术交流群：每月大咖直播分享、真实项目需求对接、求职内推、算法竞赛、干货资讯汇总、与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企视觉开发者互动交流~

△长按添加极市小助手

△长按关注极市平台，获取最新CV干货

觉得有用麻烦给个在看啦~

可能是最好的ReLU改进，微软推出提点神器Dynamic ReLU丨ECCV 2020