在视觉任务上大幅超越ReLU的新型激活函数

AI算法与图像处理

共 880字,需浏览 2分钟

 ·

2020-11-16 18:30

点击上方AI算法与图像处理”,选择加"星标"或“置顶”

重磅干货,第一时间送达

本文转载自旷视研究院。


本文介绍旷视研究院的一个新成果,通过在激活函数领域进行创新,提出一种在视觉任务上大幅超越ReLU的新型激活函数Funnel activation(FReLU),简单又高效。


  • 论文题目:Funnel Activation for Visual Recognition
  • 论文链接:https://arxiv.org/abs/2007.11824
  • MegEngine开源https://github.com/megvii-model/FunnelAct
  • 关键词:funnel 激活函数、视觉识别、CNN


具体而言,旷视研究院通过增加可忽略的空间条件开销将ReLU和PReLU扩展为2D激活函数。ReLU和PReLU分别表示为y = max(x,0)和y = max(x,px)的形式,而FReLU的形式为y = max(x,T(x)),其中T(·)是二维空间条件(2D spatial condition)。



此外,空间条件以简单的方式实现了像素级建模能力,并通过常规卷积捕获了复杂的视觉layouts。最后,对ImageNet数据集、COCO数据集检测任务和语义分割任务进行了实验,展示了FReLU激活函数在视觉识别任务中的巨大改进和鲁棒性。



下载1:leetcode 开源


AI算法与图像处理」公众号后台回复:leetcode,即可下载。每题都 runtime beats 100% 的开源好书,你值得拥有!



下载2 CVPR2020

AI算法与图像处公众号后台回复:CVPR2020即可下载1467篇CVPR 2020论文
个人微信(如果没有备注不拉群!
请注明:地区+学校/企业+研究方向+昵称


觉得不错就点亮在看吧


浏览 36
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报