【深度学习】百度&中科院开源新的视觉Transformer：卷积与自注意力的完美结合 | CVPR 2022 Oral

共 2805字，需浏览 6分钟

· 2022-05-15

以下文章来源于极市平台，作者CV开发者都爱看的

论文地址：https://arxiv.org/abs/2204.02557

代码地址：https://github.com/PaddlePaddle/PaddleClas

写在前面的话

本文是对自注意力（局部窗口注意力）与传统卷积（depth-wise卷积）相结合的又一次思考，继LVT、ACmix之后，本文思考了一种全新的结合方式，通过这样的设计来有效扬长避短以解决传统视觉任务使用局部窗口自注意力导致的感受野受限与弱建模能力。

问题引出

传统视觉任务中为增强局部关系的捕捉效率，使用的自注意力方法多为局部窗口自注意力（如大名鼎鼎的SwinTransformer）而非直接的全局自注意力，但非常重要的一个问题是感受野限制，尽管自注意力范围为全局输入图像，但非重叠局部窗口的切分以及在其内部执行的自注意力计算导致全局输入仅仅在通道维度上共享权重。而且大部分现有网络使用串联结构（如MobileViT），对于局部窗口自注意力的计算来说，这样就会导致窗口内与窗口之间的关系交互少进而阻碍特征学习。所以我们急需一种有效的方法提出，既可以解决局部窗口自注意力中感受野受限的问题，又可以增强通道-空间建模能力，同时性能方面还能有所优化。

如何解决

作者等人提出MixBlock来实现卷积与自注意力的结合，通过并行结构、跨分支交互以及特征融合来解决上述问题，并将块进行金字塔式的堆叠实现整体架构MixFormer。下面我们将分成四个部分来详细介绍这一内容。

1.并行结构设计

图1

如图1所示，一个简单的并行结构被提出。值得注意的是，两种不同的计算方式采用不同的窗口大小，在局部窗口自注意力分支中，与过往工作保持一致而采用77的窗口大小；而在depth-wise卷积中，为了计算效率的提升而采用33的窗口大小。二者的不同也体现在通道维度，作者等人根据其FLOPs的比例来调整通道数（如表1）。

表1

这时候就要提出疑问了：为什么要设计为并行结构呢？卷积与自注意力的更好结合方式不是像LVT那样将两种计算方式耦合一部分吗？其实之前在问题引出中还提到了一个关键信息：传统的局部窗口自注意力计算方式会导致窗口内与窗口间的关系交互少而阻碍特征学习。所以并行结构的意义就显而易见：在解决有限感受野的同时，结合特征交互实现同时建模窗口内与窗口间的关系，从而实现更好的特征学习。接下来我们就详细剖析一下双向交互的设计。

2.双向交互设计

一个大的前提是：共享权重限制了共享维度中的建模能力。所以在局部窗口自注意力的计算中，由于在通道维度上的权重共享，导致该维度的弱建模能力。

Depth-wise卷积有一个很好的特性，它可以在关注通道的同时在空间维度上共享权重（但这也不可避免的导致空间维度建模能力弱）。作为一个分支的计算，分支的输出可以为局部窗口的分支提供一种“线索补充”，同样局部窗口分支的输出也可以为卷积分支带来“线索补充”。因为卷积分支存在空间维度建模能力弱的问题，自注意力分支存在通道维度建模能力弱的问题，所以设计双向交互可以同时实现对两个分支通道-空间维度的建模能力增强。

图2

如图2，对于卷积->自注意力分支的交互实现，作者等人采用类SE的设计，即DwConv 33的输出先经过全局平均池化层（GAP），接着使用11卷积来进行通道间的信息交互，在BN+GELU之后再度使用11卷积调整维度，最后经过sigmoid函数将特征值化为概率分布作用到自注意力分支的V计算中。对于自注意力->卷积分支的交互实现，与前者有所相似，但不同的是没有GAP，且经过最后一次11卷积后，通道数变为1，sigmoid之后变为一张空间维度上的概率分布图，从而作用到卷积分支中的DwConv 3*3输出。

这一交互设计十分巧妙，因为卷积分支通道建模能力强于自注意力分支，就在卷积分支生成通道维度的注意力从而应用于自注意力分支，增强其通道维度建模能力，反之亦然。

3.前馈层设计

在传统的视觉Transformer中，自注意力计算的后面紧跟着是前馈层来实现信息交互。在本文中，将前馈层设计为自注意力分支与卷积分支进行concat操作之后的MLP计算，而不是单独的放到自注意力分支后，这样可以进一步增强两个独立分支的信息交互，本人将其视作双向交互设计的补充。具体的可用公式表示如下：

其中MIX代表分支间的双向交互操作，即特征混合函数。在这之前，输入特征将通过两个线性投影层和两个范数层投影到并行分支进行相关计算。

为什么前馈层使用MLP而不是DwConv或者其他方式呢？作者等人使用MLP的主要原因是为了保持块的结构简洁有效，当然在实验部分，将MLP与DwConv方式对比（表2），发现并没有显著的效果提升，因此前馈层设计仅由MLP实现。

表2

4.MixFormer整体架构

如图3，基于MixBlock，一个金字塔结构的设计被提出。四个阶段的下采样率分别为{4, 8, 16, 32}。同时类比于MobileNets、EfficeintNets的设计，在网络的尾部，作者等人引入投影层将通道数增加至1280，旨在保留更多细节，为后续分类头提高性能。

对于每个阶段堆叠的MixBlock数量设计，作者等人提出了不同的比例配置，并在后续实验汇总进行了粗略的验证（如表3）。

图3

表3

思考

本文的出发点是为了解决传统局部窗口自注意力中存在的问题，但是也仅仅是局部窗口，是否能推衍至全局自注意力计算并取得显著效果并不明确。全局注意力的堆叠计算，一般来说更像是一张模糊的图片随着计算的进行逐渐变得清晰；而卷积的堆叠计算，则像是一张清晰的图片从局部的纹理等细节逐渐扩大到整张图片。因此如果在全局自注意力中引入，本文中的并行设计可能并不十分契合，因为全局自注意力并没有感受野受限的问题，来自卷积的特征信息也仅仅可以提高自注意力分支的通道建模能力，而空间建模能力是否能从全局自注意力分支中获得是个未知数。

当然作者等人进行了这方面的尝试，对 DeiT-Tiny（Training data-efficient image transformers & distillation through attention.）进行了一个简单的实验，但得到了一个并不理想的结果，效率不升反降（与ImageNet基线对比：71.3%对72.2%）。

综合来说，本文在局部窗口自注意力中的应用获得了巨大的成功（表4），为其中的感受野受限与通道弱建模问题提供了有效的解决方案。

表4

END


往期精彩回顾




适合初学者入门人工智能的路线及资料下载
(图文+视频)机器学习入门系列下载
中国大学慕课《机器学习》（黄海广主讲）
机器学习及深度学习笔记等资料打印
《统计学习方法》的代码复现专辑
机器学习交流qq群955171419，加入微信群请扫码：

图片

表情

真高！比亚迪员工爆料比亚迪在越南的薪资水平：基本工资480万，全勤奖35万，交通补助20万，餐补110万，每周6天，每天10小时

上一篇：某大公司为逼迫员工离职，竟然把他的工位安排到厕所旁，没想到他直接开始记录领导的如厕时间，还发到公司大群...对此，你怎么看？--完--PS：欢迎在留言区留下你的观点，一起讨论提高。如果今天的文章让你有新的启发，欢迎转发分享给更多人。全文完，感谢你的耐心阅读。如果你还想看到我的文章，请一定给本

开发者全社区

太敢穿了！透视纱裙！性感火辣的身材

绝了呀今天的厂花：吴宣仪1995年1月26日，吴宣仪出生于海南省海口市，中国内地流行乐女歌手、影视演员。2016年2月，吴宣仪随宇宙少女发行首张迷你专辑正式出道。2018年4月，她参加《创造101》综艺选秀，获得第二名，成功加入火箭少女101组合。吴宣仪的颜值一直备受称赞，她的五官立体精致，皮肤白皙

逆锋起笔

某大公司为逼迫员工离职，竟然把他的工位安排到厕所旁，没想到他直接开始记录领导的如厕时间，还发到公司大群...

上一篇：字节的跳动职级与薪资（2024年）我们与公司间的合作，宛如两艘船只在茫茫大海上相互依靠，共同抵御风浪，携手驶向成功的彼岸。然而，当航向开始产生分歧，或是波涛汹涌的风浪改变了我们的初衷，我们或许应当冷静地选择和平分手，而非在风雨中硬撑。最近，一位网友的遭遇引起了广大职场人的关注和热议。这位网友

开发者全社区

金融研究 | 使用Python测量关键审计事项的「信息含量」

Tips: 公众号推送后内容只能更改一次，且只能改20字符。如果内容出问题，或者想更新内容，只能重复推送。为了更好的阅读体验，建议阅读本文博客版，链接地址https://textdata.cn/blog/2023-01-13-information-content-of-critical-aud

大邓和他的Python

我看阿里的年终奖总算发了！

到4月底了，这两天看朋友圈，发现阿里的年终奖终于发了，问了问老同学，也从网上检索了不少信息，基本搞清楚了阿里今年的年终奖情况。近来来阿里一些集团对绩效等级做了较大的调整，以前的旧绩效系统中，绩效分为3.25、3.5、3.75、4和5五个等级，其中4和5是较高绩效等级，较少见。而且之前3.5绩效内部划

公子龙

一女子与一男子在阳台上打扑克，被邻居偷拍后...

近日网络上又发生了一起疑似黄色谣言的事件：一女子与一男子在阳台上打扑克，被邻居偷拍后上传到网上，引发广泛舆论讨论。根据网传视频显示，一名穿着吊带睡衣的女子与一名光着上身的男性在阳台上交谈，随后开始打起扑克牌。这一幕被邻居拍下并上传至网络后，引发了许多网友的关注和猜测，其中大部分涉及到了不当的假设。当

逆锋起笔

CVPR 2024｜大视觉模型的开山之作！无需任何语言数据即可打造大视觉模型

↑ 点击蓝字关注极市平台作者丨科技猛兽编辑丨极市平台极市导读本文提出一种序列建模 (sequential modeling) 的方法，不使用任何语言数据，训练大视觉模型。>>加入极市CV技术交流群，走在计算机视觉的最前沿本文目录1 序列建模打造大视觉模型(来自 U

极市平台

金融研究(更新) | 使用Python构建关键审计事项的「信息含量」

大邓和他的Python

字节的跳动职级与薪资（2024年）

上一篇：阿里公布年终奖，P7, 3.5+，22W年终奖，还有35W长期现金激励，真香字节跳动自2012年3月成立以来，已经迅速成长为一个全球性的科技公司。其产品和服务已经遍布全球150多个国家与地区，并且支持超过75种不同的语言。在字节跳动的官方网站上，列出了一系列引人注目的产品和服务，包括但不限于

开发者全社区

国宝级神颜！来自新疆的美人

安排今天的厂花：佟丽娅1983年8月8日，佟丽娅出生于新疆伊犁察布查尔，中国内地影视女演员，舞蹈员。2000年，佟丽娅成为了新疆歌舞团的舞蹈演员，2004年，进入中国歌舞团担任舞蹈演员。丫丫的颜值，相信绝对是收割了一大波粉丝新疆的美女绝对称得上惊艳，迪丽热巴、古力娜扎，而佟丽娅却是美得像另一个境界。

逆锋起笔