【关于Transformer】 那些的你不知道的事 (下)

 作者：杨夕

 项目地址：https://github.com/km1994/nlp_paper_study

论文链接：https://arxiv.org/pdf/1706.03762.pdf

【注：手机阅读可能图片打不开！！！】

个人介绍：大佬们好，我叫杨夕，该项目主要是本人在研读顶会论文和复现经典论文过程中，所见、所思、所想、所闻，可能存在一些理解错误，希望大佬们多多指正。

## 引言

本博客 主要 是本人在学习 Transformer 时的**所遇、所思、所解**，通过以 **十六连弹** 的方式帮助大家更好的理解 该问题。

## 十六连弹

1. 为什么要有 Transformer?

2. Transformer 作用是什么？

3. Transformer 整体结构怎么样？

4. Transformer-encoder 结构怎么样？

5. Transformer-decoder 结构怎么样?

6. 传统 attention 是什么?

7. self-attention 长怎么样?

8. self-attention 如何解决长距离依赖问题？

9. self-attention 如何并行化？

10. multi-head attention 怎么解?

11. 为什么要 加入 position embedding ？

12. 为什么要 加入 残差模块？

13. Layer normalization。Normalization 是什么?

14. 什么是 Mask？

15. Transformer 存在问题？

16. Transformer 怎么 Coding?

## 问题解答

### 十一、为什么要 加入 position embedding ？

- 问题：

  - 介绍：缺乏 一种 表示 输入序列中 单词顺序 的方法

  - 说明：因为模型不包括Recurrence/Convolution，因此是无法捕捉到序列顺序信息的，例如将K、V按行进行打乱，那么Attention之后的结果是一样的。但是序列信息非常重要，代表着全局的结构，因此必须将序列的分词相对或者绝对position信息利用起来

- 目的：加入词序信息，使 Attention 能够分辨出不同位置的词

- 思路：

  - 在 encoder 层和 decoder 层的输入添加了一个额外的向量Positional Encoding，维度和embedding的维度一样，让模型学习到这个值

- 位置向量的作用：

  - 决定当前词的位置；

  - 计算在一个句子中不同的词之间的距离

- 步骤：

  - 将每个位置编号，

  - 然后每个编号对应一个向量，

  - 通过将位置向量和词向量相加，就给每个词都引入了一定的位置信息。

- 论文的位置编码是使用三角函数去计算的。好处：

  - 值域只有[-1,1]

  - 容易计算相对位置。

 注：

   $pos$ 表示当前词在句子中的位置

   $i$ 表示向量中每个值 的 index

   在偶数位置：使用 正弦编码 $sin()$;

   在奇数位置：使用 余弦编码 $cos()$;

### 十二、为什么要 加入 残差模块？

- 动机：因为 transformer 堆叠了 很多层，容易 梯度消失或者梯度爆炸

### 十三、Layer normalization。Normalization 是什么?

- 动机：因为 transformer 堆叠了 很多层，容易 梯度消失或者梯度爆炸；

- 原因：

  - 数据经过该网络层的作用后，不再是归一化，偏差会越来越大，所以需要将 数据 重新 做归一化处理；

- 目的：

  - 在数据送入激活函数之前进行normalization（归一化）之前，需要将输入的信息利用 normalization 转化成均值为0方差为1的数据，避免因输入数据落在激活函数的饱和区而出现 梯度消失或者梯度爆炸 问题

- 介绍：

  - 归一化的一种方式

  - 对每一个样本介绍均值和方差【这个与 BN 有所不同，因为他是在 批方向上 计算均值和方差】

- 公式

  

> BN 计算公式

> LN 计算公式

### 十四、什么是 Mask？

- 介绍：掩盖某些值的信息，让模型信息不到该信息；

- 类别：padding mask and sequence mask

  - padding mask

    - 作用域：每一个 scaled dot-product attention 中

    - 动机：

      - 输入句子的长度不一问题

    - 方法：

      - 短句子：后面 采用 0 填充

      - 长句子：只截取 左边 部分内容，其他的丢弃

    - 原因：

      - 对于 填充 的位置，其所包含的信息量 对于 模型学习 作用不大，所以 self-attention 应该 抛弃对这些位置 进行学习；

    - 做法：

      - 在这些位置上加上 一个 非常大 的负数（负无穷），使 该位置的值经过 Softmax 后，值近似 0，利用 padding mask 标记哪些值需要做处理；

  - sequence mask

    - 作用域：只作用于 decoder 的 self-attention 中

    - 动机：不可预测性；

    - 目标：sequence mask 是为了使得 decoder 不能看见未来的信息。也就是对于一个序列，在 time_step 为 t 的时刻，我们的解码输出应该只能依赖于 t 时刻之前的输出，而不能依赖 t 之后的输出。因此我们需要想一个办法，把 t 之后的信息给隐藏起来。

    - 做法：

      - 产生一个下三角矩阵，上三角的值全为0，下三角全是 1。把这个矩阵作用在每一个序列上，就可以达到我们的目的

> sequence mask 公式

> 注意力矩阵， 每个元素 $a_{ij}$ 代表  第 i 个词和第 j 个词的内积相似度

> 下三角矩阵，上三角的值全为0，下三角全是 1

注：

 在 decoder 的 scaled dot-product attention 中，里面的 attn_mask = padding mask + sequence mask

 在 encoder 的 scaled dot-product attention 中，里面的 attn_mask = padding mask

### 十五、Transformer 存在问题？

- 引言

  - 居然 Transformer 怎么厉害，那么 是否也存在不足呢?

  - 答案: 有的

- 问题一：不能很好的处理超长输入问题？

  - 介绍：Transformer 固定了句子长度；

  - 举例：

    - 例如 在 Bert 里面，输入句子的默认长度 为 512；

  - 对于长度长短问题，做了以下处理：

    - 短于 512：填充句子方式；

    - 长于 512：

      - 处理方式一：截断句子方式（Transformer 处理方式）；

      - 处理方式二：将句子划分为 多个 seg ([Vanilla Transformer](https://aaai.org/ojs/index.php/AAAI/article/view/4182) 处理方式);

        - 思路：

          - 将文本划分为多个segments；

          - 训练的时候，对每个segment单独处理；

        - 问题：

          - 因为 segments 之间独立训练，所以不同的token之间，最长的依赖关系，就取决于segment的长度 (如图(a))；

          - 出于效率的考虑，在划分segments的时候，不考虑句子的自然边界，而是根据固定的长度来划分序列，导致分割出来的segments在语义上是不完整的 (如图(a))；

          - 在预测的时候，会对固定长度的 segment 做计算，一般取最后一个位置的隐向量作为输出。为了充分利用上下文关系，在每做完一次预测之后，就对整个序列向右移动一个位置，再做一次计算，这导致计算效率非常低 (如图(b))；

      - 处理方式三：Segment-Level Recurrenc ( [Transformer-XL](https://aaai.org/ojs/index.php/AAAI/article/view/4182) 处理方式);

        - 思路：

          - 在对当前segment进行处理的时候，**缓存**并利用上一个segment中所有layer的隐向量序列；

          - 上一个segment的所有隐向量序列只参与前向计算，不再进行反向传播；

  

- 问题二：方向信息以及相对位置 的 缺失 问题？

  - 动机：

    - 方向信息和位置信息的缺失，导致 Transformer 在 NLP 中表现性能较差，例如在 命名实体识别任务中；

      - 举例：

        - 如下图，“Inc”单词之前的词很有可能就是机构组织（ORG），“in”单词之后的词，很有可能是时间地点（TIME）；并且一个实体应该是连续的单词组成，标红的“Louis Vuitton”不会和标蓝的“Inc”组成一个实体。但是原始的Transformer无法捕获这些信息。

  - 解决方法：

    - 可以查看 [TENER: Adapting Transformer Encoder for Name  Entity Recognition](https://arxiv.org/pdf/1911.04474.pdf) 【论文后期会做总结】

- 问题三：缺少Recurrent Inductive Bias

  - 动机：

    - 学习算法中Inductive Bias可以用来预测从未遇到的输入的输出（参考[10])。对于很多序列建模任务（如需要对输入的层次结构进行建模时，或者在训练和推理期间输入长度的分布不同时），Recurrent Inductive Bias至关重要【可以看论文[The Importance of Being Recurrent for  Modeling Hierarchical  Structure](https://arxiv.org/abs/1803.03585)】

- 问题四：Transformer是非图灵完备的： 非图灵完备通俗的理解，就是无法解决所有的问题

  - 动机：

    -  在Transformer中，单层中sequential operation ( context two  symbols需要的操作数) 是$O(1)$ time，独立于输入序列的长度。那么总的sequenctial operation仅由层数$T$决定。这意味着transformer不能在计算上通用，即无法处理某些输入。如：输入是一个需要**对每个输入元素进行顺序处理**的函数，在这种情况下，对于任意给定的深度$T$的transformer，都可以构造一个长度为 $N>T$;

- 问题五：transformer缺少conditional computation

  - 动机：

    -  transformer在encoder的过程中，所有输入元素都有相同的计算量，比如对于“I arrived at the bank after crossing the river", 和"river"相比，需要更多的背景知识来推断单词"bank"的含义，然而transformer在编码这个句子的时候，无条件对于每个单词应用相同的计算量，这样的过程显然是低效的。

- 问题六：transformer 时间复杂度 和 空间复杂度 过大问题

  - 动机：

    - Transformer 中用到的自注意力与长度n呈现出$O(n^2)$的时间和空间复杂度

  - 解决方法：

    - [Linformer](https://arxiv.org/abs/2006.04768)

### 十六、Transformer 怎么 Coding?

- 最后的最后，送上 whalePaper 成员 逸神 的 【[Transformer 理论源码细节详解](https://zhuanlan.zhihu.com/p/106867810)】;

- 理论+实践，干活永不累！

## 参考资料

1. [Transformer理论源码细节详解](https://zhuanlan.zhihu.com/p/106867810)

2. [论文笔记：Attention is all you need（Transformer）](https://zhuanlan.zhihu.com/p/51089880)

3. [深度学习-论文阅读-Transformer-20191117](https://zhuanlan.zhihu.com/p/92234185)

4. [Transform详解(超详细) Attention is all you need论文](https://zhuanlan.zhihu.com/p/63191028)

5. [目前主流的attention方法都有哪些？](https://www.zhihu.com/question/68482809/answer/597944559)

6. [transformer三部曲](https://zhuanlan.zhihu.com/p/85612521)

7. [Character-Level Language Modeling with Deeper Self-Attention](https://aaai.org/ojs/index.php/AAAI/article/view/4182)

8. [Transformer-XL: Unleashing the Potential of Attention Models](https://ai.googleblog.com/2019/01/transformer-xl-unleashing-potential-of.html)

9. [The Importance of Being Recurrent for Modeling Hierarchical Structure](https://arxiv.org/abs/1803.03585)

10. [Linformer](https://arxiv.org/abs/2006.04768)