强推 | 人人都能看懂的LSTM介绍及反向传播算法推导（非常详细）

机器学习算法与Python实战

共 2276字，需浏览 5分钟

·

2020-11-11 15:12

↑↑↑点击上方蓝字，回复资料，10个G的惊喜

作者：陈楠来源：知乎

链接：https://zhuanlan.zhihu.com/p/83496936

著作权归作者所有，本文仅作学术分享，若侵权，请联系后台删文处理

1.长短期记忆网络LSTM

LSTM(Long short-term memory)通过刻意的设计来避免长期依赖问题，是一种特殊的RNN。长时间记住信息实际上是 LSTM 的默认行为，而不是需要努力学习的东西！

所有递归神经网络都具有神经网络的链式重复模块。在标准的RNN中，这个重复模块具有非常简单的结构，例如只有单个tanh层，如下图所示。

LSTM具有同样的结构，但是重复的模块拥有不同的结构，如下图所示。与RNN的单一神经网络层不同，这里有四个网络层，并且以一种非常特殊的方式进行交互。

1.1 LSTM--遗忘门

LSTM 的第一步要决定从细胞状态中舍弃哪些信息。这一决定由所谓“遗忘门层”的 S 形网络层做出。它接收

和

，并且对细胞状态

中的每一个数来说输出值都介于 0 和 1 之间。1 表示“完全接受这个”，0 表示“完全忽略这个”。

1.2 LSTM--输入门

下一步就是要确定需要在细胞状态中保存哪些新信息。这里分成两部分。第一部分，一个所谓“输入门层”的 S 形网络层确定哪些信息需要更新。第二部分，一个

形网络层创建一个新的备选值向量——

，可以用来添加到细胞状态。在下一步中我们将上面的两部分结合起来，产生对状态的更新。

1.3 LSTM--细胞状态更新

现在更新旧的细胞状态

更新到

。先前的步骤已经决定要做什么，我们只需要照做就好。

我们对旧的状态乘以

，用来忘记我们决定忘记的事。然后我们加上

，这是新的候选值，根据我们对每个状态决定的更新值按比例进行缩放。

1.4 LSTM--输出门

最后，我们需要确定输出值。输出依赖于我们的细胞状态，但会是一个“过滤的”版本。首先我们运行 S 形网络层，用来确定细胞状态中的哪些部分可以输出。然后，我们把细胞状态输入 tanh（把数值调整到 −1 和 1 之间）再和 S 形网络层的输出值相乘，部这样我们就可以输出想要输出的分。

2. LSTM的变种以及前向、反向传播

目前所描述的还只是一个相当一般化的 LSTM 网络。但并非所有 LSTM 网络都和之前描述的一样。事实上，几乎所有文章都会改进 LSTM 网络得到一个特定版本。差别是次要的，但有必要认识一下这些变种。

2.1 带有"窥视孔连接"的LSTM

一个流行的 LSTM 变种由 Gers 和 Schmidhuber 提出，在 LSTM 的基础上添加了一个“窥视孔连接”，这意味着我们可以让门网络层输入细胞状态。

上图中我们为所有门添加窥视孔，但许多论文只为部分门添加。为了更直观的推导反向传播算法，将上图转化为下图：

前向传播：在t时刻的前向传播公式为：

反向传播：对反向传播算法了解不够透彻的，请参考陈楠：反向传播算法推导过程（非常详细），这里有详细的推导过程，本文将直接使用其结论。

已知：

,求某个节点梯度时，首先应该找到该节点的输出节点，然后分别计算所有输出节点的梯度乘以输出节点对该节点的梯度，最后相加即可得到该节点的梯度。如计算

时，找到

节点的所有输出节点

，然后分别计算输出节点的梯度(如

)与输出节点对

的梯度的乘积（如

），最后相加即可得到节点

的梯度:

同理可得t时刻其它节点的梯度：

对参数的梯度：

2.2 GRU

一个更有意思的 LSTM 变种称为 Gated Recurrent Unit（GRU），由 Cho 等人提出。LSTM通过三个门函数输入门、遗忘门和输出门分别控制输入值、记忆值和输出值。而GRU中只有两个门：更新门

和重置门

，如下图所示。更新门用于控制前一时刻的状态信息被带入到当前状态中的程度，更新门的值越大说明前一时刻的状态信息带入越多；重置门控制前一时刻状态有多少信息被写入到当前的候选集

上，重置门越小，前一状态的信息被写入的越少。这样做使得 GRU 比标准的 LSTM 模型更简单，因此正在变得流行起来。

为了更加直观的推导反向传播公式，将上图转化为如下形式：

GRU的前向传播：在t时刻的前向传播公式为：

GRU的反向传播：t时刻其它节点的梯度:

对参数的梯度：

2.3 遗忘门与输入门相结合的LSTM

另一个变种把遗忘和输入门结合起来。同时确定要遗忘的信息和要添加的新信息，而不再是分开确定。当输入的时候才会遗忘，当遗忘旧信息的时候才会输入新数据。

前向与反向算法与上述变种相同，这里不再做过多推导。

参考资料：【翻译】理解 LSTM 网络 - xuruilong100 - 博客园

欢迎勾搭老胡↑↑↑

自学机器学习十诫

众所周知，YouTube是个学习网站

2020年度最佳的23个的机器学习项目

经典教材《统计学习导论》Python版

老铁，三连支持一下，好吗？↓↓↓

浏览 63

点赞

收藏

分享

举报

评论

图片

表情

人人都能看懂的 LSTM

人人都能看懂的LSTM

人人都能看懂的EM算法推导

【深度学习】人人都能看懂的LSTM

熟悉深度学习的朋友知道，LSTM是一种RNN模型，可以方便地处理时间序列数据，在NLP等领域有广泛应用。在看了台大李宏毅教授的深度学习视频后，特别是介绍的第一部分RNN以及LSTM，整个人醍醐灌顶。本文就是对视频的记录加上了一些个人的思考。0. 从RNN说起循环神经网络（Recurrent Neur

卷积神经网络(CNN)反向传播算法推导

程序员大白

卷积神经网络(CNN)反向传播算法推导

卷积神经网络(CNN)反向传播算法推导

“交叉熵”反向传播推导

神经网络背后的数学原理：反向传播过程及公式推导

人人都能看懂的Matplotlib绘图原理