一文看懂从 RNN 到 LSTM
共 1915字,需浏览 4分钟
· 2020-07-28
仅作学术交流,如有侵权,请联系后台删除
![](https://filescdn.proginn.com/db8a94f157ebc059f57eed654a4567fc/9ceff7f79b36a48884e0774a8e12e603.webp)
这是在看了台大李宏毅教授的深度学习视频之后的一点总结和感想。看完介绍的第一部分 RNN 尤其 LSTM 的介绍之后,整个人醍醐灌顶。本篇博客就是对视频的一些记录加上了一些个人的思考。
0. 从 RNN 说起
循环神经网络(Recurrent Neural Network,RNN)是一种用于处理序列数据的神经网络。相比一般的神经网络来说,他能够处理序列变化的数据。比如某个单词的意思会因为上文提到的内容不同而有不同的含义,RNN 就能够很好地解决这类问题。
1. 普通 RNN
![](https://filescdn.proginn.com/0b51830787117b1bf34536b876e46748/e4be714ff8775231c72a3a5ae0af2184.webp)
![](https://filescdn.proginn.com/8553f0d538d36742701d6d45a0789539/f39934550ec0aeb9f2c150359d14b068.webp)
![](https://filescdn.proginn.com/fa4683ba2576606a4bce5eef1054370f/fa51929fcb9e3aae0bbe1010e3efafbd.webp)
为当前节点状态下的输出,而
为传递到下一个节点的输出。
对这里的 y 如何通过 h' 计算得到往往看具体模型的使用方式。通过序列形式的输入,我们能够得到如下形式的 RNN。
![](https://filescdn.proginn.com/4d7759ae48db378edf50366f27aea889/59202c7ebd27bfc41bca57efd2825577.webp)
2. LSTM
2.1 什么是 LSTM
LSTM 结构(图右)和普通 RNN 的主要输入输出区别如下所示。
![](https://filescdn.proginn.com/5a417de951c70cfc92e8d71a6f08281a/55efa2736c6aaa869b4b23cc40c1d427.webp)
![](https://filescdn.proginn.com/4bc2b513ff327e8b0ed6b8bf68fcd919/70f5eb7d0f20a525074290cec7ddbf62.webp)
![](https://filescdn.proginn.com/04f9ad876b76fae2d8a23dff0203f6df/fe15f3cb74c89d7c5148c7aa41eaa51d.webp)
![](https://filescdn.proginn.com/4bc2b513ff327e8b0ed6b8bf68fcd919/70f5eb7d0f20a525074290cec7ddbf62.webp)
![](https://filescdn.proginn.com/4bc2b513ff327e8b0ed6b8bf68fcd919/70f5eb7d0f20a525074290cec7ddbf62.webp)
![](https://filescdn.proginn.com/04f9ad876b76fae2d8a23dff0203f6df/fe15f3cb74c89d7c5148c7aa41eaa51d.webp)
![](https://filescdn.proginn.com/04f9ad876b76fae2d8a23dff0203f6df/fe15f3cb74c89d7c5148c7aa41eaa51d.webp)
![](https://filescdn.proginn.com/04f9ad876b76fae2d8a23dff0203f6df/fe15f3cb74c89d7c5148c7aa41eaa51d.webp)
![](https://filescdn.proginn.com/e8e183ec91526bc7123da26a69b257bc/bd4df6bb9e6d33060255ffc04dd9b513.webp)
![](https://filescdn.proginn.com/4bc2b513ff327e8b0ed6b8bf68fcd919/70f5eb7d0f20a525074290cec7ddbf62.webp)
2.2 深入 LSTM 结构
下面具体对 LSTM 的内部结构来进行剖析。
首先使用 LSTM 的当前输入 和上一个状态传递下来的
拼接训练得到四个状态。
![](https://filescdn.proginn.com/29bee4e2789ea6ca148e5951343c9e70/d097fd7cbf731147150c71a70a7a5a16.webp)
![](https://filescdn.proginn.com/67584562471032f9ec349822ddc8e960/5e0dbaa8d261860b508aa8fe160e3013.webp)
其中, ,
,
是由拼接向量乘以权重矩阵之后,再通过一个
激活函数转换成0到1之间的数值,来作为一种门控状态。而
则是将结果通过一个
激活函数将转换成-1到1之间的值(这里使用
是因为这里是将其做为输入数据,而不是门控信号)。
下面开始进一步介绍这四个状态在 LSTM 内部的使用。(敲黑板)
![](https://filescdn.proginn.com/3deded677fad5a769174060e360c55bc/b24c8fe9d7f977451fc8bafe94329a7c.webp)
是 Hadamard Product,也就是操作矩阵中对应的元素相乘,因此要求两个相乘矩阵是同型的。
则代表进行矩阵加法。
LSTM 内部主要有三个阶段:
1. 忘记阶段。这个阶段主要是对上一个节点传进来的输入进行选择性忘记。简单来说就是会 “忘记不重要的,记住重要的”。
具体来说是通过计算得到的 (f表示forget)来作为忘记门控,来控制上一个状态的
哪些需要留哪些需要忘。
![](https://filescdn.proginn.com/512f9b5baea7d7c258cd6b9505c6c415/5b4aef9ed7bbc76bdf77ffb671ca971f.webp)
![](https://filescdn.proginn.com/cf4b63b7baebf5c79ac02bcdaa42eb15/1e909a3a2aadd37f7a72e6222b1ddb90.webp)
![](https://filescdn.proginn.com/efc76145d430e35ab282551bab821cba/ae189b138f42e9004ba40f48dc6bd625.webp)
将上面两步得到的结果相加,即可得到传输给下一个状态的。也就是上图中的第一个公式。
3. 输出阶段。这个阶段将决定哪些将会被当成当前状态的输出。主要是通过 来进行控制的。并且还对上一阶段得到的
进行了放缩(通过一个 tanh 激活函数进行变化)。
与普通 RNN 类似,输出 往往最终也是通过
变化得到。