可视化方式，彻底搞懂LSTM

1、传统的BP网络和CNN网络
2、LSTM网络
3、LSTM的输入结构
4、pytorch中的LSTM
4.1 pytorch中定义的LSTM模型
4.2 喂给LSTM的数据格式
4.3 LSTM的output格式
5、LSTM和其他网络组合

BP网络

# 示例代码，没有实际意义model = Sequential()model.add(Conv2D(32, (3, 3), activation='relu'))  # 添加卷积层model.add(MaxPooling2D(pool_size=(2, 2)))         # 添加池化层model.add(Dropout(0.25))                          # 添加dropout层
model.add(Conv2D(32, (3, 3), activation='relu'))  # 添加卷积层model.add(MaxPooling2D(pool_size=(2, 2)))         # 添加池化层model.add(Dropout(0.25))                          # 添加dropout层
....   # 添加其他卷积操作
model.add(Flatten())                            # 拉平三维数组为2维数组model.add(Dense(256, activation='relu'))        添加普通的全连接层model.add(Dropout(0.5))model.add(Dense(10, activation='softmax'))
....  # 训练网络

LSTM网络结构

三维数据立方体

4.1 pytorch中定义的LSTM模型

class torch.nn.LSTM(*args, **kwargs)参数有：    input_size：x的特征维度    hidden_size：隐藏层的特征维度    num_layers：lstm隐层的层数，默认为1    bias：False则bihbih=0和bhhbhh=0. 默认为True    batch_first：True则输入输出的数据格式为 (batch, seq, feature)    dropout：除最后一层，每一层的输出都进行dropout，默认为: 0    bidirectional：True则为双向lstm默认为False

4.2 喂给LSTM的数据格式

input(seq_len, batch, input_size)参数有：    seq_len：序列长度，在NLP中就是句子长度，一般都会用pad_sequence补齐长度    batch：每次喂给网络的数据条数，在NLP中就是一次喂给网络多少个句子    input_size：特征维度，和前面定义网络结构的input_size一致。

input(batch, seq_len, input_size)

h0(num_layers * num_directions, batch, hidden_size)c0(num_layers * num_directions, batch, hidden_size)参数：    num_layers：隐藏层数    num_directions：如果是单向循环网络，则num_directions=1，双向则num_directions=2    batch：输入数据的batch    hidden_size：隐藏层神经元个数

input(batch, seq_len, input_size)

h0(batc，num_layers * num_directions, h, hidden_size)c0(batc，num_layers * num_directions, h, hidden_size)

4.3 LSTM的output格式

output,(ht, ct) = net(input)    output: 最后一个状态的隐藏层的神经元输出    ht：最后一个状态的隐含层的状态值    ct：最后一个状态的隐含层的遗忘门值

output(seq_len, batch, hidden_size * num_directions)ht(num_layers * num_directions, batch, hidden_size)ct(num_layers * num_directions, batch, hidden_size)

input(batch, seq_len, input_size)

ht(batc，num_layers * num_directions, h, hidden_size)ct(batc，num_layers * num_directions, h, hidden_size)

import torchfrom torch import nn
class RegLSTM(nn.Module):    def __init__(self):        super(RegLSTM, self).__init__()        # 定义LSTM        self.rnn = nn.LSTM(input_size, hidden_size, hidden_num_layers)        # 定义回归层网络，输入的特征维度等于LSTM的输出，输出维度为1        self.reg = nn.Sequential(            nn.Linear(hidden_size, 1)        )
    def forward(self, x):        x, (ht,ct) = self.rnn(x)        seq_len, batch_size, hidden_size= x.shape        x = y.view(-1, hidden_size)        x = self.reg(x)        x = x.view(seq_len, batch_size, -1)        return x

推荐阅读
（点击标题可跳转阅读）
机器学习基础：奇异值分解
机器学习实战：用 SVD 压缩图像
39页PDF《高效Transformers》综述！
老铁，三连支持一下，好吗？↓↓↓