【小白学习PyTorch教程】三、Pytorch中的NN模块并实现第一个神经网络模型

机器学习初学者

共 5946字,需浏览 12分钟

 ·

2021-08-05 09:47

「@Author:Runsen」

在PyTorch建立模型,主要是NN模块。

nn.Linear

nn.Linear是创建一个线性层。这里需要将输入和输出维度作为参数传递。

linear = nn.Linear(102)
example_input = torch.randn(310)
example_output = linear(example_input)
example_output

上面代码linear接受nx10的输入并返回nx2的输出。

print(example_input)
print(example_output)

tensor([[ 1.1122-0.1381,  0.5547-0.3326-0.5676,  0.2810-0.5521-0.8729,
         -0.6627,  0.8729],
        [ 1.9134,  0.2397-0.8340,  1.1532-1.6725,  0.6171-0.0357-1.6848,
         -0.8454,  0.3876],
        [-0.0786-0.1541-0.8385-0.1587-0.0121,  1.4457-0.0132,  1.5653,
         -1.6954-0.9350]])
# 输出如下
tensor([[-0.1249-0.8002],
        [-1.0945-0.2297],
        [-0.3558,  0.8439]], grad_fn=<AddmmBackward>)

nn.Relu

nn.Relu对线性的给定输出执行 relu 激活函数操作。

relu = nn.ReLU() 
relu_output = relu(example_output) 
relu_output

# 输出如下
tensor([[0.00000.0000],
        [0.00000.0000],
        [0.00000.8439]], grad_fn=<ReluBackward0>)

nn.BatchNorm1d

nn.BatchNorm1d是一种标准化技术,用于在不同批次的输入中保持一致的均值和标准偏差。

batchnorm = nn.BatchNorm1d(2
batchnorm_output = batchnorm(relu_output) 
batchnorm_output

# 输出如下
tensor([[ 0.0000-0.7071],
        [ 0.0000-0.7071],
        [ 0.0000,  1.4142]], grad_fn=<NativeBatchNormBackward>)

nn.Sequential

nn.Sequential一次性创建一系列操作。和tensorflow中的Sequential完全一样。

mlp_layer = nn.Sequential(
    nn.Linear(52),
    nn.BatchNorm1d(2),
    nn.ReLU()
)
test_example = torch.randn(5,5) + 1
print("input: ")
print(test_example)
print("output: ")
print(mlp_layer(test_example))

# 输出如下
input: 
tensor([[ 1.4617,  1.2446,  1.4919,  1.5978-0.3410],
        [-0.2819,  0.5567,  1.0113,  1.8053-0.0833],
        [ 0.2830,  1.0857,  1.2258,  2.6602,  0.1339],
        [ 0.8682,  0.9344,  1.3715,  0.0279,  1.8011],
        [ 0.6172,  1.1414,  0.6030,  0.3876,  1.3653]])
output: 
tensor([[0.00000.0000],
        [0.00001.3722],
        [0.00000.8861],
        [1.08950.0000],
        [1.30470.0000]], grad_fn=<ReluBackward0>)

在上面的模型中缺少了优化器,我们无法得到对应损失。

import torch.optim as optim
adam_opt = optim.Adam(mlp_layer.parameters(), lr=1e-1)
# 这里lr表示学习率,1e-1表示0.1
train_example = torch.randn(100,5) + 1
adam_opt.zero_grad()
# 我们将使用1减去平均值,作为简单损失函数
cur_loss = torch.abs(1 - mlp_layer(train_example)).mean()
cur_loss.backward()
# 更新参数
adam_opt.step()
print(cur_loss.data)
# 输出如下
tensor(0.7467)

虽然上面只是用了一个epoch,训练线性模型得到loss为0.7467,上面就是NN模型建立model的整个流程,

第一个神经网络模型

下面实现第一个分类神经网络,其中一个隐藏层用于开发单个输出单元。

首先,使用以下命令导入 PyTorch 库 -

import torch 
import torch.nn as nn

定义所有层和批量大小以开始执行神经网络,如下所示 -

n_in, n_h, n_out, batch_size = 105110

由于神经网络包括输入数据的组合以获得相应的输出数据,我们将遵循以下相同的程序 -

x = torch.randn(batch_size, n_in)
y = torch.tensor([[1.0], [0.0], [0.0], 
[1.0], [1.0], [1.0], [0.0], [0.0], [1.0], [1.0]])

创建顺序模型。使用下面代码,创建一个顺序模型 -

model = nn.Sequential(nn.Linear(n_in, n_h),
   nn.ReLU(),
   nn.Linear(n_h, n_out),
   nn.Sigmoid())

借助梯度下降优化器构建损失函数,如下所示 -

# 构造损失函数
criterion = torch.nn.MSELoss()
# 构造优化器
optimizer = torch.optim.SGD(model.parameters(), lr = 0.01)

使用给定代码行的迭代循环实现梯度下降模型 -

# 梯度下降
for epoch in range(50):
   # 正向传递:通过将x传递给模型来计算预测的y
   y_pred = model(x)

   # 计算loss
   loss = criterion(y_pred, y)

   # 梯度清0
   optimizer.zero_grad()

   # 反向传播,求解梯度
   loss.backward()

   # 更新模型参数
   optimizer.step()
   if epoch % 10 == 0:
      print('epoch: ', epoch,' loss: ', loss.item())

输出如下

epoch:  0  loss:  0.2508794665336609
epoch:  10  loss:  0.24847669899463654
epoch:  20  loss:  0.24615907669067383
epoch:  30  loss:  0.24392127990722656
epoch:  40  loss:  0.24175791442394257
往期精彩回顾




本站qq群851320808,加入微信群请扫码:


浏览 49
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报