送书|想理解深度学习,究竟应该降维打击 or 升维思考?

共 1951字,需浏览 4分钟

 ·

2021-04-02 23:25

b680ab57959782b473dc36b97765b62e.webp
题图 | Designed by Freepik

让我们从一道选择题开始今天的话题。

什么是神经网络?请选择以下描述正确的一项或多项。
A. 神经网络是一种数学函数,它接收输入并产生输出。
B. 神经网络是一种计算图,多维数组流经其中。
C. 神经网络由层组成,每层都具有「神经元」。
D. 神经网络是一种通用函数逼近器。你的答案是________。a13ea91f04e7348b289f56b4a4b993ab.webp

正确答案是……ABCD。

是不是有点懵?对于神经网络,难道就没有唯一、统一的描述吗?
塞思·韦德曼(Seth Weidman)是前Facebook数据科学家。他曾受邀走访世界各地,为来自不同行业的人们讲授数据科学和机器学习。

e6bf7988b1dcb405106da70cabf82831.webp
前Facebook数据科学家塞思·韦德曼
图源:sethweidman.com

在其著作《Python深度学习入门:从零构建CNN和RNN》中,韦德曼写道:

对于讲解神经网络,我发现最具挑战性的就是为「什么是神经网络传达正确的思维模型。这主要是因为,了解神经网络需要的不是一个而是多个思维模型,每一个都说明了神经网络工作方式的不同方面(而且每个方面都必不可少)。

诚然,神经网络与深度学习是一个立体的领域,仅从数学层面或代码层面学习,难免以偏概全,无法融会贯通。正因为如此,韦德曼提出了一种全新的学习方法:同时从数学、示意图、Python代码三个维度立体地理解每一个概念,从而领略深度学习领域的全貌。

想象你要构建自己的深度学习大厦。你或许钟情于算法,又或许习惯于视觉型学习,但唯有进行「升维思考,你才能建造出多面玲珑的建筑。

韦德曼提出以如下步骤学习导数、嵌套函数、链式法则等概念。这些基本概念就如同一块块砖,有了它们,你终将建造出属于自己的深度学习大厦。

  • 以一个或多个方程式展示数学原理。
  • 给出示意图,类似于在参加编码面试时画在白板上的图。
  • 给出对应的Python代码。

让我们一起看看用这种学习方法如何理解导数的概念。

导数是深度学习的一个非常重要的概念。总体来说,函数在某一点上的导数,可以简单地看作函数输出相对于该点输入的「变化率」。维度1:数学首先在数学维度上定义导数。可以使用一个数来描述极限,即当改变某个特定的输入值a 时,函数f 的输出有多大变化:

b68fcc597270a739dfff9f3725672c8c.webp

通过为Δ设置非常小的值(例如0.001),可以在数值上近似此极限。因此,如果Δ=0.001,就可以将导数计算为:

9cf37a9a314968264f9b97cb68eec7dc.webp

虽然近似准确,但这只是完整导数思维模型的一部分。下面来从示意图的维度认识导数。

维度2:示意图为函数曲线画出一条切线,则函数f 在点a 处的导数就是该线在点a 处的斜率。可以通过两种方式来计算这条线的斜率。第一种方式是使用微积分来实际计算极限,第二种方式是在a−0.001处和a+0.001处取连线f 的斜率,如下图所示。e201c772a3e15181b9537e2efb1e7e8f.webp另一种可视化方式是将函数想象成小型工厂,并想象其输入通过一根线连接到输出。求解导数相当于回答这样一个问题:如果将函数的输入a 拉高一点,那么根据工厂的内部运作机制,输出量将以这个小数值的多少倍进行变化呢?857210fa6b0de235c0c03d5fcd797b9b.webp对理解深度学习而言,第二种表示形式比第一种更为重要。维度3:Python代码

可以通过编码来求解前面看到的导数的近似值:

from typing import Callabledef deriv(func: Callable[[ndarray], ndarray],          input_: ndarray,          delta: float = 0.001) -> ndarray:    '''    计算函数func在input_数组中每个元素处的导数。    '''    return (func(input_ + delta) - func(input_ - delta)) / (2 * delta)
当我们说P E(随机选的字母)的函数时,其实是指存在某个函数f,使得f (E) = P或者说,有一个函数f,它接收对象E 并产生对象P也可以说,P 是函数f 应用于E 时产生的任意函数值:

da0475f091d3735c30334ca24bd2f8dd.webp

可以将其编码为下面这种形式。

def f(input_: ndarray) -> ndarray:    # 一些转换    return outputP = f(E)
a13ea91f04e7348b289f56b4a4b993ab.webp
在《Python深度学习入门:从零构建CNN和RNN》一书中,你可以通过上面这种多维度学习方式理解所有重要的深度学习概念,并运用这一块块「砖」,从零开始构建深度学习模型。 限 时 半 价 

9e93d1de5000536545d37f00e3a545ce.webp

塞思·韦德曼 著
郑天民 译
以多个维度立体地认识深度学习
PyTorch神经网络实战
前Facebook数据科学家力作
a13ea91f04e7348b289f56b4a4b993ab.webp
送书规则9ad0c8c5506a3009ba64859e486f9db1.webp
公众号回复:送书 ,参与抽奖(共5本)

本次送书5本


或者扫一扫下方的二维码回复:送书  即可!


08790476d7edb3abd6fda28655e9ab5e.webp点个「赞」

「在看」d494aa49d33426713ae6af416e39bdbe.webp

浏览 43
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报