谈谈自动微分(Automatic Differentiation)
机器学习与生成对抗网络
共 2465字,需浏览 5分钟
· 2022-01-13
©作者 | JermyLu 编辑 paperweekly
学校 | 中国科学院大学
研究方向 | 自然语言处理与芯片验证
引言
数值微分
数值微分方法简单,但计算量巨大,而且会造成截断误差(Truncation Error)和舍入误差(Round-off Error)。
符号微分
使用符号微分方法时,必须将目标函数转为一个完整的数学表达式,这个过程中会出现表达式膨胀(Expression Swell)的问题,大大增加系统存储和处理表达式的负担。
自动微分
首先,我们了解一下链式法则。
单变量函数链式法则:
多变量函数链式法则:
接下来,我们以三层全连接层神经网络为例,解释自动微分机制。
; ; 梯度 需要继续向前一层传递,用于计算其他变量的梯度;梯度 会作为参数 的梯度计算结果,用于模型参数的更新。
; ; 梯度 需要继续向前一层传递,用于计算其他变量的梯度;梯度 会作为参数 的梯度计算结果,用于模型参数的更新。
综合输出层和隐藏层的反向传播方法,再根据神经网络有向计算图的拓扑结构,逆向访问每一个节点执行上述梯度计算过程即可得到神经网络中任意位置和任意参数的梯度信息。
总结
链式法则+反向传播+有向图拓扑结构,构成了自动微分机制的基础。
猜您喜欢:
附下载 |《TensorFlow 2.0 深度学习算法实战》
评论
盘点一个使用超级鹰识别验证码并自动登录的案例
点击上方“Python共享之家”,进行关注回复“资源”即可获赠Python学习资料今日鸡汤江上几人在,天涯孤棹还。大家好,我是皮皮。一、前言前几天在Python钻石交流群【静惜】问了一个Python实现识别验证码并自动登录的问题,提问截图如下:验证码的截图如下所示:二、实现过程这里大家激烈的探讨,【
IT共享之家
0
实现订单30分钟自动取消的策略
原文:juejin.cn/post/7285167401821798400简介在电商和其他涉及到在线支付的应用中,通常需要实现一个功能:如果用户在生成订单后的一定时间内未完成支付,系统将自动取消该订单。本文将详细介绍基于Spring Boot框架实现订单30分钟内未支付自动取消的几种方案,并提供实例
JAVA乐园
0
面试官:谈谈前端路由的实现原理【hash&history】
哈喽,大家好我是考拉🐨。今天我们来聊一聊前端路由。当谈到前端路由时,指的是在前端应用中管理页面导航和URL的机制。前端路由使得单页应用(Single-Page Application,SPA)能够在用户与应用交互时动态地加载不同的视图,而无需每次都重新加载整个页面。在前端开发中,常用的前端路由库有很
程序员成长指北
10
用Python写个自动批改作业系统!
来源丨掘金https://juejin.cn/user/615370768790158一、亮出效果最近一些软件的搜题、智能批改类的功能要下线。退1024步讲,要不要自己做一个自动批改的功能啊?万一哪天孩子要用呢!昨晚我做了一个梦,梦见我实现了这个功能,如下图所示:功能简介:作对了,能打对号;做错了,
菜鸟学Python
0
用Python写个自动批改作业系统!
将Python客栈设为“星标⭐”第一时间收到最新资讯来源丨法纳斯特原文链接:https://juejin.cn/user/615370768790158一、亮出效果最近一些软件的搜题、智能批改类的功能要下线。退1024步讲,要不要自己做一个自动批改的功能啊?万一哪天孩子要用呢!昨晚我做了一个梦,梦见
Python客栈
0
用Python写个自动批改作业系统!
来源:掘金 | 转自:法纳斯特https://juejin.cn/user/615370768790158一、亮出效果最近一些软件的搜题、智能批改类的功能要下线。退1024步讲,要不要自己做一个自动批改的功能啊?万一哪天孩子要用呢!昨晚我做了一个梦,梦见我实现了这个功能,如下图所示:功能简介:作对了
Jack Cui
10
使用 LLM 设计「硅大脑」:Hopkins 团队利用 ChatGPT 自动描述尖峰神经元阵列
来源:ScienceAI本文约2000字,建议阅读5分钟大型语言模型(LLM)能够根据各种提示(包括代码生成)合成听起来合理的响应,因此受到了广泛的关注。约翰霍普金斯大学(Johns Hopkins University)的电气和计算机工程...
数据派THU
0
实现了一个自动批改小孩作业的功能,省心了!
亮出效果最近一些软件的搜题、智能批改类的功能要下线。退1024步讲,要不要自己做一个自动批改的功能啊?万一哪天孩子要用呢!昨晚我做了一个梦,梦见我实现了这个功能,如下图所示:功能简介作对了,能打对号;做错...
肉眼品世界
0