深度学习代码调试有哪些技巧?
机器学习实验室
共 7849字,需浏览 16分钟
· 2020-08-20
原文丨https://zhuanlan.zhihu.com/p/158739701
前言
1、在分类问题中,损失函数及其快速得下降为0.0000
2、在正则化的过程中对神经网络的偏置也进行了正则
3、学习率太大导致不收敛
4、别在softmax层前面的输入施加了激活函数
5、检查原数据输入的值范围
6、别忘了对你的训练数据进行打乱
7、一个batch中,label不要全部相同
8、少用vanilla SGD优化器
9、检查各层梯度,对梯度爆炸进行截断
tf.clip_by_value(
t,
clip_value_min, # 指定截断最小值
clip_value_max, # 指定截断最大值
name=None
)
10、检查你的样本label
11、分类问题中的分类置信度问题
12、少在太小的批次中使用BatchNorm层
13、数值计算问题,出现Nan
14、BN层放置的位置问题
graph LR
weights --> BatchNorm
BatchNorm --> ReLU
graph LR
ReLU --> BatchNorm+dropout
BatchNorm+dropout --> weights
15、dropout层应用在卷积层中可能导致更差的性能
16、较小的batch size可以提供较好的泛化
17、初始化权值不能初始化为全0
18、别忘了你的偏置
19、验证准确率远大于测试准确率
20、KL散度出现负数
softmax
层的,才能保证概率和为1,不然可能会出现KL散度为负数的笑话。log_softmax
而目标值需要是softmax
值,也就说输入值需要进行对数操作后再转变为概率分布[27]。往期精彩:
喜欢您就点个在看!
评论
阿里的同事,写的代码真 TMD 优雅!
通过这篇文章你将了解到整洁的代码对项目、公司和你的重要性,以及如何书写整洁的代码.通过命名、类、函数、测试这四个章节,使我们的代码变得整洁.1、为什么要保持代码整洁?不整洁的代码随着时间的增加而增加时,生产力会随之降低.导致的结果就是:代码不易扩展或扩展容易引发其他问题程序崩溃加班增加公司成本(加人
Java专栏
1
轻松掌握开源项目的二次开发技巧
大厂技术 高级前端 Node进阶点击上方 程序员成长指北,关注公众号回复1,加入高级Node交流群本文作者:@方长_beezen 原文链接:https://juejin.cn/post/7358647992608489535前言随着软件行业的迅速
程序员成长指北
0
科普:深度学习训练,不同预算GPU选购指南
以下文章来源于微信公众号:DeepHub IMBA作者:Mike Clayton本文仅用于学术分享,如有侵权,请联系后台作删文处理导读购买显卡第一个要考虑的问题是什么?当然是预算。本文提供了不同预算的显卡选购指南,希望能对各位读者有所帮助。在进行机器学习项目时,特别是在处理深度学习和神经网络时,最好
机器学习初学者
0
【深度学习】人人都能看懂的LSTM
熟悉深度学习的朋友知道,LSTM是一种RNN模型,可以方便地处理时间序列数据,在NLP等领域有广泛应用。在看了台大李宏毅教授的深度学习视频后,特别是介绍的第一部分RNN以及LSTM,整个人醍醐灌顶。本文就是对视频的记录加上了一些个人的思考。0. 从RNN说起循环神经网络(Recurrent Neur
机器学习初学者
0
老爸嘲讽我了,写破代码一年就挣十几万,他在工地带50个工人,一个月光人头费就3万,让我滚回去跟他干!
点击上方 "大数据肌肉猿"关注, 星标一起成长点击下方链接,进入高质量学习交流群今日更新| 1052个转型案例分享-大数据交流群来自:网络,侵删有个网友的父亲是做工程的,天天就嘲笑他,说他天天写着破代码有啥用,一年就拿个十多万的死工资,然后告诉他自己在工地里面带了50个工人,一个月能抽三万
程序源代码
0
Python加速运行技巧
Python 是一种脚本语言,相比 C/C++ 这样的编译语言,在效率和性能方面存在一些不足。但是,有很多时候,Python 的效率并没有想象中的那么夸张。本文对一些 Python 代码加速运行的技巧进行整理。 0. 代码优化原则 本文会介绍不少的 Python 代码加速运行的技巧。在深入代码优化细
机器学习算法与Python实战
0
中国人民大学《大语言模型》书籍中文版开放下载!还配套代码工具库~
大语言模型综述文章《A Survey of Large Language Models》团队终于出书啦!而且是中文版——《大语言模型》!这本书整理呈现了大模型技术框架和路线图,是一本非常好的入门书籍。🧿🧿🧿
此外,官方不仅发布了电子版 PDF 下载链接,还提供了配套资源。点赞 👍图书下载 → [大
机器学习算法与Python实战
0
15种时间序列预测方法总结(包含多种方法代码实现)
向AI转型的程序员都关注了这个号👇👇👇在这篇文章中,我们将深入探讨时间序列预测的基本概念和方法。我们将首先介绍单元预测和多元预测的概念,然后详细介绍各种深度学习和传统机器学习方法如何应用于时间序列预测,包括循环神经网络(RNN)、一维卷积神经网络(1D-CNN)、Transformer、自回归模型(
机器学习AI算法工程
0