神经网络 debug 太难了,这里有六个实用技巧
程序员大白
共 1920字,需浏览 4分钟
·
2021-06-22 17:09
点击上方“程序员大白”,选择“星标”公众号
重磅干货,第一时间送达
数值计算每个权重的梯度。这通常被称为「梯度检查」,有助于确保正确计算梯度,其中一种方法是使用有限差分。
比较每个权重的大小和梯度的大小。要确保大小的比率是合理的。如果梯度大小远小于权重大小,网络将花费很长时间进行训练。如果梯度大小与权重大小大致相同或更大,网络将非常不稳定,可能根本不会训练。
检查梯度爆炸或消失。如果梯度变为 0 或 nan/infinity,则可以确定网络没有被正确训练。需要首先弄清楚为什么会发生爆炸 / 消失梯度,是否步数太大。一旦弄清楚梯度爆炸 / 消失的原因,就有各种解决方案来解决这个问题,例如添加残差连接以更好地传播梯度或简单地使用较小的网络。
激活函数也会导致梯度爆炸 / 消失。如果 sigmoid 激活函数的输入太大,梯度将非常接近 0。随着时间的推移检查激活函数的输入,然后确保这些输入不会导致梯度始终为 0 或很大。
推荐阅读
关于程序员大白
程序员大白是一群哈工大,东北大学,西湖大学和上海交通大学的硕士博士运营维护的号,大家乐于分享高质量文章,喜欢总结知识,欢迎关注[程序员大白],大家一起学习进步!
推荐阅读
关于程序员大白
程序员大白是一群哈工大,东北大学,西湖大学和上海交通大学的硕士博士运营维护的号,大家乐于分享高质量文章,喜欢总结知识,欢迎关注[程序员大白],大家一起学习进步!
评论