【深度学习】终于学会调参了！！你有哪些deep learning（rnn、cnn）调参的经验？

前两天在B站直播讲课的时候，谈到初始化模型，一般来说会做两个事情，第一个是要选定模型架构，第二个是学会初始化参数。

对于参数这一块，主要是两个，第一个是模型自带的参数，第二个是我们的超参数。

模型自带的参数在初始化的时候方式有很多，这个先不谈。超参数的调整一般就是炼丹师口中的调参。

比如说bs，lr，每层节点数，正负样本比例等等，这些其实都属于超参数。

说起调参，其实很多人都会比较头疼，因为这个东西比较吃经验。

之前在知乎收藏了一个问题「你有哪些deep learning（rnn、cnn）调参的经验？」，下面的回答还是挺好的，地址在这里，大家可以去看一下。

地址：https://www.zhihu.com/question/41631631/answer/2859869318

除了这个之外呢，也推荐一份谷歌大脑刚出炉的深度学习调参手册，沉淀了他们在深度学习领域的多年“踩坑”经验。这个项目也得到了“深度学习之父” Geoffrey Hinton 的盛赞。

我记得我在B站录制这个仓库解读视频的时候应该是9K，现在去看了下已经14K星标了，增速实在是太快了。

它主要分为四个部分。

第一部分这里，关于如何开始一个新的项目。

这个部分就是你在开始做一个项目的时候需要优先考虑什么，包括如何选择模型架构，优化器，如何确定bs大小，以及参数初始化需要注意什么问题。

第二个部分，也就是这里，是关于一些改善模型性能的科学方法，比如增量调整策略，你的实验一定是一步步进行迭代的，也就是你的配置需要从简单到复杂，每一轮实验都应该有一个明确的目标等等，还比如如何去选择激活函数和学习率，这一个部分描述的是非常细致的，能看出来都是一些非常好的实战经验。

第三个部分确定每次训练的步骤数，这里其实主要聊的是一个最大训练步数的优化问题。

第四个部分是一些除了前面三个部分一些剩余的经验，比如说如何去评估模型性能，如何选择模型检查点，以及关于Batch normalization 一些实验细节等等。

地址在这里：https://github.com/google-research/tuning_playbook

往期精彩回顾




适合初学者入门人工智能的路线及资料下载
(图文+视频)机器学习入门系列下载
机器学习及深度学习笔记等资料打印
《统计学习方法》的代码复现专辑
机器学习交流qq群955171419，加入微信群请扫码