超参数调优算法与调度器详解：网格搜索、贝叶斯、Hyperband、PBT...

本文约3500字，建议阅读8分钟本文介绍了超参数指模型。超参数指的是模型参数（权重）之外的一些参数，比如深度学习模型训练时控制梯度下降速度的学习率，又比如决策树中分支的数量。超参数通常有两类：模型：神经网络的设计，比如多少层，卷积神经网络的核大小，决策树的分支数量等。训练和算法：学习率、批量大小等。以下内容可在我的电子书网站阅读，效果更佳：https://scale-py.godaai.org/ch-data-science/hyperparameter.html搜索算法确定这些超参数的方式是开启多个试验（Trial），每个试验测试超参数的某个值，根据模型训练结果的好坏来做选择，这个过程称为超参数调优。寻找最优超参数的过程这个过程可以手动进行，手动费时费力，效率低下，所以业界提出一些自动化的方法。常见的自动化的搜索方法有如下几种，下图展示了在二维搜索空间 ………………………………