[自动调参]深度学习模型的超参数自动化调优详解

文章预览

向AI转型的程序员都关注了这个号 👇👇👇 机器学习AI算法工程  公众号： datayx 构建深度学习模型时，你必须做出许多看似随意的决定:应该堆叠多少层?每层应该 包含多少个单元或过滤器?激活应该使用 relu 还是其他函数?在某一层之后是否应该使用 BatchNormalization ?应该使用多大的 dropout 比率?还有很多。这些在架构层面的参数叫 作超参数(hyperparameter)，以便将其与模型参数区分开来，后者通过反向传播进行训练。 在实践中，经验丰富的机器学习工程师和研究人员会培养出直觉，能够判断上述选择哪些 可行、哪些不可行。也就是说，他们学会了调节超参数的技巧。但是调节超参数并没有正式成 文的规则。如果你想要在某项任务上达到最佳性能，那么就不能满足于一个 ………………………………