《机器学习超参数优化》最新综述

主要观点总结

文章主要介绍了机器学习中超参数优化的重要性及其自动化搜索的必要性。文章涵盖了自动化超参数搜索的主要技术家族，包括随机和准随机搜索、强盗算法、基于模型和基于梯度的方法等。文章还讨论了扩展内容，包括与元学习和神经架构搜索等其他领域的联系，以及机器学习的最新进展在AlphaGo等实例中的应用。最后，文章强调了超参数优化（HPO）在机器学习中的作用，并呼吁研究人员发布所使用的HPO算法和考虑的超参数搜索空间。

关键观点总结

关键观点1: 超参数在机器学习中起着关键作用。

超参数决定了机器学习算法的行为和性能，对于训练模型的泛化能力和效果至关重要。

关键观点2: 自动化超参数搜索是机器学习自动化的重要步骤。

自动化搜索使得研究人员和实践者无需通过反复试验来寻找理想的超参数组合，提高了效率和效果。

关键观点3: 机器学习中存在多种超参数搜索技术。

这些技术包括随机和准随机搜索、强盗算法、基于模型和基于梯度的方法等。

关键观点4: 超参数优化（HPO）是机器学习中的重要主题。

可用的算法工具来自动化这一任务及其广泛采用将有助于机器学习研究人员以一种原则化的方式处理超参数，保证新的研究进展可以复现，为机器学习领域做出贡献。

文章预览

超参数是控制机器学习算法行为的配置变量。在机器学习和人工智能领域中，超参数无处不在，其值的选择决定了基于这些技术的系统的有效性。手动的超参数搜索往往无法令人满意，并且当超参数数量较多时变得不可行。自动化搜索是实现机器学习自动化的重要一步，使研究人员和实践者无需通过反复试验来寻找理想的超参数组合。 在本综述中，我们对超参数优化进行统一阐述，为读者提供当前技术前沿的示例和见解。我们涵盖了自动化超参数搜索的主要技术家族，通常称为超参数优化或调优，包括随机和准随机搜索、强盗算法、基于模型和基于梯度的方法 。我们还讨论了扩展内容，包括在线、约束和多目标的公式，触及了与元学习和神经架构搜索等其他领域的联系，并以开放问题和未来研究方向作为总结。 在过去十年中，机器学习已成为推 ………………………………