从浅层模型到深度模型：概览机器学习优化算法

文章预览

选自arxiv 机器之心编译 参与：乾树、蒋思源 学习算法一直以来是机器学习能根据数据学到知识的核心技术。而好的优化算法可以大大提高学习速度，加快算法的收敛速度和效果。该论文从浅层模型到深度模型纵览监督学习中常用的优化算法，并指出了每一种优化算法的优点及局限性，同时其还包括了一阶和二阶等各种算法的形式化表达。机器之心主要对本论文选择性地编译了优化算法的部分，更详细的推导及介绍请查看原论文。 论文链接：https://arxiv.org/abs/1706.10207 摘要：本篇论文旨在介绍关于将最优化方法应用于机器学习的关键模型、算法、以及一些开放性问题。这篇论文是写给有一定知识储备的读者，尤其是那些熟悉基础优化算法但是不了解机器学习的读者 ………………………………