【MIT博士论文】大规模机器学习算法：效率、估计误差及其拓展

文章预览

优化算法是机器学习和统计推断的基石。随着大规模数据集的出现，计算挑战日益增加，迫使人们追求更高效的算法。现代优化技术通常针对特定的机器学习问题进行定制，这些方法利用问题的独特结构特征，使其比当前应用于这些问题的方法效率更高。另一个关键方面是理解所得到估计量的估计精度。在某些情况下，尽管在训练集上实现精确优化可能不切实际，但某些简单而有效的启发式方法在适当的统计框架内可以表现出令人赞叹的估计精度。 在本文中，我们从优化和统计的角度研究了几种大规模算法。第2章和第3章研究了两种针对结构约束的连续优化算法。第2章集中讨论了具有圆柱形约束的无界约束的一种广义Frank-Wolfe方法。第3章则研究了具有少量极点的多面体约束的类似坐标下降（CD）方法。这两种方法由于对问题结构的敏感性而表现出 ………………………………