【MIT博士论文】稀疏和低秩矩阵优化在机器学习应用中的进展

文章预览

在运筹学、机器学习和统计学的众多基础问题中，自然形成了基数或秩约束的优化问题。稀疏解因其可解释性和存储优势而受到青睐。此外，在机器学习背景下，稀疏解不仅能提高模型的泛化能力，还具有在高维数据集中进行特征提取的自然解释。另一方面，由于矩阵的秩等同于其奇异值向量的基数，因此秩可以视为矩阵稀疏性的推广。因此，低秩解继承了稀疏解的相似特性，同时具备极高的建模灵活性。不幸的是，对基数和秩约束的优化通常是非凸的，并且在一般情况下属于NP-难问题，因此在很大程度上依赖于凸松弛和启发式方法，这些方法会产生次优解。 本论文推动了稀疏和低秩矩阵优化理论和应用的发展，聚焦于统计学和机器学习中出现的相关问题。我们利用混合整数和混合投影优化中的技术，开发了适用于基数和秩约束问题的算法方法。 ………………………………