【斯坦福博士论文】探索自监督学习中对比学习的理论基础

文章预览

来源：专知 本文 约1000字 ，建议阅读 5 分钟 本论文旨在在反映现实世界的较少限制假设下，对对比学习进行原则性的理论研究。 对比学习最近已成为一种强大的无监督表示学习方法，在多个领域取得了令人印象深刻的实证成功。尽管这些方法在实践中表现有效，但要全面理解它们的理论基础仍然是一个重大挑战。本论文旨在通过提供一个基于接近现实场景假设的原则性调查，弥合对比学习的实证成功与理论理解之间的鸿沟。我们引入了一个受谱图理论启发的新分析框架，证明了对比学习在隐式地对由数据分布定义的概念图上执行谱聚类。我们表明，对比学习所学习的表示与图的邻接矩阵的特征函数一致，从而为下游线性分类任务的性能提供了可证明的保证。我们扩展了这一框架，正式刻画了一个现象，即在对比学习表示上训练的线性分类器可以 ………………………………