【斯坦福博士论文】探索自监督学习中对比学习的理论基础

文章预览

对比学习最近已成为一种强大的无监督表示学习方法，在多个领域取得了令人印象深刻的实证成功。尽管这些方法在实践中表现有效，但要全面理解它们的理论基础仍然是一个重大挑战。本论文旨在通过提供一个基于接近现实场景假设的原则性调查，弥合对比学习的实证成功与理论理解之间的鸿沟。我们引入了一个受谱图理论启发的新分析框架，证明了对比学习在隐式地对由数据分布定义的概念图上执行谱聚类。我们表明，对比学习所学习的表示与图的邻接矩阵的特征函数一致，从而为下游线性分类任务的性能提供了可证明的保证。我们扩展了这一框架，正式刻画了一个现象，即在对比学习表示上训练的线性分类器可以成功地跨领域迁移。此外，我们还正式刻画了模型架构的归纳偏置如何导致表示在不同下游任务中的性能差异。 高质量的数据表示 ………………………………