对比学习到底在学啥？

主要观点总结

本文介绍了对比学习与谱聚类算法的等价关系，通过一种新的视角来理解大模型。文章首先介绍了对比学习的概念和SimCLR算法，然后阐述了理想空间的概念和如何通过神经网络计算理想空间。接着，文章通过子图采样的方法解释了对比学习的损失函数，并指出其与谱聚类的关系。最后，文章还介绍了CLIP算法与SimCLR的区别和联系，并总结了整个文章的主要观点。

关键观点总结

关键观点1: 对比学习与谱聚类的等价关系

本文最重要的观点是揭示了对比学习与谱聚类之间的等价关系。通过新的理论框架，对预训练模型的理解提供了更深入的角度。

关键观点2: SimCLR算法的分析

文章详细分析了SimCLR算法的工作原理，包括其损失函数的构成和如何优化理想空间。

关键观点3: 子图采样的方法

文章提出了一种通过子图采样的方法来解释对比学习的损失函数，并证明了这种方法与谱聚类的联系。

关键观点4: CLIP算法的介绍与对比

文章还介绍了CLIP算法，并与SimCLR进行了对比，指出CLIP的本质是在二分图上做谱聚类。

文章预览

作者 | 袁洋  编辑 | 自动驾驶之心 原文链接：https://zhuanlan.zhihu.com/p/634466306 点击下方 卡片 ，关注“ 自动驾驶之心 ”公众号 戳我-> 领取 自动驾驶近15个 方向 学习 路线 >> 点击进入→ 自动驾驶之心 『 计算机视觉 』 技术交流群 本文只做学术分享，如有侵权，联系删文 导读   在不使用任何假设的情况下，刻画出对比学习与谱聚类算法的等价关系。 对比学习是大模型的入门算法。它的想法很简单：对于输入 , 找一些它的正样本和负样本，希望在学习之后的网络特征空间中， 离正样本近一点，负样本远一点。 实际上，对比学习并非个例，预训练算法大多非常简单：要么是遮盖一部分数据内容让模型猜出来，要么是让模型不断预测一句话的下一个词是什么等等。因为这些算法过于简单，人们很难理解它们究竟如何创造出了强大的模型，所以往往会 ………………………………