对比学习在学啥？

文章预览

大模型智能｜分享 来源 | 袁洋@知乎 对比学习是大模型的入门算法。它的想法很简单：对于输入 , 找一些它的正样本和负样本，希望在学习之后的网络特征空间中， 离正样本近一点，负样本远一点。 实际上，对比学习并非个例，预训练算法大多非常简单：要么是遮盖一部分数据内容让模型猜出来，要么是让模型不断预测一句话的下一个词是什么等等。因为这些算法过于简单，人们很难理解它们究竟如何创造出了强大的模型，所以往往会把大模型的成功归功于海量数据或巨大算力，把算法设计归为炼丹与悟性。 有没有更本质的方式，可以帮助我们理解对比学习？下面我给大家介绍一下我们最近的工作[1]，可以 在不使用任何假设的情况下 ，刻画出对比学习与谱聚类算法的 等价关系 。 01 呃……但这关我什么事？ 从理论的角度来看，对比学习与谱聚 ………………………………