对比学习在学啥？

文章预览

作者丨袁洋@知乎 来源丨https://zhuanlan.zhihu.com/p/634466306 编辑丨极市平台 导读   在不使用任何假设的情况下，刻画出对比学习与谱聚类算法的等价关系。 对比学习是大模型的入门算法。它的想法很简单：对于输入 , 找一些它的正样本和负样本，希望在学习之后的网络特征空间中， 离正样本近一点，负样本远一点。 实际上，对比学习并非个例，预训练算法大多非常简单：要么是遮盖一部分数据内容让模型猜出来，要么是让模型不断预测一句话的下一个词是什么等等。因为这些算法过于简单，人们很难理解它们究竟如何创造出了强大的模型，所以往往会把大模型的成功归功于海量数据或巨大算力，把算法设计归为炼丹与悟性。 有没有更本质的方式，可以帮助我们理解对比学习？下面我给大家介绍一下我们最近的工作[1]，可以 在不使用任何假设的情况 ………………………………