对比学习到底在学啥？

文章预览

作者 | 袁洋  编辑 | 自动驾驶之心 原文链接：https://zhuanlan.zhihu.com/p/634466306 点击下方 卡片 ，关注“ 自动驾驶之心 ”公众号 戳我-> 领取 自动驾驶近15个 方向 学习 路线 >> 点击进入→ 自动驾驶之心 『 计算机视觉 』 技术交流群 本文只做学术分享，如有侵权，联系删文 导读   在不使用任何假设的情况下，刻画出对比学习与谱聚类算法的等价关系。 对比学习是大模型的入门算法。它的想法很简单：对于输入 , 找一些它的正样本和负样本，希望在学习之后的网络特征空间中， 离正样本近一点，负样本远一点。 实际上，对比学习并非个例，预训练算法大多非常简单：要么是遮盖一部分数据内容让模型猜出来，要么是让模型不断预测一句话的下一个词是什么等等。因为这些算法过于简单，人们很难理解它们究竟如何创造出了强大的模型，所以往往会 ………………………………