对比学习在学啥？

文章预览

点击下方 卡片 ，关注“ CVer ”公众号 AI/CV重磅干货，第一时间送达 点击进入—> 【Mamba/多模态/扩散】交流群 添加微信号：CVer111，小助手会拉你进群！ 扫描下方二维码，加入CVer学术星球 ！ 可以获得最新顶会/顶刊上的论文idea 和 CV从入门到精通资料，及最前沿应用 ！发论文/搞科研/涨薪，强烈推荐！ 转载自：极市平台 ｜ 作者：袁 洋@知乎（已授权） 来源丨https://zhuanlan.zhihu.com/p/634466306 导读   在不使用任何假设的情况下，刻画出对比学习与谱聚类算法的等价关系。   对比学习是大模型的入门算法。它的想法很简单：对于输入 , 找一些它的正样本和负样本，希望在学习之后的网络特征空间中， 离正样本近一点，负样本远一点。 实际上，对比学习并非个例，预训练算法大多非常简单：要么是遮盖一部分数据内容让模型猜出来，要么是让模型不断预 ………………………………