KDD 2024 | 从几何的视角理解自监督学习中的冗余消除

文章预览

©PaperWeekly 原创 · 作者 | 张逸飞 单位 | 香港中文大学 研究方向 | 图数据挖掘 本文算是自己博士期间在 Self-supervised learning（SSL）方向上的又一次探索，作为一个 2020 年入学的 Ph.D., 见证了 SSL 由辉煌的时刻（SimCLR，BalowTwin，MoCo，MAE）逐渐转向了 LLM。这次的工作也为博士生涯划上一个圆满的记号了。 非常荣幸的是，在文章 online 的当天，我们这篇自监督学习的文章得到了来自 Balow Twin 作者的邮件（Yann LeCun 也是作者之一），在邮件中，Stephane 赞许了我们的贡献，并建议了一种基于我们方法的新自监督学方式，并邀请一起合作探讨。 Stephane 建议的这个形式，实际上与我的合作者 Hao Zhu 的发表在 NeurIPS 2022 文章基本一致，感兴趣的可以看这里： https://zhuanlan.zhihu.com/p/570195261 虽然方法一致，但是文章聚焦于图数据，这里不经感叹领域差距还是有点大， ………………………………