Yann LeCun 最新无监督算法URLOST

文章预览

URLOST: Unsupervised Representation Learning without Stationarity or Topology https://arxiv.org/pdf/2310.04496 摘要： 无监督表示学习取得了巨大进步，但受到其对数据模态特定的 平稳性和拓扑结构的依赖的限制，这是生物智能系统中没有的限制。 例如，人类视觉处理来自不规则和非平稳采样格的视觉信号，并准确地感知世界的几何形状。我们引入了一种新颖的框架，可以 从缺乏平稳性和拓扑的高维数据中学习。我们的模型结合了可学习的自组织层、密度调整谱聚类和屏蔽自动编码器 。我们评估其对模拟生物视觉数据、初级视觉皮层的神经记录和基因表达数据集的有效性。与 SimCLR 和 MAE 等最先进的无监督学习方法相比，我们的模型擅长跨不同模式学习有意义的表示，而不依赖于平稳性或拓扑。它还优于不依赖于这些因素的其他方法，在该领域树立了新的基准。这项工作 ………………………………