ICML 2024 | 特征污染：神经网络会学习不相关特征而泛化失败

文章预览

随着以 GPT 为代表的大模型在近年来取得的巨大成功，深度神经网络 + SGD + scaling 的机器学习范式再次证明了其在 AI 领域的主导地位。 目前学界的相关研究大多还停留在“解释”模型已经学到的特征的层面，而很难通过对于其学习过程的“干预”来得到更加数据高效、泛化性更强的模型。 本文作者发现非线性神经网络在学习任务相关的特征时还会同时有学习 任务不相关 特征的倾向。因此，本文将从理论上 证明，特征污染即使在简单的两层 ReLU 网络中都会出现，并且和神经网络中 神经元激活的类别不对称性 息息相关；并通过实验表明特征污染在 ResNet、Vision transformer 等深层网络中也同样存在，并且会对其泛化性产生不利影响。 论文标题： Feature Contamination: Neural Networks Learn Uncorrelated Features and Fail to Generalize 论文链接： https://arxiv.org/pdf/2406.03345 代 ………………………………