TPAMI 2024 | 通过网络参数加法分解处理噪声标签

文章预览

Tackling Noisy Labels With Network Parameter Additive Decomposition 通过网络参数加法分解处理噪声标签 Jingyi Wang; Xiaobo Xia; Long Lan; Xinghao Wu; Jun Yu; Wenjing Yang; Bo Han; Tongliang Liu 摘要 在带有噪声标签的数据中，过参数化的深度网络容易过拟合错误标签的数据，导致泛化性能差。深度网络的记忆效应表明，尽管网络能够记忆所有的噪声数据，但它们会首先记忆干净的训练数据，然后逐渐记忆错误的训练数据。一种利用记忆效应来应对噪声标签的简单有效的方法是早停法。然而，早停法无法区分对干净数据和错误数据的记忆，导致网络在训练的早期阶段仍然不可避免地过拟合错误数据。本文中，为了解耦干净数据和错误数据的记忆，并进一步减少错误数据的负面影响，我们对网络参数进行了加性分解。即，所有参数被加性分解为两组，即参数 被分解为 。随后，参数 用 ………………………………