神经网络泛化能力研究！

文章预览

论文标题: Feature Contamination: Neural Networks Learn Uncorrelated Features and Fail to Generalize 机构: Department of Automation, Tsinghua University, Beijing, China LSBDPA Beijing Key Laboratory, Beijing, China 理论背景与研究动机 1. 神经网络的OOD泛化难题 在机器学习系统的部署中，对分布偏移的泛化能力至关重要。然而，尽管深度神经网络结合经验风险最小化（ERM）原则在分布内（ID）泛化表现出色，但它们在分布外（OOD）泛化方面却常常失败。这种失败主要是由于数据变化导致的分布偏移，这些变化在训练数据中没有得到很好的覆盖。例如，预训练模型在测试分布与预训练分布不同时也会表现出性能下降。 2. 现有方法的局限性 近年来，虽然开发了许多旨在提升OOD泛化的算法，但许多算法的有效性仍然受到质疑。例如，一些研究表明，在公平的比较下，没有一种测试算法能显著优于ERM。 ………………………………