【博士论文】理解特征学习中的训练与适应：从两层网络到基础模型

文章预览

深度神经网络在人工智能的各个领域取得了显著的成功。 它们成功的关键因素之一是能够从数据中学习有效的特征表示，这使得它们与传统机器学习方法有所区别。本论文探讨了特征学习在神经网络训练过程中如何出现，并展示了它在基础模型适应下游应用中的关键作用。 首先，我们从理论上阐述了特征学习在神经网络中的出现。我们证明了神经网络在训练的早期阶段可以高效地学习与类别相关的模式，且只需使用最小的参数，从而避免了影响传统方法的维度灾难。我们的分析表明，这种能力源于网络利用输入数据固有结构的能力。我们开发了一个统一的分析框架，适用于通过梯度下降训练的两层网络，表征了特征学习如何超越核方法发生。我们将研究扩展到 Transformer 架构，分析了单层 Transformer 中的傅里叶特征，并揭示了模型规模与上下文学习 ………………………………