【CMU博士论文】适应结构与利用结构进行适应：探索现代深度学习成功的原因

文章预览

本论文研究了深度学习的显著成功。它提出了一种观点：与其开发黑箱式的泛化界限，更有成效的理解现代深度学习成功的方法，是通过神经网络在特定领域中灵活性与结构之间的精巧互动。在这些领域中，我们可以通过以下两个方面来理解现代深度学习： (1) 适应数据中的结构，(2) 利用其结构（如架构、预训练初始化等）进行适应。我们通过理论和实证相结合的方式建立这一观点。 我们首先审视传统的学习理论工具：泛化界限。具体而言，我们研究了算法稳定性作为解释梯度下降在过参数化神经网络中表现的可能框架。我们提供了实证证据，表明均匀稳定性并未以足够强度出现，因此无法解释神经网络的泛化表现。 接着，与其关注如何驯服深度学习的灵活性，我们将深度学习的灵活性重新定义为在结构足够时能够进行有效适应的强大能力。论 ………………………………