科学家揭示深度神经网络的线性性质，助力催生更优的模型融合算法

文章预览

近年来，尽管深度学习取得了巨大成功，但是人们对其理论的理解仍然滞后。 正因此，尝试从理论角度解释深度学习的损失函数和优化过程的研究课题，受到了较多关注。 虽然在深度学习中使用的损失函数，通常被视为高维复杂黑盒函数，但是人们相信这些函数特别是在实际训练轨迹中遇到的部分，包含着复杂的良性结构，能够有效促进基于梯度的优化过程。 就像许多其他科学学科一样，构建深度学习理论的关键一步，在于理解从实验中发现的不平凡现象，从而阐明其潜在的机制。 最近，领域内学者发现了一个引人注目的现象——Mode Connectivity。 即通过两次独立梯度优化得到的不同最优点，在参数空间中可以通过简单的路径相连，而路径上的损失或准确率几乎保持恒定。 这一现象毫无疑问是令人惊讶的，因为非凸函数的不同最优点，很可能位 ………………………………