中国科学院团队用数学研究深度学习，助力理解神经网络深度的有效性

文章预览

深度学习的成功已经无需多言。一直以来，研究者们都尝试从数学角度去解释神经网络的有效性。然而，由于网络的结构可以看作是高维线性变换和逐元素的非线性变换（如 ReLU 激活函数）之间的多重复合，因此实际上并没有很好的数学工具去破解这样复杂的结构。 所以，对于神经网络的理论研究往往局限在诸如网络的逼近、优化、泛化以及其他观测到的现象等方面。 如果抛开理论的限制，一个无可争议的事实是：更宽、更深的网络总是有着更好的效果。小到几层的全连接网络、大到万亿规模的大模型，都一致性地保持着这样的规律。 那么，如何从理论上理解这样的事实？激活函数又在其中扮演什么样的角色？ 相比于宽度，对深度的研究更加具有挑战性，因为层数的增加还伴随着非线性函数的不断复合。 一个典型的问题是，当模型宽度固定的 ………………………………