2024-19 反向传播，控制论和约束优化

文章预览

今天我们聊一篇老文章：Yann le Cun在1988年还在Hinton的组里做博后的时候发表的"A Theoretical Framework for Back-Propagation"。聊这篇文章的一个起因是最近发现不少朋友只把反向传播算法当做一种高效的用于神经网络训练的算法，没有意识到它背后隐藏的“ 秘密 ”。 反向传播是计算图上的链式法则 在开始讨论论文内容之前，我们先总结一下关于反向传播的常识： 神经网络的参数优化(又称训练)基于梯度下降算法进行，反向传播算法的作用是使得大规模参数的梯度计算变的极其高效。 反向传播算法利用了神经网络由层构成的计算图，在早期卷积神经网络中，这个计算图就是一条“链”，当然在有了Inception, CrossAttention，MoE等等结构之后神经网络的计算图真的变成了复杂的图(严格的说是有向无环图 DAG)。 正向传播和反向传播构成了神经网络计算的两部分，各 ………………………………