一文彻底搞懂深度学习 - 梯度消失和梯度爆炸

文章预览

在深度学习中， 梯度消失和梯度爆炸 是训练深层神经网络时常见的两大问题，它们会严重影响网络的训练过程和性能。 梯度消失，梯度趋零难更新；梯度爆炸，梯度过大不稳定。 为了解决这些问题，可以采取多种策略，包括 选择合适的激活函数 、 采用合适的权重初始化方法 、 引入批量归一化 、 使用残差连接 、 实施梯度裁剪以及使用更稳健的优化器 等。这些策略可以有效地提高模型的训练效率和性能，从而推动深度学习技术的进一步发展。 Vanishing Gradient  &   Exploding Gradient 一、梯度消失 什么是梯度消失（ Vanishing Gradient ） ？ 梯度消失是指在深层神经网络的反向传播过程中， 当网络通过链式法则计算梯度以更新权重时， 梯度值随着层数的增加而迅速减小，最终趋近于零 。这会导致靠近输入层的权重更新变得非常缓慢，甚至几乎不更新， ………………………………