文章预览
-- 关注 、 星标 「 智驾最前沿」 、回复“ SOA ”-- ↓↓ 免费 领取:面向智能车辆开发的开放性SOA方案↓↓ La yer Normalization“层归一化”到底是个啥,没了可不可以? 这是一种神经网络中常用的技术,它通常应用于每个网络层的输出或者激活值。用于在训练过程中对每一层的输入进行归一化处理,就可以确保每一层的输入都具有相似的分布,每个卷积层的输出会被归一化,然后再传递给下一层,以有助于网络学习和稳定训练。 可以用一个简单的卷积神经网络(CNN)来说明层归一化在图像处理中的作用。如果是无层归一化的网络的情况下,每一层的输入可能具有不同的分布,这样再做梯度传递及下降过程中,就会因为不同的分布导致每层更新的模型权值差别较大,此时,模型就会发散。这就是我们经常碰到的梯度爆炸。另外一方面,当网络较深时
………………………………