详解Batch Normalization及其反向传播

文章预览

点击上方 “ 小白学视觉 ”，选择加" 星标 "或“ 置顶 ” 重磅干货，第一时间送达 编者荐语   文章介绍了Batch Normalization的过程及其实现，它能帮助解决深度神经网络中输入不稳定的问题，并使得神经网络的梯度大小相对固定。 作者丨风行天上@知乎 链接丨https://zhuanlan.zhihu.com/p/45614576 1. Internal Covariate Shift 统计学习中的一个很重要的假设就是输入的分布是相对稳定的。如果这个假设不满足，则模型的收敛会很慢，甚至无法收敛。所以，对于一般的统计学习问题，在训练前将数据进行归一化或者白化（whitening）是一个很常用的trick。 但这个问题在深度神经网络中变得更加难以解决。在神经网络中，网络是分层的，可以把每一层视为一个单独的分类器，将一个网络看成分类器的串联。这就意味着，在训练过程中，随着某一层分类器的参数的改变，其输 ………………………………