【深度学习】为什么 Batch Normalization 那么有用？

文章预览

How Does Batch Normalization Help Optimization? 链接： https://arxiv.org/abs/1805.11604 一篇阅读笔记。文章很好，通过对比实验帮助我们理解why BN work！ 先上结论，再做分析： 没有证据表明BN的work，是因为减少了 ICS（Interval Covariate Shift） 。 BN work的根本原因，是因为在网络的训练阶段，其能够让优化空间（ optimization landscape ）变的平滑。 其他的normalization技术也能够像BN那样对于网络的训练起到作用。      一、BN和ICS的关系   在文章Batch Normalization:Accelerating Deep Network Training by Reducing Internal Covariate Shift中，其对与ICS是这样解释的：由于前一层的参数更新，所以这一层的输入（前一层的输出）的分布会发生变化，这种现象被称之为ICS。同样，这篇文章的观点认为BN work的真正原因，在与其将数据的分布都归一化到均值为0，方差为1的分布上去。因此，每一层的输入（ ………………………………