为什么 Batch Normalization 那么有用？

文章预览

点击上方 “ 小白学视觉 ”，选择加" 星标 "或“ 置顶 ” 重磅干货，第一时间送达 本文是arxiv文章 How Does Batch Normalization Help Optimization? 链接： https://arxiv.org/abs/1805.11604 的一篇阅读笔记。文章很好，通过对比实验帮助我们理解why BN work！ 先上结论，再做分析： 没有证据表明BN的work，是因为减少了 ICS（Interval Covariate Shift） 。 BN work的根本原因，是因为在网络的训练阶段，其能够让优化空间（ optimization landscape ）变的平滑。 其他的normalization技术也能够像BN那样对于网络的训练起到作用。      一、BN和ICS的关系   在文章Batch Normalization:Accelerating Deep Network Training by Reducing Internal Covariate Shift中，其对与ICS是这样解释的：由于前一层的参数更新，所以这一层的输入（前一层的输出）的分布会发生变化，这种现象被称之为ICS。同样，这篇文章的观点认为BN wor ………………………………