Batch Normalization原理与实战

文章预览

编者荐语   文章主要来从理论与实战视角对深度学习中的 Batch Normalization 的思路进行讲解、归纳和总结，并辅以代码让小伙伴儿们对 Batch Normalization 的作用有更加直观的了解。 作者丨天雨粟@知乎 链接丨https://zhuanlan.zhihu.com/p/34879333 前言 本文主要分为两大部分。 第一部分是理论板块 ，主要从背景、算法、效果等角度对Batch Normalization进行详解； 第二部分是实战板块 ，主要以MNIST数据集作为整个代码测试的数据，通过比较加入Batch Normalization前后网络的性能来让大家对Batch Normalization的作用与效果有更加直观的感知。 （一）理论板块 理论板块将从以下四个方面对Batch Normalization进行详解： 提出背景 BN算法思想 测试阶段如何使用BN BN的优势 理论部分主要参考2015年Google的Sergey Ioffe与Christian Szegedy的论文内容，并辅以吴恩达Coursera课程与其它博主的资料。 ………………………………