视频讲解|为什么神经网络参数不能全部初始化为全0

文章预览

为什么神经网络参数不能全部初始化为全0 自解说，6分钟左右。 如有wifi请务必听着自解说观看~（流量较多，务必WiFi~） 最近试了一个小实验，发现当神经网络参数全部初始化为全0的时候 （这样最省力嘛） ，效果并不好，后来和请教了ybb并且网上查阅了一些资料，记录一下自己的笔记和总结，欢迎大家指错交流~ 还是原来的写作风格，通过一个具体例子，在讲例子的过程中，通俗解释要讲的知识点。见下！ 假设我们现在需要初始化的神经网络如下所示： 我们初始化权值为 其中W1代表 输入层到隐藏层 的权值矩阵，W2代表 隐藏层到输出层 的权值矩阵。 假设网络的输入为[x1,x2,x3]，然后通过网络的正向传播，可以得出： 由于 我们可以知道: 从上面可以知道，此时 ………………………………