神经网络debug太难了，这里有六个实用技巧

机器之心报道编辑：Liyuan、蛋酱神经网络的 debug 过程着实不容易，这里是一些有所帮助的 tips。基于神经网络的项目瓶颈通常并非对网络的实现。有时候，在编写了所有代码并尝试了一大堆超参数配置之后，网络就是无法正常工作。尤其是面对着数百万的参数, 任何一个小变动都有可能前功尽弃。在面对各种各样的问题后，有人总结了一些帮助调试神经网络的实用 tips，希望能够减少大家调试神经网络的成本。检查梯度问题有时梯度是引发问题的原因。下面是几种与梯度相关的调试方法：数值计算每个权重的梯度。这通常被称为「梯度检查」，有助于确保正确计算梯度，其中一种方法是使用有限差分。 比较每个权重的大小和梯度的大小。要确保大小的比率是合理的。如 ………………………………