5种神经网络常见的求导！

主要观点总结

本文总结了神经网络中常见的5种求导方法，包括softmax、sigmoid、CNN、RNN和max pooling的导数求解，并附有详细的公式过程。文章介绍了这些求导方法在神经网络训练中的应用，以及如何通过backpropagation求解gradient。

关键观点总结

关键观点1: 神经网络中的求导方法

文章介绍了在神经网络中常见的5种求导方法，包括softmax、sigmoid、CNN、RNN和max pooling的导数求解，并详细阐述了它们的公式过程和在神经网络训练中的应用。

关键观点2: Backpropagation方法

Backpropagation是一种求解gradient的方法，在训练神经网络时，我们需要loss function对各参数的gradient，backpropagation就是根据链式法则求解gradient的一种方法。

关键观点3: 神经网络的正向和反向计算

在神经网络训练中，先进行正向计算得到神经网络的输出，然后根据链式法则进行反向计算，求得各层的gradient。

文章预览

作者丨Criss 来源丨机器学习与生成对抗网络 编辑丨极市平台 导读   本文总结了神经网络当中常见的5中求导，并附有详细的公式过程。 derivative of softmax 1.1 derivative of softmax 一般来说，分类模型的最后一层都是softmax层，假设我们有一个   分类问题，那对应的softmax层结构如下图所示（一般认为输出的结果   即为输入   属于第i类的概率）： 假设给定训练集   ，分类模型的 目标是最大化对数似然函数    ，即 通常来说，我们采取的优化方法都是gradient based的（e.g., SGD），也就是说，需要求解   。而我们只要求得   ，之后根据链式法则，就可以求得   ，因此我们的核心在于求解   ，即   由上式可知，我们只需要知道各个样本   的   ，即可通过求和求得   ，进而通过链式法则求得   。因此下面 省略样本下标j，仅讨论某个样本    。 实 ………………………………