5种神经网络常见的求导！

文章预览

作者丨Criss 来源丨机器学习与生成对抗网络 编辑丨极市平台 导读   本文总结了神经网络当中常见的5中求导，并附有详细的公式过程。 derivative of softmax 1.1 derivative of softmax 一般来说，分类模型的最后一层都是softmax层，假设我们有一个   分类问题，那对应的softmax层结构如下图所示（一般认为输出的结果   即为输入   属于第i类的概率）： 假设给定训练集   ，分类模型的 目标是最大化对数似然函数    ，即 通常来说，我们采取的优化方法都是gradient based的（e.g., SGD），也就是说，需要求解   。而我们只要求得   ，之后根据链式法则，就可以求得   ，因此我们的核心在于求解   ，即   由上式可知，我们只需要知道各个样本   的   ，即可通过求和求得   ，进而通过链式法则求得   。因此下面 省略样本下标j，仅讨论某个样本    。 实 ………………………………