梯度下降是门手艺活

文章预览

作者丨冯超@知乎 来源丨https://zhuanlan.zhihu.com/p/21486804 编辑丨极市平台 本文收录在无痛的机器学习第一季（ https://zhuanlan.zhihu.com/p/22464594 ）。 机器学习所涉及的内容实在是太多了，于是我决定挑个软柿子捏起，从最基础的一个优化算法开始聊起。这个算法就是梯度下降法，英文Gradient Descent。 什么是梯度下降法 作为大众耳熟能详的优化算法，梯度下降法受到的关注不要太多。梯度下降法极易理解，但凡学过一点数学的童鞋都知道，梯度方向表示了函数增长速度最快的方向，那么和它相反的方向就是函数减少速度最快的方向了。对于机器学习模型优化的问题，当我们需要求解最小值的时候，朝着梯度下降的方向走，就能找到最优值了。 那么具体来说梯度下降的算法怎么实现呢？我们先来一个最简单的梯度下降算法，最简单的梯度下降算法由两个函数 ………………………………