机器学习与优化基础（Machine Learning and Optimization）

文章预览

点击上方 “ 小白学视觉 ”，选择加" 星标 "或“ 置顶 ” 重磅干货，第一时间送达 作者丨养生的控制人@知乎（已授权） 来源丨https://zhuanlan.zhihu.com/p/169835477 编辑丨极市平台 极市导读   一文详解机器学习中的优化算法。 机器学习与优化 引用大佬Pedro Domingos的说法：机器学习其实就是由 模型的表示，优化和模型评估 三部分组成。将一个实际问题转化为待求解的模型，利用优化算法求解模型，利用验证或测试数据评估模型，循环这三个步骤直到得到满意的模型。 因此，优化算法在机器学习中起着一个承上启下的作用！ 一般机器学习中涉及的优化命题可以表示为： 比如: 最小二乘回归 岭回归 LASSO: 支持向量机 正则化逻辑斯蒂回归 还有等等等等机器学习算法也是类似的。 优化算法基础 优化算法的阶次 所谓优化算法的阶次其实指的是优化过程利用的 ………………………………