线性回归：不能忽视的三个问题

文章预览

前言 线性回归是比较简单的机器学习算法，很多书籍介绍的第一种机器学习算法就是线性回归算法，笔者查阅的中文书籍都是给出线性回归的表达式，然后告诉你怎么求参数最优化，可能部分同学会忽视一些问题，至少笔者忽视了。因此，本文重点介绍了平常容易忽视的三类问题，（1）线性回归的理论依据是什么，（2）过拟合意味着什么。 （3）模型优化的方向 目录 1、线性回归的理论依据是什么 2、过拟合意味着什么 3、模型优化的方向 4、总结 线性回归的理论依据 泰勒公式 若函数 f(x)在包含x0的某个闭区间[a,b]上具有n阶导数，且在开区间(a,b)上具有(n+1)阶 导数 ，则对 闭区间 [a,b]上任意一点x，成立下式： 结论： 对于区间[a,b]上任意一点，函数值都可以用两个向量内积的表达式近似，其中 是基函数（basis function）， 是相应的系数。 高阶表达式 ………………………………