只懂线性回归？来看看贝叶斯回归和高斯过程回归

文章预览

作者丨Young Zicon@知乎， 转自丨极市平台 来源丨https://zhuanlan.zhihu.com/p/350389546 目录 一、线性回归 1.1 最小二乘估计的矩阵推导 1.2 最小二乘估计的概率视角 1.3 正则化最小二乘估计的矩阵推导 1.4 正则化最小二乘估计的概率视角 1.5 总结 二、贝叶斯线性回归 2.1 inference 2.2 prediction 三、高斯过程回归 3.1 高斯过程 3.2 权重空间角度看高斯过程回归 3.3 函数空间角度看高斯过程回归 3.4 高斯过程回归的补充说明 四、参考链接 注：本文仅做数学上的推导，具体python代码实现后续有空再补上。 先对数学符号作出如下的规定： 即  一行表示一个样本，一列表示一个特征。 一、线性回归 1.1 最小二乘估计的矩阵推导 设  ，则其最小二乘估计为： ，因此对  求导，有： 解 得 ： 伪 逆 最小二乘估计的几何含义为把  投影到数据矩阵  的 列 张成的空间上： 的列的线 ………………………………