最小二乘法的本质是什么？

文章预览

本文转自：深度学习与计算机视觉 作者：梨梨喵 https://www.zhihu.com/question/37031188/answer/70840126 最小二乘法的本质是最小化系数矩阵所张成的向量空间到观测向量的欧式误差距离. 最小二乘法的一种常见的描述是残差满足正态分布的最大似然估计 模型具有如下形式: 是基函数 残差满足正态分布 于是有: 对于N个独立的样本 与 独立 , 得到最大似然估: 得到最小欧式距离 , 即是最小二乘法 作者：Elliot Huang https://www.zhihu.com/question/37031188/answer/888897619 很好的回答了什么是最小二乘和为什么用最小二乘，但本质这个东西实在太玄妙了，我尝试从“法”的角度谈谈自己对最小二乘‘ 法’ 的认识。 假设我们需要预测每个省的在淘宝买东西花的钱 t 和该省平均房价 y 的关系，我们用数学符号表达下：  y = N(t) + e 这里的 N(t) 就是我们要找的数学模型，但是实际上我们 ………………………………