Hessian矩阵与协方差矩阵

文章预览

背景知识 极大似然估计 (MLE): 这种方法用于通过最大化似然函数来估计模型参数。 从结果逆着估计参数。 Hessian矩阵: 这是一个包含所有二阶偏导数的方阵，用于描述函数的曲率。  欢迎加入自动驾驶实战群 关系和近似过程 考虑一个参数为 θ的模型，它的似然函数为 L(θ)。我们通常对其取对数，得到对数似然函数 ℓ(θ)=logL(θ) 在极大似然估计中，我们希望找到使对数似然函数 ℓ(θ)最大的 θ。在此基础上，可以使用二阶泰勒展开。 二阶泰勒展开: 把 ℓ(θ) 在 θ 处做二阶泰勒展开： ℓ(θ)≈ℓ(θ^)+12(θ−θ^)HT(θ^)(θ−θ^) 其中，H(θ) 是对数似然函数在 θ^ 处的 Hessian 矩阵。 Hessian矩阵的负号: 通常取负的Hessian矩阵，即 H=−∇2ℓ(θ)H=−∇2ℓ(θ)，代表了凸函数的曲率。 Fisher信息矩阵: 在大样本情况下，负的Hessian矩阵与Fisher信息矩阵近似相等。 I(θ) 定义 ………………………………