主成分分析（PCA）原理总结

文章预览

主成分分析（Principal components analysis，以下简称PCA）是最常用的降维方法之一，在数据压缩和消除冗余方面具有广泛的应用，本文由浅入深的对其降维原理进行了详细总结。 目录 1.向量投影和矩阵投影的含义 2. 向量降维和矩阵降维的含义 3. 基向量选择算法 4. 基向量个数的确定 5. 中心化的作用 6. PCA算法流程 7. PCA算法总结 1. 向量投影和矩阵投影的含义 如下图： 向量a在向量b的投影为： 其中，θ是向量间的夹角 。 向量a在向量b的投影表示向量a在向量b方向的信息，若θ=90°时，向量a与向量b正交，向量a无向量b信息，即向量间无冗余信息 。因此， 向量最简单的表示方法是用基向量表示 ，如下图： 向量表示方法： 其中，c1是 在e1方向的投影，c2是 在e2方向的投影，e1和e2是基向量 我们用向量的表示方法扩展到矩阵 ，若矩阵 的 秩r(A)=n ， ，其中ai（i=1,2, ………………………………