奇异值分解（SVD）原理总结

文章预览

前言 奇异值分解（SVD）在降维，数据压缩，推荐系统等有广泛的应用，任何矩阵都可以进行奇异值分解，本文通过正交变换不改变基向量间的夹角循序渐进的推导SVD算法，以及用协方差含义去理解行降维和列降维，最后介绍了SVD的数据压缩原理 。 目录 1. 正交变换 2. 特征值分解含义 3. 奇异值分解 4. 奇异值分解例子 5. 行降维和列降维 6. 数据压缩 7. SVD总结 1. 正交变换 正交变换公式： 上式表示：X是Y 的正交变换 ，其中U是正交矩阵，X和Y为列向量 。 下面用一个例子说明正交变换的含义： 假设有两个单位列向量a和b，两向量的夹角为θ，如下图： 现对向量a，b进行正交变换： ， 的模： 由上式可知 和 的模都为1。 和 的内积： 由上式可知，正交变换前后的内积相等。 和 的夹角 ： 比较（2）式和（3）式得：正交变换前后的夹角相等，即： 因此，正 ………………………………