低秩近似之路（二）：奇异值分解（SVD）

文章预览

  ©PaperWeekly 原创 · 作者 | 苏剑林 单位 | 科学空间 研究方向 | NLP、神经网络 上一篇文章中我们介绍了“ 伪逆 ”，它关系到给定矩阵 和 （或 ）时优化目 标 的 最优解。这篇文章我们来关注 都不给出时的最优解，即 其中 。说白了，这就是要寻找矩阵 的“最优 秩近似（秩不超过 的最优近似）”。而要解决这个问题，就需要请出大名鼎鼎的 “SVD（奇异值分解）”了。虽然本系列把伪逆作为开篇，但它的“名声”远不如 SVD，听过甚至用过 SVD 但没听说过伪逆的应该大有人在，包括笔者也是先了解 SVD 后才看到伪逆。 接下来，我们将围绕着矩阵的最优低秩近似来展开介绍 SVD。 结论初探 对于任意矩阵 ，都可以找到如下形式的奇异值分解（SVD，Singular Value Decomposition）： 其 中 都 是正交矩阵， 是非负对角矩阵： 对角线元素默认从 ………………………………