低秩近似之路（三）：矩阵乘法的CR近似

主要观点总结

本文介绍了矩阵乘法的CR近似，这是一种具有特定行列结构的低秩近似。相比SVD给出的最优低秩近似，CR近似具有更直观的物理意义和更好的可解释性。文章涵盖了问题背景、初步近似、采样视角、延伸讨论等内容。

关键观点总结

关键观点1: CR近似介绍

CR近似是一种具有特定行列结构的低秩近似，用于加速矩阵乘法运算。

关键观点2: 问题背景

文章讨论了矩阵的最优r秩近似的一般提法，以及在实际应用中面临的挑战。

关键观点3: 初步近似方法

文章提出了将矩阵分别表示成列向量的形式，并找到最优的CR近似。

关键观点4: 采样视角

文章从采样视角看待CR近似问题，引入了任意分布来构建近似。

关键观点5: 延伸讨论

文章讨论了如何提高CR近似的精度，并探讨了放宽CR近似形式的可能性。

文章预览

©PaperWeekly 原创 · 作者 | 苏剑林 单位 | 科学空间 研究方向 | NLP、神经网络 在 《低秩近似之路（二）：SVD》 中，我们证明了 SVD 可以给出任意矩阵的最优低秩近似。那里的最优近似是无约束的，也就是说 SVD 给出的结果只管误差上的最小，不在乎矩阵的具体结构，而在很多应用场景中，出于可解释性或者非线性处理等需求，我们往往希望得到具有某些特殊结构的近似分解。 因此，从这篇文章开始，我们将探究一些具有特定结构的低秩近似，而本文将聚焦于其中的 CR 近似（Column-Row Approximation），它提供了加速矩阵乘法运算的一种简单方案。 问题背景 矩阵的最优 r 秩近似的一般提法是 其中 。在前两篇文章中，我们已经讨论了两种情况： 1. 如果 不再有其他约束，那么 的最优解就 是 ， 其中 是 的奇异值分解（SVD）； 2. 如果约 定 （ ） ………………………………