后续奇异值分解（SVD）在整个（数值）线性代数及其应用中都扮演着重要角色，在理论分析以及数值计算两个方面都有着广泛应用。

本系列我们打算从理论、性质、几何意义、算法实现以及多个方向上的应用等几个角度较全面地介绍这一个重要工具。

为了方便大家浏览，努力做到重点突出和言简意赅。

学数学不要怕公式，多看+多想+多写，自然而然就熟练了。

1目录

1、简要回顾

2、分解及证明

3、图解几何性质

2简要回顾

这么漂亮能干的奇异值分解是怎么来的呢？这一点在下面这篇里我们已经作过介绍，这里我们再简要回顾一下。

万能的 SVD 分解是哪位牛人提出来的？

虽然说来历不一定代表它的本质，也不一定会增进对它的掌握，但对理解和应用或许会有一些启发，所以还是有必要了解一下。

1、双线性形式对角化问题

Beltrami 从如下双线性形式开始，

其中， 为 阶实矩阵。如果引入如下变量替换，

则有，

其中，

Beltrami 观察到，如果要求 和 是正交的，这样的话在选择它们的元素时将有 个自由度，他建议用这些自由度来消除 中的非对角元素。

最后归结为求解如下矩阵的特征值和特征向量的问题，

或者

2、双线性形式的极值问题

Jordan 从如下双线性形式开始，

计算 在如下约束下的最大值和最小值，

转化为求如下行列式

最后用归纳法得出目标双线性形式的规范型。

3奇异值分解

基本定理

对于秩为 的矩阵 ，存在正交矩阵 和 ，使得如下分解成立

其中，

以及从大到小排列的正奇异值，

具体来说，我们有两个版本的奇异值分解。

1、完整版

2、精简版

注意，上面各个子矩阵的大小，即 ，，， 以及 中的 0-子块的大小全部由 （）所确定。

下面我们来证明这个分解的存在性（唯一性另作说明），对证明兴趣不大的童鞋可以跳过此部分。

证明思路

构造性证明，先利用特征分解求出 ，再用它将 构造出来。

• 利用矩阵 是对称且非负定，因此其特征值都是实数且非负。

• 由矩阵 的特征分解得 及 。

• 构造 ，扩充成矩阵 。

证明

由于 是对称且非负定，即 ，因此其特征值都是实数且非负。（对矩阵 也作类似理解）

将 的 个特征值集记为 ，其中

令 为对应的正交特征向量，然后记

并令

由 可得

用 左乘，并利用 向量的正交性可得，

通过两边左乘和右乘 得

现在转到特征值 对应的等式，可得

两边左乘 得

因此，。

现在由 定义矩阵 。

然后从式 中我们可以得到 ，即 的列是正交的。

可以构造矩阵 ，使得 成为一个正交矩阵。

然后

上面最后一步是因为 。

由 的定义，即 ，得

两边左乘 得，

而由于 和 这两个子矩阵的列相互正交，可得

注意，上面框框里是相等的。

因此，实际上得到

将其定义为 ，即完成证明。

最后再回顾一下证明的整体思路，

求 的特征值 和特征向量 和 ，从而得到 的一部分 ，再构造另一部分 ，得到 。

4图解几何性质

奇异值分解的性质多多，但不急，我们慢慢来揭示。

先不管其他方面，仅仅从分解的形式上分析一下奇异向量之间的关系。

基本几何性质

对于 ，左右奇异向量之间满足如下关系，

这两点可以通过下面两式得出，

以及

我们看第一点 。这一点表明，可以为矩阵 找到 中的 个正交向量，矩阵 将它们变换到了 中，并且它们仍然是两两正交的。

这里通过一个 矩阵的奇异值分解的例子来展示上面的几何性质：对于一个 矩阵 ，我们可以找到一个正交网格，该正交网格被变换为另一个正交网格。

这里想说的一个事情是：通过选择合适的正交单位向量 和 ，经矩阵 变换后得到的 与 也是正交的。

不过问题是，这些向量 存在吗？答案是肯定的，其实就是矩阵 的特征向量，同时也是矩阵 的右奇异向量。

因为我们有如下分解，

容易证明向量 和 也是正交的，

虽然 和 仍然是正交的，但一般情况下它们不再是单位向量。那么如果将它们对应的单位向量提出来，那正是左奇异向量。

这正是上面证明过程中看到的那一步，

另外，还可以换个角度解释: 定义在单位圆上的函数 在 处取得最大值，而在 处取得最小值。