线性方程组的SVD解法

关注

VIP免费原创 2022-08-17 22:17:17 2.2k 阅读 AI 写同款· GEO 优化 ›

SVD求解线性方程组 SVD分解对于任一给定的矩阵A(m∗n)\boldsymbol{A}(m*n)A(m∗n)，都存在这样的分解： A=UDVT\boldsymbol{A}=\boldsymbol{U}\boldsymbol{D}\boldsymbol{V}^TA=UDVT 这里: U\boldsymbol{U}U是一个(m∗m)(m*m)(m∗m)的正交矩阵， D\boldsymbol{D}D是一个(m∗n)(m*n)(m∗n)的对角矩阵， V\boldsymbol{V}V是一个(n∗n)(n*n)(n∗n)的正交矩阵。阅读详情

文章目录

SVD方法求解线性方程组

SVD方法求解线性方程组

本文详细推导如果利用奇异值分解得到 $A X = 0$ 及 $A X = b$ 的解,推导如下。

齐次方程组求解AX=0

对于一个维度为 $m\times n$ 的矩阵 $A$ 来说，我们可以将其进行奇异值分解得到:
$A_{m\times n} = U_{m \times m} W_{m\times n}V^T_{n\times n}$
我们知道对于齐次线性方程组来说，如果位置量的维度为 $n$ ，并且 $r ank (A) = m > n$ 的话，约束多于位置量个数，一般这种情况我们会使用最小二乘法进行求解:
$x^{+}=\arg \min\Vert AX\Vert^2$
此时， $x^{+}$ 代表最小二乘法最优值。

基于拉格朗日法推导

我们将式(2)转换为一个带等式约束的最优问题：
$x^{+} = \arg\min\Vert AX \Vert^2 \\ s.t.~~ \Vert X \Vert^2 = 1$
我们知道 $\forall k$ 那么 $k A X = 0$ ,所以我们可以这么限制。
针对式(3)使用拉格朗日乘子法:
$\lambda) = \Vert AX \Vert^2 + \lambda(1 - \Vert X \Vert^2)\\ = AXX^TA^T + \lambda(1 - X^TX)$
让朗格朗日函数 $L$ 对 $\lambda$ 与 $x$ 求导得:
$\frac{\partial L}{\partial \lambda} = 1-X^TX = 0\\ \frac{\partial L}{\partial X} = 2A^TAX-2\lambda X = 0$