奇异值分解(singular value decomposition, SVD
)提供了另一种分解矩阵的方式,将其分解为奇异向量和奇异值。
与特征值分解相比,奇异值分解更加通用,所有的实矩阵都可以进行奇异值分解,而特征值分解只对某些方阵可以。
奇异值分解的形式为:
$$ \bf A=UDV^\top $$若 $\bf A$ 是 $m\times n$ 的,那么 $\bf U$ 是 $m\times m$ 的,其列向量称为左奇异向量,而 $\bf V$ 是 $n\times n$ 的,其列向量称为右奇异向量,而 $\bf D$ 是 $m\times n$ 的一个对角矩阵,其对角元素称为矩阵 $\bf A$ 的奇异值。
事实上,左奇异向量是 $\bf AA^\top$ 的特征向量,而右奇异向量是 $\bf A^\top A$ 的特征向量,非零奇异值是 $\bf A^\top A$ 的非零特征值的平方。