对于非方阵,矩阵的逆是没有定义的。
假设我们希望找到 $\bf A$ 的一个左逆 $\bf B$,这样我们可以通过两边左乘 $\bf B$ 解方程:
$$ \bf Ax=y, x = By $$我们可以定义 Moore-Penrose 伪逆如下:
$$ \mathbf A^+ = \lim_{\alpha\to 0}(\mathbf{A^\top A}+\alpha\mathbf I)^{-1}\mathbf A^\top $$计算上,我们有
$$ \bf A^+ = VD^+U^\top $$其中 $\bf U, D, V$ 对应于 $\bf A$ 的奇异值分解的成分,$D^+$ 对应是将非零奇异值取倒数之后得到的矩阵的转置。
当矩阵 $\bf A$ 的列比行多时,可能有很多解,使用 Moore-Penrose 伪逆求解得到的结果是 $\|\mathbf x\|_2$ 最小的结果;当矩阵 $\bf A$ 的行比列多时,可能没有解,使用 Moore-Penrose 伪逆求解得到的结果是 $\|\mathbf{Ax-y}\|_2$ 最小的结果。