线性方程的解与矩阵的逆

齐次方程

非齐次方程 A x = b \boldsymbol{A} \boldsymbol{x} = \boldsymbol{b} Ax=b

如果 A \boldsymbol{A} A 行满秩（即 A A T \boldsymbol{A} \boldsymbol{A}^T AAT 满秩）， 有MMSE解 x = A T ( A A T ) − 1 b \boldsymbol{x} = \boldsymbol{A}^T (\boldsymbol{A} \boldsymbol{A}^T)^{-1} \boldsymbol{b} x=AT(AAT)−1b，其中 A T ( A A T ) − 1 = A right − 1 \boldsymbol{A}^T (\boldsymbol{A} \boldsymbol{A}^T)^{-1} = \boldsymbol{A}^{-1}_{\text{right}} AT(AAT)−1=Aright−1​ 是 A \boldsymbol{A} A 的右逆（即 A A right − 1 = I \boldsymbol{A} \boldsymbol{A}^{-1}_{\text{right}} = \boldsymbol{I} AAright−1​=I）。简记：右逆，最小均方误差，行满秩。

如果 A \boldsymbol{A} A 列满秩（即 A T A \boldsymbol{A}^T \boldsymbol{A} ATA 满秩）， 有LS解 x = ( A T A ) − 1 A T b \boldsymbol{x} = (\boldsymbol{A}^T \boldsymbol{A})^{-1} \boldsymbol{A}^T \boldsymbol{b} x=(ATA)−1ATb，其中 ( A T A ) − 1 A T = A left − 1 (\boldsymbol{A}^T \boldsymbol{A})^{-1} \boldsymbol{A}^T = \boldsymbol{A}^{-1}_{\text{left}} (ATA)−1AT=Aleft−1​ 是 A \boldsymbol{A} A 的左逆（即 A left − 1 A = I \boldsymbol{A}^{-1}_{\text{left}} \boldsymbol{A} = \boldsymbol{I} Aleft−1​A=I）。简记：左逆，最小二乘，列满秩。