矩阵分析：三角分解，QR分解，秩分解，奇异值分解

1，矩阵的三角分解1.1，三角分解的存在唯一性问题设，如果存在下三角矩阵和上三角矩阵，使得则称可以作三角分解。【例1】矩阵有下列三角分解三角分解不唯一设，则可以作三角分解的充要条件是，其中是的阶顺序主子式，而为的阶顺序主子阵。【证明】必要性，设可作三角分解，即：由于故将进行分块得其中是的阶顺序主子阵，分别是下三角矩阵与上三角矩阵由分块乘法得故，即的个...

燕双嘤

7912人浏览 · 2021-12-31 22:58:15

燕双嘤 · 2021-12-31 22:58:15 发布

1，矩阵的三角分解

1.1，三角分解的存在唯一性问题

设 $\small A\in \mathbb{C}^{n\times n}$ ，如果存在下三角矩阵 $\small L\in \mathbb{C}^{n\times n}$ 和上三角矩阵 $\small R\in \mathbb{C}^{n\times n}$ ，使得

$\small A=LR$

则称 $\small A$ 可以作三角分解。

【例1】矩阵 $\small A=\begin{bmatrix} 0 &0 \\ 1& 2 \end{bmatrix}$ 有下列三角分解

$\small A=AI_2=\begin{bmatrix} 0 &0 \\ 1& 1 \end{bmatrix}\begin{bmatrix} 1& 1\\ 0& 1 \end{bmatrix}=\begin{bmatrix} 0& 0\\ 1& 2 \end{bmatrix}\begin{bmatrix} 1& 1\\ 0& \frac{1}{2} \end{bmatrix}$

三角分解不唯一

设 $\small A\in \mathbb{C}^{n\times n}_n$ ，则 $\small A$ 可以作三角分解的充要条件是 $\small \Delta _k\ne 0(k=1,2,...,n)$ ，其中 $\small \Delta _k=detA_k$ 是 $\small A$ 的 $\small k$ 阶顺序主子式，而 $\small A_k$ 为 $\small A$ 的 $\small k$ 阶顺序主子阵。

【证明】必要性，设 $\small A\in \mathbb{C}^{n\times n}_n$ 可作三角分解，即：

$\small A=LR=\begin{bmatrix} l_{11}& & & \\ l_{21} & l_{22} & & \\ ...&... &... & \\ l_{n1} & l_{n2} &... &l_{nm} \end{bmatrix}\begin{bmatrix} r_{11}& r_{12}&... &r_{1n} \\ & r_{22} &... &r_{2n} \\ & &... & ...\\ & & &r_{nm} \end{bmatrix}$

由于 $\small 0\ne detA=(l_{11}l_{22}...l_{nn})(r_{11}r_{22}...r_{nn})$

故 $\small l_{ii}\ne 0,r_{ii}\ne0,i=1,2,...,n$

将 $\small A,L,R$ 进行分块得

$\small \begin{bmatrix} A_{11} &A_{12} \\ A_{21} & A_{22} \end{bmatrix}=\begin{bmatrix} L_{11} &0 \\ L_{21} &L_{22} \end{bmatrix}\begin{bmatrix} R_{11} &R_{12} \\ 0 &R_{22} \end{bmatrix}$

其中 $\small A_{11}$ 是 $\small A$ 的 $\small k$ 阶顺序主子阵， $\small L_{11},R_{11}$ 分别是下三角矩阵与上三角矩阵

由分块乘法得 $\small A_{11}=L_{11}R_{11}$

故 $\small detA_{11}=(l_{11}l_{22}...l_{kk})(r_{11}r_{22}...r_{kk})\ne,k=1,2,...,n$ ，即 $\small A$ 的 $\small n$ 个顺序主子式全不为0。

【证明】充分性，设 $\small A$ 的 $\small n$ 个顺序主子式全不为0。

当 $\small n=1$ 时， $\small A_1=(a_{11})=(1)(a_{11})$ ，结论成立。

设对 $\small n=k$ 结论成立，即 $\small A_k=L_kR_k$ ，其中 $\small L_k$ 和 $\small R_k$ 分别是下三角矩阵和上三角矩阵，且由 $\small \Delta _k=detA_k=detL_k\cdot detR_k\ne0$ 知， $\small L_k$ 与 $\small R_k$ 均可逆。

则当 $\small n=k+1$ 时，有

$\small A_{k+1}=\begin{bmatrix} A_k & c_k\\ r_k^T& a_{k+1,k+1} \end{bmatrix}=\begin{bmatrix} L_k &0 \\ r_k^TR_k^{-1} & 1 \end{bmatrix}\begin{bmatrix} R_k &L_k^{-1}c_k \\ 0^T & a_{k+1,k+1}-r_k^TR_k^{-1}L_k^{-1}c_k \end{bmatrix}$

故由归纳假设知 $\small A$ 可以作三角分解。

设 $\small A\in \mathbb{C}^{n\times n}_{\color{Red} r}$ ，且 $\small A$ 的前 $\small r$ 个顺序主子式不为零，即 $\small \Delta _k\ne 0,k=1,2,...,r$ ，则 $\small A$ 可作三角分解。（充分条件）

【例2】矩阵 $\small A=\begin{bmatrix} 0 &0 \\ 1 & 2 \end{bmatrix}$ 的秩为 $\small 1$ ，不满足定理条件，但

$\small A=\begin{bmatrix} 0 &0 \\ 1 & 2 \end{bmatrix}=\begin{bmatrix} 0&0 \\ 1& 1 \end{bmatrix}\begin{bmatrix} 1 &1 \\ 0& 1 \end{bmatrix}$ 有三角分解。

【证明】设 $\small A\in \mathbb{C}^{n\times n}_r$ ，由于 $\small A$ 的前 $\small r$ 个顺序主子式不为零，

故 $\small A_r$ 可以作三角分解，即 $\small A_r=L_rR_r$

且 $\small L_r$ 和 $\small R_r$ 分别是可逆的下三角矩阵和上三角矩阵。

将 $\small A$ 进行分块得 $\small \begin{bmatrix} A_r & A_{12}\\ A_{21} & A_{22} \end{bmatrix}$

由于 $\small rank(A_r)=rank(A)=r$ ，所以 $\small A$ 的后 $\small n-r$ 行可由前 $\small r$ 行线性表示，即存在矩阵 $\small B\in \mathbb{C}^{(n-r)\times r}$ ，使得

$\small A_{21}=BA_r,A_{22}=BA_{12}$ ，从而

$\small A=\begin{bmatrix} A_r & A_{12}\\ BA_r &BA_{12} \end{bmatrix}=\begin{bmatrix} L_r &0 \\ BL_r& I_{n-r} \end{bmatrix}\begin{bmatrix} R_r &L_r^{-1}A_{12} \\ 0& 0 \end{bmatrix}$

即 $\small A$ 可作三角分解。

三角分解的存在唯一性问题：

（1）即使一个方阵的三角分解存在，它也不是唯一的。

（2）如果 $\small A=LR$ 是 $\small A$ 的一个三角分解，令 $\small D$ 是对角线元素都不为零的对角矩阵，则： $\small A=(LD)(D^{-1}R)=\tilde{L}\tilde{R}$ ，其中 $\small \tilde{L}=(LD),\tilde{R}=(D^{-1}R)$ 也分别是下三角矩阵和上三角矩阵，又得到 $\small A$ 的另外一个三角分解。

（3）为了讨论唯一性问题，需要规范化三角分解，下面给胡三种规范化三角分解：Dolittle分解，Crout分解和LDR分解。

1.2，四种三角分解

设 $\small A\in \mathbb{C}^{n\times n}$ ，如果 $\small A$ 可分解成 $\small A=LR$ ，其中 $\small L$ 是对角线元素为 $\small 1$ 的下三角矩阵（单位下三角）， $\small R$ 是上三角矩阵，则称上述分解为 $\small A$ 的 Doolittle分解。

$\small A=\begin{bmatrix} 1 & & & \\ l_{21} & 1 & & \\ ... &... &... & \\ l_{n1} &l_{n2} & ...&1 \end{bmatrix}\begin{bmatrix} r_{11} & r_{12} & ... &r_{1n} \\ & r_{22} &... &r_{2n} \\ & &... &... \\ & & & r_{nn} \end{bmatrix}$

设 $\small A\in \mathbb{C}^{n\times n}$ ，如果 $\small A$ 可分解成 $\small A=LR$ ，其中 $\small L$ 是下三角矩阵， $\small R$ 是对角线元素为 $\small 1$ 的上三角矩阵（单位上三角），则称上述分解为 $\small A$ 的Crout分解。

$\small A=\begin{bmatrix} l_{11} & & & \\ l_{21} & l_{22} & & \\ ... &... &... & \\ l_{n1} &l_{n2} & ...& l_{nn} \end{bmatrix}\begin{bmatrix}1 & r_{12} & ... &r_{1n} \\ & 1 &... &r_{2n} \\ & &... &... \\ & & &1 \end{bmatrix}$

设 $\small A\in \mathbb{C}^{n\times n}$ ，如果 $\small A$ 可分解成 $\small A=LDR$ ，其中 $\small L$ 是单位下三角矩阵， $\small D$ 是对角矩阵， $\small R$ 是单位上三角矩阵，则称上述分解为 $\small A$ 的LDR分解。

$\small A=\begin{bmatrix} 1 & & & \\ l_{21} & 1 & & \\ ... &... &... & \\ l_{n1} &l_{n2} & ...&1 \end{bmatrix} \begin{bmatrix} d_1 & && \\ & d_2&& \\ & &...& \\ & && d_n \end{bmatrix} \begin{bmatrix} 1& r_{12} & ... &r_{1n} \\ &1&... &r_{2n} \\ & &... &... \\ & & & 1\end{bmatrix}$

设 $\small A\in \mathbb{C}^{n\times n}_n$ ，则 $\small A$ 有唯一 $\small LDR$ 分解的充要条件是 $\small \Delta _k\ne 0(k=1,2,...,n)$ 。此时对角矩阵 $\small D=diag\left ( d_1,d_2,...,d_n \right )$ 的元素满足： $\small d_1=\Delta _1,d_k=\frac{\Delta _k}{\Delta _{k-1}},k=2,3,...,n$ 。

【证明】 $\small A$ 可作三角分解 $\small A=LR$ 的充分必要条件是 $\small \Delta _k\ne 0,k=1,2,...,n$ ，记

$\small D_L=diag\left ( l_{11},l_{22} ,...,l_{nn} \right ),D_R=diag\left ( r_{11},r_{22} ,...,r_{nn} \right )$

由 $\small L$ 和 $\small R$ 可逆知 $\small D_L$ 与 $\small D_R$ 也可逆，从而：

$\small A=LR=(LD_L^{-1})(D_LD_R)(D_R^{-1}R)$

即 $\small A$ 存在 $\small LDR$ 分解。

再证唯一性：设 $\small A$ 有两个 $\small LDR$ 分解： $\small A=LDR=\tilde{L}\tilde{D}\tilde{R}$

于是： $\small \tilde{L}^{-1}L=\tilde{D}\tilde{R}R^{-1}D^{-1}$

上式左边是单位下三角矩阵，右边是单位上三角矩阵，故

$\small \tilde{L}^{-1}L=I,\tilde{D}\tilde{R}R^{-1}D^{-1}=I$

从而 $\small L=\tilde{L},\tilde{D}\tilde{R}=RD$

又由 $\small \tilde{R}R^{-1}$ 是单位上三角矩阵知 $\small \tilde{R}R^{-1}=I,\tilde{D}^{-1}D=I$

故 $\small L=\tilde{L},R=\tilde{R},D=\tilde{D}$ ，即 $\small A$ 的 $\small LDR$ 分解唯一。

将 $\small A,L,D,R$ 进行分块得：

$\small \begin{bmatrix} A_k &A_{12} \\ A_{21}& A_{22} \end{bmatrix}=\begin{bmatrix} L_k &0\\ L_{21} & L_{22} \end{bmatrix}\begin{bmatrix} D_k &0 \\ 0&D_{22} \end{bmatrix}\begin{bmatrix} R_k &R_{12} \\ 0 & R_{22} \end{bmatrix}$

其中 $\small A_k,L_k,D_k,R_k$ 分别是 $\small A,L,D,R$ 的 $\small k$ 阶顺序主子阵，则有：

$\small A_k=L_kD_kR_k,k=1,2,...,n$

于是 $\small \Delta _k=|A_k|=|L_kD_kR_k|=|L_k||D_k||R_k|=d_1d_2...d_k,k=1,2,...,n$

故 $\small d_1=\Delta _1,d_k=\frac{\Delta _k}{\Delta _{k-1}},k=2,3,...,n$

推论：设 $\small A\in \mathbb{C}^{n\times n}_n$ ，则 $\small A$ 有唯一 $\small Doolittle$ 分解或 $\small Crout$ 分解的充要条件是 $\small \Delta _k\ne 0(k=1,2,...,n)$

设 $\small A\in \mathbb{C}^{n\times n}$ ，如果存在下三角矩阵 $\small G\in \mathbb{C}^{n\times n}$ ，使得 $\small A=GG^H$ ，则称该分解为 $\small A$ 的 $\small Cholesky$ 分解。

设 $\small A\in \mathbb{C}^{n\times n}$ 是 $\small Hermite$ 正定矩阵，则存在下三角矩阵 $\small G\in \mathbb{C}^{n\times n}$ ，使得 $\small A=GG^H$ ，即 $\small A$ 可以作 $\small Cholesky$ 分解。

证明：设 $\small A\in\mathbb{C}^{n\times n}$ 是正定的 $\small Hermite$ 矩阵，则 $\small A$ 的顺序主子式

$\small \Delta _k>0,k=1,2,...,n$ ，故矩阵 $\small A$ 可以作 $\small LDR$ 分解，即：

$\small A=LDR$

其中 $\small L$ 是单位下三角矩阵， $\small R$ 是单位上三角矩阵， $\small D=diag\left ( d_1,d_2,...,d_n \right )$ 是对角矩阵，且 $\small d_i>0,i=1,2,...,n$ 。

由于 $\small A$ 是 $\small Hermite$ 矩阵，即 $\small A^H=A$ ，因此

$\small A=A^H=R^HDL^H$

由 $\small LDR$ 分解的唯一性知， $\small L=R^H$ ，所以

$\small A=LDL^H=Ldiag( \sqrt{d_1}, \sqrt{d_2},..., \sqrt{d_n})diag( \sqrt{d_1}, \sqrt{d_2},..., \sqrt{d_n})L^H=GG^H$

其中 $\small G=Ldiag( \sqrt{d_1}, \sqrt{d_2},..., \sqrt{d_n})$ 是下三角矩阵。

1.3，三角分解的计算方法

设 $\small A\in \mathbb{C}^{n\times n}$ ，且 $\small A$ 可作三角分解，由 $\small A$ 的 $\small Doolittle$ 分解 $\small A=LR$ ，得：

$\small A=\begin{bmatrix} a_{11} & a_{12} & ... &a_{1n} \\ a_{21} & a_{22} & ... &a_{2n} \\ ... &... & ... &... \\ a_{n1} & a_{n2} & ...& a_{nn} \end{bmatrix}=\begin{bmatrix} 1 & & & \\ l_{21} & 1 & & \\ ... &... &... & \\ l_{n1} &l_{n2} & ...&1 \end{bmatrix}\begin{bmatrix} r_{11} & r_{12} & ... &r_{1n} \\ & r_{22} &... &r_{2n} \\ & &... &... \\ & & & r_{nn} \end{bmatrix}$

于是 $\small a_{1j}=r_{1j}(j=1,2,...,n),a_{i1}=l_{i1}r_{11}(i=2,3,...,n)$

$\small a_{kj}=\left ( \sum_{t=1}^{k-1}l_{kt}r_{tj} \right )+r_{kj}(j=k,k+1,...,n;k=2,...,n)$

$\small a_{ki}=\left ( \sum_{t=1}^{k-1}l_{it}r_{tk} \right )+l_{ik}r_{kk}(i=k+1,k+2,...,n;k=2,...,n)$

故 $\small A$ 的 $\small Doolittle$ 分解的紧凑计算格式为：

$\small \left\{\begin{matrix} r_{1j}=a_{1j},j=1,2,...,n\\ l_{i1}=\frac{a_{i1}}{r_{11}},i=2,3,...,n\\ r_{kj}=a_{kj}-\sum_{t=1}^{k-1}l_{kt}r_{tj},j=k,k+1,...,n;k=2,...,n\\ l_{ik}=\frac{1}{r_{kk}}\left (a_{ik}-\sum_{t=1}^{k-1}l_{it} r_{tk} \right ),i=k+1,k+2,...,n;k=2,...,n \end{matrix}\right.$

具体计算顺序：

【例3】求矩阵 $\small A=\begin{bmatrix} 2 &-1 &3 \\ 1&2 &1 \\ 2& 4 &3 \end{bmatrix}$ 的 $\small Doolittle$ 分解

由 $\small Doolittle$ 分解的紧凑计算格式得：

$\small r_{11}=a_{11}=2,r_{12}=a_{12}=-1,r_{13}=a_{13}=3$

$\small l_{21}=\frac{a_{21}}{r_{11}}=\frac{1}{2},l_{31}=\frac{a_{31}}{r_{11}}=1$

$\small r_{22}=a_{22}-l_{21}r_{12}=\frac{5}{2},r_{23}=a_{23}-l_{21}r_{13}=-\frac{1}{2}$

$\small l_{32}=\frac{1}{r_{22}}(a_{32}-l_{31}r_{12})=2,r_{33}=a_{33}-l_{31}r_{13}-l_{32}r_{23}=1$

故得 $\small A$ 的 $\small Doolittle$ 分解为 $\small A=\begin{bmatrix} 1 &0 &0 \\ \frac{1}{2}& 1 & 0\\ 1 &2 &1 \end{bmatrix}\begin{bmatrix} 2 &-1 &3 \\ 0 & \frac{5}{2} & \frac{1}{2}\\ 0& 0& 1 \end{bmatrix}$

类似的 $\small A$ 的 $\small Crout$ 分解的紧凑计算格式为：

$\small \left\{\begin{matrix} l_{i1}=a_{i1},i=1,2,...,n\\ l_{1j}=\frac{a_{1j}}{l_{11}},i=2,3,...,n\\ l_{ik}=a_{ik}-\sum_{t=1}^{k-1}l_{it}r_{tk},i=k,k+1,...,n;k=2,...,n\\ r_{kj}=\frac{1}{l_{kk}}\left (a_{kj}-\sum_{t=1}^{k-1}l_{kt} r_{tj} \right ),j=k+1,k+2,...,n;k=2,...,n \end{matrix}\right.$

设 $\small A=(a_{ij})\in \mathbb{C}^{n\times n}_n,G=(g_{ij})\in\mathbb{C}^{n\times n}_n$ ，则由 $\small A=GG^H$ 得

$\small A=\begin{bmatrix} a_{11} & a_{12} & ... &a_{1n} \\ a_{21} & a_{22} & ... &a_{2n} \\ ... &... & ... &... \\ a_{n1} & a_{n2} & ...& a_{nn} \end{bmatrix}=\begin{bmatrix} g_{11} & & & \\ g_{21} & g_{22} & & \\ ... & ... & ... & \\ g_{n1} & g_{n2} & ... & g_{nn} \end{bmatrix}\begin{bmatrix} \overline{g_{11}} & \overline{g_{21}} &... & \overline{g_{n1}} \\ & \overline{g_{22}} & ...&\overline{g_{n2}} \\ && ... &... \\ & & & \overline{g_{nn}} \end{bmatrix}$

于是 $\small a_{11}=g_{11}\overline{g_{11}} =|g_{11}|^2,a_{j1}=g_{j1}\overline{g_{11}} (j=2,3,...,n)$

$\small a_{kk}=\sum_{t=1}^k|g_{kt}|^2,(k=2,3,...,n)$

$\small a_{ik}=\sum_{t=1}^kg_{it}\overline{g_{kt}}(i=k+1,k+2,...,n;k=2,3,...,n)$

故得 $\small A$ 的 $\small Cholesky$ 分解的紧凑计算格式为：

$\left\{\begin{matrix} g_{11}=\sqrt{a_{11}}\\ g_{i1}=\frac{a_{i1}}{g_{11}},i=2,3,...,n\\ g_{kk}=\sqrt{a_{kk}-\sum_{t=1}^{k-1}|g_{kt}|^2},k=2,3,...,n\\ g_{ik}=\frac{1}{g_{kk}}\left ( a_{ik}-\sum_{t=1}^{k-1}g_{it}\overline{g_{kt}} \right ),i=k+1,k+2,...,n;k=2,3,...,n \end{matrix}\right.$

【例4】求矩阵 $A=\begin{bmatrix} 5 &-2 &0 \\ -2 & 3 & -1\\ 0& -1 & 1 \end{bmatrix}$ 的 $\small Cholesky$ 分解

由 $\small Cholesky$ 分解的紧凑计算格式得：

$g_{11}=\sqrt{a_{11}}=\sqrt{5},g_{21}=\frac{a_{21}}{g_{11}}=-\frac{2}{\sqrt{5}},g_{31}=\frac{a_{31}}{g_{11}}=0$

$g_{22}=\sqrt{a_{22}-|g_{11}|^2}=\sqrt{\frac{11}{5}},g_{32}=\frac{1}{g_{22}}(a_{32}-g_{31}\overline{g_{21}})=-\sqrt{\frac{5}{11}}$

$g_{33}=\sqrt{a_{33}-|a_{31}|^2-|g_{32}|^2}=\sqrt{\frac{6}{11}}$

故 $A$ 的 $\small Cholesky$ 分解为：

$A=\begin{bmatrix} \sqrt{5} & 0 &0 \\ -\frac{2}{\sqrt{5}}&\sqrt{\frac{11}{5}} &0 \\ 0 &-\sqrt{\frac{5}{11}} & \sqrt{\frac{6}{11}} \end{bmatrix}\begin{bmatrix} \sqrt{5} & -\frac{2}{\sqrt{5}}& 0\\ 0 &\sqrt{\frac{11}{5}} &-\sqrt{\frac{5}{11}} \\ 0 &0 & \sqrt{\frac{6}{11}} \end{bmatrix}$

1.4，三角分解的应用

用三角分解求解线性方程组：如果线性方程组 $Ax=b$ 的系数矩阵 $A\in \mathbb{C}^{n\times n}_n$ ，且 $\Delta _k\ne 0(k=1,2,...,n)$ ，则 $A$ 可作三角分解 $A=LR$ 。

于是便得到与 $Ax=b$ 同解的、具有以三角矩阵为系数矩阵的两个线性方程组： $Ly=b,Rx=y$ ，有第一个方程组递推求得 $y$ ，再代入第二个方程组通过回带解出 $x$ 。

【例5】求解线性方程组 $Ax=b$ ，其中 $A=\begin{bmatrix} 2 &-1 &3 \\ 1& 2 & 1\\ 2& 4 & 3 \end{bmatrix},b=\begin{bmatrix} -3\\ 4\\ 7 \end{bmatrix}$

系数矩阵 $A$ 的 $Doolittle$ 分解为：

$A=LR=\begin{bmatrix} 1 &0 &0 \\ 0.5& 1 & 0\\ 1& 2 & 1 \end{bmatrix}\begin{bmatrix} 2 &-1 &3 \\ 0& 2.5& -0.5\\ 0& 0 &1 \end{bmatrix}$

于是便得与 $Ax=b$ 同解的、具有以三角矩阵为系数矩阵的两个线性方程组：

$Ly=b,Rx=y$

由 $Ly=b$ 得：

$\begin{bmatrix} 1 & 0 &0 \\ 0.5& 1& 0\\ 1&2 &1 \end{bmatrix}\begin{bmatrix} y_1\\ y_2\\ y_3 \end{bmatrix}=\begin{bmatrix} -3\\ 4\\ 7 \end{bmatrix}\Rightarrow y=\begin{bmatrix} y_1\\ y_2\\ y_3 \end{bmatrix}=\begin{bmatrix} -3\\ 5.5\\ -1 \end{bmatrix}$

由 $Rx=y$ 得：

$\begin{bmatrix} 2 & -1 &3 \\ 0& 2.5& -0.5\\ 0& 0 &1 \end{bmatrix}\begin{bmatrix} x_1\\ x_2\\ x_3 \end{bmatrix}=\begin{bmatrix} y_1\\ y_2\\ y_3 \end{bmatrix}=\begin{bmatrix} -3\\ 5.5\\ -1 \end{bmatrix}\Rightarrow x=\begin{bmatrix} x_1\\ x_2\\ x_3 \end{bmatrix}=\begin{bmatrix} 1\\ 2\\ -1 \end{bmatrix}$

分块矩阵的三角分解：为了便于高性能计算（分布式）

设 $A\in \mathbb{C}^{n\times n}$ ，将矩阵 $A$ 表示成分块形式： $A=\begin{bmatrix} A_{11} &A_{12} \\ A_{21} & A_{22} \end{bmatrix}$

（1）若 $A_{11}$ 可逆，则由： $\begin{bmatrix} I_{n_1} &0 \\ -A_{21}A_{11}^{-1} &I_{n_2} \end{bmatrix}\begin{bmatrix} A_{11} &A_{12} \\ A_{21} & A_{22} \end{bmatrix}=\begin{bmatrix} A_{11} &A_{12} \\ 0&A_{22}-A_{21}A_{11}^{-1}A_{12} \end{bmatrix}$

以及

$\begin{bmatrix} A_{11} &A_{12} \\ 0&A_{22}-A_{21}A_{11}^{-1}A_{12} \end{bmatrix}=\begin{bmatrix} A_{11} &0 \\ 0 & A_{22}-A_{21}A_{11}^{-1}A_{12} \end{bmatrix}\begin{bmatrix} I_{n_1} &A_{11}^{-1}A_{12} \\ 0&I_{n_2} \end{bmatrix}$

拟 $LU$ 分解

$\begin{bmatrix} A_{11} &A_{12} \\ A_{21} & A_{22} \end{bmatrix}=\begin{bmatrix} I_{n_1} & 0\\ A_{21}A_{11}^{-1} &I_{n_2} \end{bmatrix}\begin{bmatrix} A_{11} &A_{12} \\ 0&A_{22}-A_{21}A_{11}^{-1}A_{12} \end{bmatrix}$

拟 $LDU$ 分解

$\begin{bmatrix} A_{11} &A_{12} \\ A_{21} & A_{22} \end{bmatrix}=\begin{bmatrix} I_{n_1} & 0\\ A_{21}A^{-1}_{11}& I_{n_2} \end{bmatrix}\begin{bmatrix} A_{11} &0 \\ 0 & A_{22}-A_{21}A_{11}^{-1}A_{12} \end{bmatrix}\begin{bmatrix} I_{n_1} &A_{11}^{-1}A_{12} \\ 0&I_{n_2} \end{bmatrix}$

第二式的第一个矩阵和第三个矩阵分别为单位下三角矩阵和单位上三角矩阵。

（2）若 $A_{22}$ 可逆，同理

$\begin{bmatrix} A_{11} &A_{12} \\ A_{21} & A_{22} \end{bmatrix}=\begin{bmatrix} I_{n_1} & A_{21}A^{-1}_{22}\\ 0&I_{n_2} \end{bmatrix}\begin{bmatrix} A_{11}-A_{12}A_{22}^{-1}A_{21} &0 \\ A_{21} & A_{22} \end{bmatrix}$

以及

$\begin{bmatrix} A_{11} &A_{12} \\ A_{21} & A_{22} \end{bmatrix}=\begin{bmatrix} I_{n_1} & A_{21}A^{-1}_{22}\\ 0&I_{n_2} \end{bmatrix}\begin{bmatrix} A_{11}-A_{12}A_{22}^{-1}A_{21} &0 \\ 0& A_{22} \end{bmatrix}\begin{bmatrix} I_{n_1} &0 \\ A^{-1}_{22}A_{21} &I_{n_2} \end{bmatrix}$

（2）与（1）不同之处在于（2）实质上为矩阵分解为单位上三角与下三角矩阵的乘积。相同之处在于均为三角分解。

2，矩阵的QR分解

矩阵的 $QR$ 分解在解决最小二乘问题、特征值计算等方面都是十分重要性。QR分解指的是将矩阵分解为正交（酉）矩阵与上三角矩阵的乘积。

2.1，Householder矩阵

设 $u\in \mathbb{C}^n$ 是单位向量，即 $u^Hu=1$ ，称： $H=I-2uu^H$ 为 $Householder$ 矩阵或初等反射矩阵，称由 $Householder$ 矩阵 $H$ 确定的 $C^n$ 上的线性变换为 $Householder$ 变换或初等反射变换。

设 $H\in \mathbb{C}^{n\times n}$ 是 $Householder$ 矩阵，则：

（1） $H^H=H$ （ $H$ 是 $Hermite$ 矩阵）

（2） $H^H=I$ （ $H$ 是酉矩阵）

（3） $H^2=I$ （ $H$ 是对合矩阵）

（4） $H^{-1}=H$ （ $H$ 是自逆矩阵）

（5） $\begin{bmatrix} I_r &0 \\ 0 & H \end{bmatrix}$ 是 $n+r$ 阶 $Householder$ 矩阵

（6） $H$ 有 $n-1$ 重特征值 $1$ 和 $-1$

（7） $det H=-1$

设 $z\in \mathbb{C}^n$ 是单位向量，则对任意 $x\in \mathbb{C}^n$ ，存在 $Householder$ 矩阵 $H$ ，使得 $Hx=az$ ，其中 $|a|=||x||_2$ ，且 $ax^Hz$ 为实数。

要求符合题意的 $Householder$ 矩阵 $H(=I-2uu^H)$ ，其实质就是确定对应的单位向量 $u$ 。

（1）当 $x=0$ 时，可取 $u$ 为任意单位向量。

（2）当 $x=az\ne 0$ 时，单位向量 $u$ 满足 $u^Hx=0$ 即可。

（3）当 $x\ne az$ 时，单位向量 $u=\frac{x-az}{||x-az||_2}$ 。

当上述结论中 $z$ 取为 $e_1$ ，可得下列推论：

对任意 $x\in \mathbb{C}^n$ ，存在 $Householder$ 矩阵 $H=I-2uu^H$ ，使得 $Hx=ae_1$ ，其中 $|a|=||x||_2$ ，且 $ax^He_1$ 为实数。

对任意 $x\in \mathbb{R}^n$ ，存在 $Householder$ 矩阵 $H=I-2uu^H(u\in \mathbb{R}^n,u^Tu=1)$ ，使得 $Hx=ae_1$ ，其中 $a=\pm ||x||_2$ 。

【例5】用 $Householder$ 变换化向量 $x=(1,2,2)^T$ 与 $e_1$ 共线。

取 $a=||x||_2=3$ ，则：

$u=\frac{x-ae_1}{||x-ae_1||_2}=\frac{1}{\sqrt{12}}\begin{bmatrix} -2\\ 2\\ 2 \end{bmatrix}=\frac{1}{\sqrt{3}}\begin{bmatrix} -1\\ 1\\ 1 \end{bmatrix}$

于是， $H=I-2uu^T=\frac{1}{3}\begin{bmatrix} 1 &2 &2 \\ 2& 1 & -2\\ 2 &-2 &1 \end{bmatrix}$

使得 $Hx=3e_1$

【例6】用 $Householder$ 变换化向量 $x=(-2i,i,2)^T$ 与 $e_1$ 共线。

由于 $||x||_2=3$ ，为使 $|a|=||x||_2=3$ 且 $ax^He_1=2ia$ 为实数，可取 $a=3i$ ，于是

$u=\frac{x-ae_1}{||x-ae_1||_2}=\frac{1}{\sqrt{30}}\begin{bmatrix} -5i\\ i\\ 2 \end{bmatrix}$

于是 $H=I-2uu^H=\frac{1}{15}\begin{bmatrix} -10 &5 &10i \\ 5& 14 &-2i \\ -10i& 2i& 11 \end{bmatrix}$

使得 $Hx=3ie_1$

2.2，Givens矩阵

$n$ 维度空间上的旋转

$T_{pq}(\theta )=\begin{bmatrix} ... & & & & & & & & \\ & 1& & & & & & & \\ & & \overline{c} & & & &\overline{s} & & \\ & & &1 & & & & & \\ & & & & ... & & & & \\ & & & & &1 & & & \\ & & -s & & & & c & & \\ & & & & & & &1 & \\ & & & & & & & &... \end{bmatrix}$

其中 $c=cos\theta ,s=sin\theta$ 。

几何意义： $n$ 为空间中固定在 $(p,q)$ 平面上的旋转。整个空间的旋转则可以通过若干次平面旋转来实现。

设 $c,s\in \mathbb{C}$ ，且满足 $|c|^2+|s|^2=1$ ，称 $n$ 阶矩阵：

$T_{pq}=\begin{bmatrix} ... & & & & & & & & \\ & 1& & & & & & & \\ & & \overline{c} & & & &\overline{s} & & \\ & & &1 & & & & & \\ & & & & ... & & & & \\ & & & & &1 & & & \\ & & -s & & & & c & & \\ & & & & & & &1 & \\ & & & & & & & &... \end{bmatrix}$

为 $Givens$ 矩阵或初等旋转矩阵。由 $Givens$ 矩阵 $T_{pq}$ 确定的 $\mathbb{C}^n$ 上的线性变换

$y=T_{pq}x$ 称为 $Givens$ 变换或初等旋转变换。

由定义可直接得到 $Givens$ 矩阵的性质：

$Givens$ 矩阵 $T_{pq}$ 是酉矩阵。
$detT_{pq}=1$

对任意 $x=(\xi_1,\xi_2,...,\xi_n)^T\in \mathbb{C}^n$ ，存在 $Givens$ 矩阵 $T_{pq}$ ，使得 $T_{pq}x$ 的第 $q$ 个分量为 $0$ ，第 $p$ 个分量为非负实数，其余分量不变。

推论：设 $x=(\xi_1,\xi_2,...,\xi_n)^T \in \mathbb{C}^n$ ，则存在 $Givens$ 矩阵 $T_{12},T_{13},...,T_{1n}$ ，使得 $T_{1n}...T_{13}T_{12}x=||x||_2e_1$ 。

【例7】用 $Givens$ 变换化向量 $x=(1,2,2)^T$ 与 $e_1$ 共线。

取 $c_1=\frac{1}{\sqrt{5}},s_1=\frac{2}{\sqrt{5}}$ ，则：

$T_{12}=\begin{bmatrix} 1/\sqrt{5} & 2/\sqrt{5}& 0\\ -2/\sqrt{5}& 1/\sqrt{5} &0 \\ 0 & 0 & 1 \end{bmatrix},T_{12}x=\begin{bmatrix} \sqrt{5}\\ 0\\ 2 \end{bmatrix}$

取 $c_2=\frac{\sqrt{5}}{3},s_2=\frac{2}{3}$ ，则：

$T_{12}=\begin{bmatrix} \frac{\sqrt{5}}{3} & 0 &\frac{2}{3}\\ 0 &1& 0\\ -\frac{2}{3} &0 & \frac{\sqrt{5}}{3}\end{bmatrix},T_{13}T_{12}x=\begin{bmatrix} 3\\ 0\\ 0 \end{bmatrix}=3e_1$

【例8】用 $Givens$ 变换化向量 $x=(-2i,i,2)^T$ 与 $e_1$ 共线。

取 $c_1=-2\frac{i}{\sqrt{5}},s_1=\frac{i}{\sqrt{5}}$ ，则：

$T_{12}=\begin{bmatrix} 2i/\sqrt{5} & -i/\sqrt{5}& 0\\ -i/\sqrt{5}&-2i/\sqrt{5} &0 \\ 0 & 0 & 1 \end{bmatrix},T_{12}x=\begin{bmatrix} \sqrt{5}\\ 0\\ 2 \end{bmatrix}$

取 $c_2=\frac{\sqrt{5}}{3},s_2=\frac{2}{3}$ ，则：

$T_{12}=\begin{bmatrix} \frac{\sqrt{5}}{3} & 0 &\frac{2}{3}\\ 0 &1& 0\\ -\frac{2}{3} &0 & \frac{\sqrt{5}}{3}\end{bmatrix},T_{13}T_{12}x=\begin{bmatrix} 3\\ 0\\ 0 \end{bmatrix}=3e_1$

2.3，矩阵的QR分解

设 $A\in \mathbb{C}^{n\times n}$ ，如果存在酉矩阵 $Q$ 和 $n$ 阶上三角矩阵 $R$ 使得：

$A=QR$

则称之为 $A$ 的QR分解或酉-三角分解。当 $A\in \mathbb{R}^{n\times n}$ 时，称 $A=QR$ 为 $A$ 的正交-三角分解。

任意 $A\in \mathbb{C}^{n\times n}$ 都可以作 $QR$ 分解。

设 $A\in \mathbb{C}_n^{n\times n}$ （可逆），则 $A$ 可唯一地分解为：

$A=QR$

其中 $Q$ 是 $n$ 阶酉矩阵， $R\in \mathbb{C}^{n\times n}_n$ 是具有正对角元的上三角矩阵。

除了用 $Householder$ 变换和 $Givens$ 变换求 $QR$ 分解之外，还可以用 $Schmidt$ 正交化的方法来求可逆矩阵的 $QR$ 分解。

【例9】已知矩阵 $A=\begin{bmatrix} 0 & 3 & 1\\ 0 & 4 &-2 \\ 2&1 &2 \end{bmatrix}$ ，求 $A$ 的 $QR$ 分解。

方法一（Householder变换）

因为 $\alpha _1=\begin{bmatrix} 0\\ 0\\ 2 \end{bmatrix}$ ，取 $a_1=||\alpha _1||_2=2$ ，作单位向量

$u_1=\frac{\alpha _1-a_1e_1}{||\alpha _1-a_1e_1||_2}=\frac{1}{\sqrt{2}}\begin{bmatrix} -1\\ 0\\ 1 \end{bmatrix}$

于是 $H_1=I-2u_1u_1^T=\begin{bmatrix} 0 & 0 & 1\\ 0 & 1&0 \\ 1 &0 & 0 \end{bmatrix},H_1A=\begin{bmatrix} 2 & 1 &2 \\ 0& 4& -2\\ 0 & 3 & 1 \end{bmatrix}$

又因为 $\beta _2=\begin{bmatrix} 4\\ 3 \end{bmatrix}$ ，取 $\alpha _2=||\beta _2||_2=5$ ，作单位向量

$u_2=\frac{\beta _2-a_2e_1}{||\beta _2-a_2e_1||_2}=\frac{1}{\sqrt{10}}\begin{bmatrix} -1\\ 3 \end{bmatrix}$

于是 $\widetilde{H_2}=I-2u_2u_2^T=\frac{1}{5}\begin{bmatrix} 4 &3 \\ 3& -4 \end{bmatrix}$

令 $H_2=\begin{bmatrix} 1 &0 \\ 0& \widetilde{H_2} \end{bmatrix}$ ，则 $H_2H_1A=\begin{bmatrix} 2 & 1 &2 \\ 0& 5& -1\\ 0 &0 & -2 \end{bmatrix}=R$

故 $A$ 的 $QR$ 分解为：

$A=H_1H_2R=\begin{bmatrix} 0 &\frac{3}{5} &-\frac{4}{5} \\ 0 &\frac{4}{5} &\frac{3}{5} \\ 1& 0 &0 \end{bmatrix}\begin{bmatrix} 2 &1 &2 \\ 0& 5 & -1\\ 0& 0 & -2 \end{bmatrix}$

方法二（Givens变换）

因为 $\alpha _1=(0,0,2)^T$ ，取 $c_1=0,s_1=1$ ，则：

$T_{13}=\begin{bmatrix} 0 & 0 &1 \\ 0 & 1&0 \\ -1 & 0& 0 \end{bmatrix}$ ， $T_{13}A=\begin{bmatrix} 2 & 1 &2 \\ 0 & 4 &-2 \\ 0 & -3 & -1 \end{bmatrix}$

因为 $\beta_2=(4,-3)^T$ ，取 $c_2=\frac{4}{5},s_2=-\frac{3}{5}$ ，则

$T_{23}=\begin{bmatrix} 1 & 0 & 0\\ 0 & \frac{4}{5}& -\frac{3}{5}\\ 0 & \frac{3}{5}& \frac{4}{5} \end{bmatrix}$ ， $T_{23}T_{13}A=\begin{bmatrix} 2 & 1 &2 \\ 0& 5&-1 \\ 0&0 & -2 \end{bmatrix}=R$

故 $A$ 的 $QR$ 分解为：

$A=(T_{13}^HT_{23}^H)R=\begin{bmatrix} 0 &\frac{3}{5} &-\frac{4}{5} \\ 0 &\frac{4}{5} & \frac{3}{5} \\ 1& 0 & 0 \end{bmatrix}\begin{bmatrix} 2 & 1 & 2\\ 0 & 5 &-1 \\ 0 &0 & -2 \end{bmatrix}=QR$

方法三（Schmidt正交化）

设 $\alpha _1=(0,0,2)^T,\alpha _2=(3,4,1)^T,\alpha _3=(1,-2,2)^T$

则 $\alpha _1,\alpha _2,\alpha _3$ 线性无关，正交化得：

$p_1=\alpha _1=(0,0,2)^T$

$p_2=\alpha _2-\frac{1}{2}p_1=(3,4,0)^T$

$p_3=\alpha _3-p_1+\frac{1}{5}p_2=\frac{2}{5}(4,-3,0)^T$

再单位化得： $q_1=\begin{bmatrix} 0\\ 0\\ 1 \end{bmatrix},q_2=\frac{1}{5}\begin{bmatrix} 3\\ 4\\ 0 \end{bmatrix},q_3=\frac{1}{5}\begin{bmatrix} 4\\ -3\\ 0 \end{bmatrix}$

于是 $\alpha _1=p_1=2q_1,\alpha _2=\frac{1}{2}p_1+p_2=q_1+5q_2$

$\alpha _3=p_1-\frac{1}{5}p_2+p_3=2q_1-q_2+2q_3$

故矩阵 $A$ 的 $QR$ 分解为：

$A=\begin{bmatrix} 0 & \frac{3}{5}&\frac{4}{5} \\ 0& \frac{4}{5} & -\frac{3}{5}\\ 1 &0 & 0 \end{bmatrix}\begin{bmatrix} 2 &1 &2 \\ 0 & 5 &-1 \\ 0& 0& 2 \end{bmatrix}$

2.4，矩阵酉相似于Hessenberg矩阵

设 $A\in \mathbb{C}^{n\times n }$ ，则 $A$ 酉相似于上三角矩阵 $T$ ，即存在 $n$ 阶酉矩阵 $U$ 使得

$U^{-1}AU=U^H=U^HAU=T$

Schur定理表明 $n$ 阶矩阵 $A$ 总可以酉相似于上三角矩阵 $T$ 。但该定理并未给出如何求酉矩阵和相应的上三角矩阵 $T$ 的方法，且由于 $T$ 的对角线元素就是 $A$ 的特征值，因此更加困难。现考虑是否能使 $n$ 阶方阵 $A$ 酉相似于一个与上三角矩阵比较接近的矩阵。

设 $A=(a_{ij})_{n\times n }\in \mathbb{C}^{n\times n}$ 的元素满足 $a_{ij}=0(i>j+1)$ ，即

$A=\begin{bmatrix} a_{11} & a_{12} & ... & a_{1,n-1} &a_{1n} \\ a_{21} & a_{22} & ... & a_{2,n-1} &a_{2n} \\ & a_{32} & ... & a_{3,n-1} &a_{3n} \\ & & ...& ... &... \\ & & & a_{n,n-1} & a_{nn} \end{bmatrix}$

则称 $A$ 为上 $Hessenberg$ 矩阵，如果 $A$ 的元素满足 $a_{ij}=0(j>i+1)$ ，则称 $A$ 为下 $Hessenberg$ 矩阵。如果 $A$ 的元素满足 $a_{ij}=0(|i-j|>1)$ ，则称 $A$ 为三对角矩阵。

定义：设 $A\in \mathbb{C}^{n\times n}$ ，则 $A$ 可酉相似于上 $Hessenberg$ 矩阵。

推论：设 $A\in \mathbb{R}^{n\times n}$ ，则 $A$ 可正交相似于上 $Hessenberg$ 矩阵。

推论：设 $A\in \mathbb{C}^{n\times n}$ 是 $Hermite$ 矩阵，则 $A$ 可酉相似于三对角矩阵。

推论：设 $A\in \mathbb{R}^{n\times n}$ 是对称矩阵，则 $A$ 可正交相似于三对角矩阵。

【例10】化实对称矩阵 $A=\begin{bmatrix} 2 &0 &0 &1 \\ 0 &-1 &-2 &-4 \\ 0 &-2 &1 & 3\\ 1 &4 & 3 & 1 \end{bmatrix}$ 正交相似于三对角矩阵

利用 $Givens$ 变换

因为 $\alpha_1=(0,0,1)^T$ ，取 $c_1=0,s_1=1$ ，则

$T_{24}=\begin{bmatrix} 1 &0 &0 &0 \\ 0 & 0& 0&1 \\ 0 & 0&1 &0 \\ 0 &-1 & 0 & 0 \end{bmatrix},T_{24}AT_{24}^T=\begin{bmatrix} 2 &1 &0 &0 \\ 1&1 & 3& -4\\ 0& 3 & 1&2 \\ 0 & -4 & 2 & -1 \end{bmatrix}$

因为 $\beta _2=(3,-4)^T$ ，取 $c_1=\frac{3}{5},s_1=-\frac{4}{5}$ ，则

$T_{34}=\begin{bmatrix} 1 &0 & 0 &0 \\ 0& 1& 0 &0 \\ 0 &0 & \frac{3}{5}&-\frac{4}{5} \\ 0 & 0 & \frac{4}{5} & \frac{3}{5} \end{bmatrix}$

$T_{34}T_{24}AT_{24}^TT_{34}^T=\begin{bmatrix} 2 & 1 & 0 &0 \\ 1 & 1 & 5 & 0\\ 0 & & -\frac{11}{5} &\frac{2}{5} \\ 0&0 & \frac{2}{5} & \frac{11}{5} \end{bmatrix}=H$

故存在正交矩阵 $Q=T_{24}^TT_{34}^T=\begin{bmatrix} 1& 0 &0 & 0\\ 0 & 0& \frac{4}{5} & -\frac{3}{5} \\ 0 & 0 & \frac{3}{5} & \frac{4}{5} \\ 0 &1 & 0 & 0 \end{bmatrix}$

使得 $Q^TAQ=H$

3，秩分解

3.1，矩阵的秩1分解

设矩阵 $A\in \mathbb{C}^{m\times n}$ ，如果存在两组非零列向量 $x_i\in \mathbb{C}^m$ ， $y_i\in \mathbb{C}^n$ 和 $a_i\in \mathbb{C},i=1,2,...,s$ ，使得： $A=\sum_{i=1}^sa_ix_iy_i^H$ ，则称之为矩阵 $A$ 的秩 $1$ 分解。

【例1】求矩阵 $A=\begin{bmatrix} 1 &1 \\ 0& 1 \end{bmatrix}$ 的秩 $1$ 分解。

$A=\begin{bmatrix} 1 &0 \\ 0 & 0 \end{bmatrix}+\begin{bmatrix} 0 &1 \\ 0& 0 \end{bmatrix}+\begin{bmatrix} 0 &0 \\ 0 & 1 \end{bmatrix}=e_1e_1^T+e_1e_2^T+e_2e_2^T$

矩阵秩 $1$ 分解有多重形式：例如 $QR$ 分解后，利用 $Q$ 的每一列构造秩 $1$ 矩阵，得到一种秩 $1$ 分解。

设 $A$ 是正规矩阵，则存在酉矩阵 $U$ 使得： $U^HAU=diag(\lambda_1,\lambda_2,...,\lambda_n)$ 。令 $U=(\alpha _1,\alpha _2,...,\alpha _n)$ ，则： $A=\lambda_1\alpha _1\alpha _1^H+\lambda_2\alpha _2\alpha _2^H+...+\lambda_n\alpha _n\alpha _n^H$ 。

由于 $\alpha _i$ 为对应 $A$ 的特征值 $\lambda_i$ 的两两正交的单位特征向量，故称上式为正规矩阵 $A$ 的谱分解或特征分解。若把上式中系数相同的放在一起，然后把系数相同的提出，则上式就变成： $A=\lambda_1P_1+\lambda_2P_2+...+\lambda_sP_s$ ，其中 $\lambda _1,\lambda _2,...,\lambda _s$ 为 $A$ 的互不相同的特征值。

如果 $A$ 是可逆 $Hermite$ 矩阵，则可以利用 $A$ 的谱分解求矩阵 $A$ 的逆。设可逆矩阵 $A$ 的谱分解为： $A=\sum_{i=1}^n\lambda_i\alpha _i\alpha _i^H$ ，则 $A^{-1}=\sum_{i=1}^n\frac{1}{\lambda_i}\alpha _i\alpha _i^H$ 。

设 $A$ 是一个 $\small n$ 阶可对角化矩阵（单纯矩阵）， $\small A$ 的谱为 $\small \sigma (A)=\left \{ \lambda _1,\lambda _2,...,\lambda _s \right \}$ ，其中 $\small \lambda _i$ 的重数为 $\small k_i$ ，则存在唯一一组 $\small s$ 个 $\small n$ 阶方阵 $\small P_1,P_2,...,P_s$ 满足：

（1） $\small A=\sum_{i=1}^{s}\lambda_iP_i$

（2） $\small P_i^2=P_i$

（3） $\small P_iP_j=0(i\ne j)$

（4） $\small \sum_{i=1}^sP_i=I$

（5） $\small r(P_i)=k_i$

称定理中的矩阵 $\small P_i(i=1,2,...,s)$ 为矩阵 $\small A$ 的谱分解中的成分矩阵或主幂等矩阵。

与正规矩阵相比，一般矩阵的谱分解中的成分矩阵不一定是 $\small Hermite$ 矩阵，因此： $\small Ax=\lambda_1P_1x+\lambda_2P_2x+...+\lambda_sP_sx$ 中的诸向量 $\small P_ix$ 未必是正交的。

推论：设 $\small A=\sum_{i=1}^s\lambda_iP_i$ 是单纯矩阵 $\small A$ 的谱分解，令 $\small f(x)$ 是任意多项式，则：

（1） $\small A^m=\sum_{i=1}^s\lambda_i^mP_i$ ；（2） $\small f(A)=\sum_{i=1}^sf(\lambda_i)P_i$

【例2】设 $\small A=\begin{bmatrix} 4 &6 &0 \\ -3& -5 &0 \\ -3 & -6& 1 \end{bmatrix}$ ，求 $\small e^A$

$\small det(\lambda I-A)=(\lambda+2)(\lambda-1)^2$

$\small A$ 的特征值 $\small \lambda_1=-2$ 对应的特征向量为 $\small p_1=(-1,1,1)^T$ 。

$\small A$ 的特征值 $\small \lambda_2=\lambda_3=1$ 对应的特征向量为 $\small p_2=(-2,1,0)^T,p_3=(0,0,1)^T$ ，于是

$\small P=\begin{bmatrix} -1 & -2 &0 \\ 1& 1 & 0\\ 1& 0 &1 \end{bmatrix},P^{-1}=\begin{bmatrix} 1 &2 &0 \\ -1&-1 &0 \\ -1& -2 & 1 \end{bmatrix}=\begin{bmatrix} \beta _1^T\\ \beta _2^T\\ \beta _3^T \end{bmatrix}$

$\small P_1=p_1\beta _1^T=\begin{bmatrix} -1 & -2 &0 \\ 1& 2 & 0\\ 1& 2& 0 \end{bmatrix},P_2=p_2\beta _2^T+p_3\beta _3^T=\begin{bmatrix} 2 &2 &0 \\ -1 &-1 &0 \\ -1 &2 & 1 \end{bmatrix}$

所以 $\small A$ 的谱分解为： $\small A=-2P_1+P_2$

$\small e^A=e^{-2}P_1+eP_2=e^{-2}\begin{bmatrix} -1 & -2 &0 \\ 1& 2& 0\\ 1& 2 &0 \end{bmatrix}+e\begin{bmatrix} 2 &2 &0 \\ -1 & -1 &0 \\ -1 & -2 &1 \end{bmatrix}$

3.2，Hermite标准形

设 $\small A,B\in \mathbb{C}^{m\times n}$ ，如果经过有限次初等变换变成矩阵 $\small B$ ，则称矩阵 $\small A$ 与 $\small B$ 等价。

性质：设 $\small A,B\in \mathbb{C}^{m\times n}$ ，则：

（1） $\small A$ 与 $\small B$ 等价 $\small \Leftrightarrow$ $\small rank A=rank B$ 。

（2） $\small A$ 与 $\small B$ 等价 $\small \Leftrightarrow$ 存在 $\small S\in \mathbb{C}^{m\times m}_m$ 和 $\small T\in \mathbb{C}_n^{n\times n}$ ，使得 $\small SAT=B$ 。

设 $\small A\in \mathbb{C}_r^{m\times n}(r>0)$ ，则 $\small A$ 可通过初等行变换化成满足下列条件的矩阵 $\small H$ ：

（1） $\small H$ 的前 $\small r$ 行中每一行中至少含一个非零元素，且第一个非零元素为 $\small 1$ ，而后 $\small m-r$ 行元素均为 $\small 0$ 。

（2）若 $\small H$ 的第 $\small i$ 行的第一个非零元素 $\small 1$ 位于第 $\small j_i$ 列 $\small (i=1,2,...,r)$ ，则 $\small j_1<j_2<...<j_r$ 。

（3） $\small H$ 的第 $\small j_1,j_2,...,j_r$ 列为 $\small I_m$ 的前 $\small r$ 列。

称 $\small H$ 为 $\small A$ 的 $\small Hermite$ 标准形或行阶梯形。即存在 $\small S\in \mathbb{C}_m^{m\times m}$ ，使得 $\small SA=H$ 。

求解 $\small S$ 的求解方法：构造 $\small m\times (m+n)$ 矩阵 $\small (A,I_m)$ ，由： $\small S(A,I_m)=(SA,S)=(H,S)$ 可见，对 $\small (A,I_m)$ 作初等行变换，当把其左边一半 $\small A$ 化为 $\small Hermite$ 标准形 $\small H$ 时，右边一半 $\small I_m$ 就把 $\small S$ 记录下来。

以 $\small n$ 阶单位矩阵 $\small I_n$ 的 $\small n$ 个列向量 $\small e_1,e_2,...,e_n$ 为构成的 $\small n$ 阶方阵 $\small P=(e_{i_1},e_{i_2},...,e_{i_n})$ ，称为 $\small n$ 阶置换矩阵，这里 $\small i_1,i_2,...,i_n$ 是 $\small 1,2,...,n$ 的一个全案排列。

设 $\small P=(e_{i_1},e_{i_2},...,e_{i_n})$ 是置换矩阵，则：

（1） $\small P$ 是正交矩阵。

（2）对任意 $\small A\in \mathbb{C}^{m\times n}$ ， $\small AP$ 是将 $\small A$ 的列按 $\small i_1,i_2,...,i_n$ 的次序重新排列得到的矩阵。

设 $\small A\in \mathbb{C}_r^{m\times n}(r>0)$ ，则存在 $\small S\in \mathbb{C}_m^{m \times m}$ 和 $\small n$ 阶置换矩阵 $\small P$ ，使得：

$\small SAP=\begin{bmatrix} I_r &K \\ 0 & 0 \end{bmatrix}(K\in \mathbb{C}^{r\times (n-r)})$ ，对矩阵进行初等列变换，可得到 $\small A$ 的等价标准形： $\small \begin{bmatrix} I_r & 0\\ 0& 0 \end{bmatrix}$ 。

设 $\small A\in \mathbb{C}_r^{m\times n}(r>0)$ 则存在 $\small S\in \mathbb{C}_m^{m\times m}$ 和 $\small T\in \mathbb{C}_n^{n\times n}$ ，使得 $\small SAT=\begin{bmatrix} I_r &0 \\ 0 & 0 \end{bmatrix}$ 。

方法一

初等行变换： $\small (A,I_M)\rightarrow (H,S)$

初等列变换： $\small \begin{bmatrix} H\\ I_n \end{bmatrix}\rightarrow \begin{bmatrix} \begin{bmatrix} I_r& 0\\ 0 & 0 \end{bmatrix}\\ T \end{bmatrix}$

方法二

对前 $\small m$ 行仅实施初等行变换 $\small \begin{bmatrix} A & I_m\\ I_n &0 \end{bmatrix}\rightarrow \begin{bmatrix} \begin{bmatrix} I_r & 0\\ 0 & 0 \end{bmatrix} &S \\ T& 0 \end{bmatrix}$

对前 $\small n$ 列仅实施初等列变换。

【例3】已知矩阵 $\small A=\begin{bmatrix} 2 & 4 & 1 & 1\\ 1 &2 &-1 & 2\\ -1 & -2 & -2 & 1 \end{bmatrix}$

（1）求 $\small A$ 的 $\small Herimite$ 标准形和所用的变换矩阵 $\small S$ 。

（2）求 $\small A$ 的等价标准形和所用的变换矩阵 $\small S$ 和 $\small T$ 。

$\small (A,I_3)=\begin{bmatrix} 2 &4 &1 &1 &1 &0&0 \\ 1 &2 & -1& 2&0&1&0 \\ -1 & -2 & -2 & 1& 0& 0&1 \end{bmatrix}\rightarrow \begin{bmatrix} 1 &2 &0 &1 &1/3 &/3&0 \\ 0 &0 & 1&-1&1/3&-2/3&0 \\ 0 & 0 &0 & 0& 1& -2&1 \end{bmatrix}$

因此， $\small A$ 的 $\small Hermite$ 标准形 $\small H$ 和所用的变换矩阵 $\small S$ 为：

$\small H=\begin{bmatrix} 1& 2& 0& 1\\0 &0 &1 &-1 \\0 &0 &0 &0 \end{bmatrix},S=\begin{bmatrix} 1/3 & 1/3 & 0\\ 1/3&-2/3 &0 \\ 1&-2 & 1 \end{bmatrix}$

由 $\small \begin{bmatrix} H\\ I_4 \end{bmatrix}=\begin{bmatrix} 1&2 &0 &1 \\ 0& 0&1 &-1 \\ 0& 0 & 0 &0 \\ 1& 0& 0 & 0\\ 0& 1 & 0&0 \\ 0&0 &1 & 0\\ 0& 0& 0&1 \end{bmatrix}\rightarrow \begin{bmatrix} 1&0 &0 &0 \\ 0& 1&0 &0 \\ 0& 0 & 0 &0 \\ 1& 0& -2 & -1\\ 0& 0 & 1&0 \\ 0&1 &0 & 1\\ 0& 0& 0&1 \end{bmatrix}$

最终求得 $\small S=\begin{bmatrix} 1/3 & 1/3 & 0\\ 1/3&-2/3 &0 \\ 1&-2 & 1 \end{bmatrix},T=\begin{bmatrix} 1& 0& -2 & -1\\ 0& 0 & 1&0 \\ 0&1 &0 & 1\\ 0& 0& 0&1 \end{bmatrix}$

$\small SAT=\begin{bmatrix} I_2 & 0\\ 0 & 0 \end{bmatrix}$

3.3，矩阵的满秩分解

设 $\small A\in \mathbb{C}_r^{m\times n}(r>0)$ ，如果存在 $\small F\in \mathbb{C}_r^{m\times r}$ 和 $\small G\in \mathbb{C}_r^{r\times n}$ ，使得 $\small A=FG$ ，则称之为矩阵 $\small A$ 的满秩分解。

设 $\small A\in\mathbb{C}_r^{m\times n}(r>0)$ ，则 $\small A$ 的满秩分解总是存在的。

当 $\small r=m$ 时， $\small A=I_mA$ 是 $\small A$ 的一个满秩分解。
当 $\small r=n$ 时， $\small A=AI_n$ 是 $\small A$ 的一个满秩分解。

当 $\small 0<r<min\left \{ m,n \right \}$ 时，由于 $\small A$ 与其标准形等价，故存在 $\small S\in \mathbb{C}_m^{m\times m}$ 和 $\small T\in \mathbb{C}_n^{n\times n}$ ，使得： $\small SAT=\begin{bmatrix} I_r & 0\\ 0& 0 \end{bmatrix}$ ，于是 $\small A=S^{-1}\begin{bmatrix} I_r &0 \\ 0& 0 \end{bmatrix}T^{-1}=S^{-1}\begin{bmatrix} I_r\\ 0 \end{bmatrix}\begin{bmatrix} I_r &0 \end{bmatrix}T^{-1}=FG$

其中 $\small F=S^{-1}\begin{bmatrix} I_r\\ 0 \end{bmatrix}\in \mathbb{C}_r^{m\times n},G=(I_r,0)T^{-1}\in\mathbb{C}_r^{r\times n}$ 。

PS：矩阵的满秩分解不唯一。

【例4】求矩阵 $\small A=\begin{bmatrix} 2 &4 &1 &1 \\ 1& 2& -1& 2\\ -1 & -2 &-2 &1 \end{bmatrix}$ 的满秩分解。

根据 $\small A$ 与其标准形等价，即存在

$\small S=\begin{bmatrix} 1/3 &1/3 & 0\\ 1/3 & -2/3 &0 \\ 1& -2& 1 \end{bmatrix},T=\begin{bmatrix} 1 & 0 & -2 &-1 \\ 0&0 & 1 &0 \\ 0&1 &0 &1 \\ 0 & 0& 0& 1 \end{bmatrix}$

使得 $\small SAT=\begin{bmatrix} I_2 & 0\\ 0 & 0 \end{bmatrix}$ ，进而 $\small A=S^{-1}\begin{bmatrix} I_2 & 0\\ 0 & 0 \end{bmatrix}T^{-1}$

可求得 $\small S^{-1}=\begin{bmatrix} 2 &1 & 0\\ 1& -1 &0 \\ -1& -2 & 1 \end{bmatrix},T^{-1}=\begin{bmatrix} 1 &2 &0 & 1\\ 0 & 0 & 1& -1\\ 0 &1 &0 & 0\\ 0 & 0 & 0& 1 \end{bmatrix}$

取 $\small S^{-1}$ 的前两列构成 $\small F$ ， $\small T^{-1}$ 的前两行得到 $\small G$ ，故 $\small A$ 的满秩分解为：

$\small A=\begin{bmatrix} 2 &1 \\ 1 &-1 \\ -1 & -2 \end{bmatrix}\begin{bmatrix} 1 &2 &0 &1 \\ 0& 0& 1& -1 \end{bmatrix}$

设 $\small A\in \mathbb{C}_r^{m\times n}(r\geqslant 0)$ ，且 $\small A$ 的 $\small Hermite$ 标准形 $\small H$ ，取 $\small A$ 的第 $\small j_1,j_2,...,j_r$ 列构成矩阵 $\small F$ ，又取 $\small H$ 的前 $\small r$ 行构成矩阵 $\small G$ ，则 $\small A=FG$ 为矩阵 $\small A$ 的一个满秩分解。

求解方法：求出 $\small A$ 的 $\small Hermite$ 标准形，但不需要求出变换矩阵 $\small S$ 。

【例5】求矩阵 $\small A=\begin{bmatrix} 2 &4 &1 &1 \\ 1& 2& -1 & 2\\ -1& -2 & -2 & 1 \end{bmatrix}$ 的满秩分解。

可求得 $\small H=\begin{bmatrix} 1 &2 &0 &1 \\ 0& 0& 1& -1\\ 0& 0 & 0 &0 \end{bmatrix}$

可见 $\small j_1=1,j_2=3$ ，故 $\small A$ 的满秩分解为：

$\small A=\begin{bmatrix} 2 &1 \\ 1 & -1\\ -1 & -2 \end{bmatrix}\begin{bmatrix} 1 & 2 & 0 & 1\\ 0& 0& 1 & -1 \end{bmatrix}$

4，矩阵的奇异值分解

奇异值分解的几何意义：将 $\small N$ 维数据无损的映射为 $\small M$ 维数据 $\small (M<N)$ ，从而做到数据的降维处理，广泛应用在包括机器学习、信号处理、压缩感知和稀疏优化等领域，奇异值分解在统计学上表现形式为主成分分析。

论文撰写：基于SVD的彩色图像压缩技术_燕双嘤-CSDN博客题目：基于SVD的彩色图片压缩技术摘要：本文首先研究图片的构成原理，结合矩阵分析，将图片分解为三种颜色矩阵，然后通过矩阵的奇异值分解将原本的颜色矩阵分解为两个酉矩阵和一个对角矩阵的乘积，然后通过选择对角矩阵中特征值的个数对图像进行一定程度的压缩。经实验证明利用矩阵奇异值分解可以做到图片的无损压缩以及允许极小误差下的有损压缩，并且效果显著，不仅有利于网络传输，还减轻了图片存储压力。关键字：SVD；奇异值分解；压缩；有色图片;1，引言在人类获取的所有信息中，83%来源于眼睛，也就是视觉。眼.https://shao12138.blog.csdn.net/article/details/121392195https://shao12138.blog.csdn.net/article/details/121392195 机器学习：特征降维_燕双嘤-CSDN博客1，概述1.1，维数灾难维数灾难：通常是指在涉及到向量的计算的问题中，随着维数的增加，计算量呈指数倍增长的一种现象。在很多机器学习问题中，训练集中的每条数据经常伴随着上千、甚至上万个特征。要处理这所有的特征的话，不仅会让训练非常缓慢，还会极大增加搜寻良好解决方案的困难。这个问题就是我们常说的维数灾难。维数灾难涉及数字分析、抽样、组合、机器学习、数据挖掘和数据库等诸多领域。在机器学习的建模过程中，通常指的是随着特征数量的增多，计算量会变得很大，如特征达到上亿维的话，在进行计算的时候是算不出来https://shao12138.blog.csdn.net/article/details/105475358#t3https://shao12138.blog.csdn.net/article/details/105475358#t3

4.1，奇异值分解的概念

$\small Shur$ 定理：设 $\small A,B\in\mathbb{C}^{n\times n}$ ，若存在 $\small m$ 阶酉矩阵 $\small U$ 和 $\small n$ 阶酉矩阵 $\small V$ ，使得 $\small U^HAV=B$ ，则称 $\small A$ 和 $\small B$ 酉等价。

矩阵的奇异值的定义：设 $A\in C^{m\times n}_r(r>0)$ ， $A^HA$  的特征值为： $\lambda_1\geqslant \lambda_2\geqslant...\geqslant\lambda_r>\lambda_{r+1}=...=\lambda_n=0$ ，则称 $\sigma_i=\sqrt{\lambda_i}(i=1,2...,n)$  为 A 的奇异值。

（1）矩阵 $\small A$ 的奇异值的个数等于矩阵 $\small A$ 的列数。

（2）矩阵 $\small A$ 的非零奇异值的个数等于矩阵 $\small A$ 的秩。

（3） $\small r=rank(A)=rank(A^HA)=rank(AA^H)=rank(A^H)$ = $\small A$ 的非零奇异值个数。

（4）由于 $\small A^HA$ 与 $\small AA^H$ 有相同的非零特征值，故 $\small A^H$ 与 $\small A$ 有相同的非零特征值。

（5）当 $\small A$ 是 $\small Hermite$ 正定矩阵时， $\small A$ 的奇异值等于其特征值。

酉等价矩阵有相同的奇异值，酉等价变换不改变矩阵的奇异值。

矩阵奇异值分解的定义：设 $A \in C^{m\times n}_r(r>0)$ ，则存在 $m$  阶酉矩阵 $U$  和 $n$  阶酉矩阵 $V$  使得

$U^HAV=\begin{bmatrix} \Sigma &0 \\ 0 & 0 \end{bmatrix}$ （1）

其中 $\sum =diag(\sigma_1,\sigma_2,...,\sigma_r)$ ，而 $\sigma_i(i=1,2...,r)$  为 $A$  的非零奇异值。由于 $U,V$  都是酉矩阵，故 $U^H=U^{-1},V^H=V^{-1}$ ，因此（1）式可写为：

$A=U\begin{bmatrix} \Sigma &0 \\ 0 & 0 \end{bmatrix}V^H$ （2）

称之为 $\small A$ 的奇异值分解（SVD）

4.1，奇异值分解的计算

矩阵奇异值分解的一般步骤：设 $\small A\in\mathbb{C}_r^{m\times n}(r>0)$ 

（1）求 $\small A^HA$ 的特征值 $\small \lambda_1\geqslant \lambda_2\geqslant ...\geqslant \lambda_r>\lambda_{r+1}=...=\lambda_n=0$ ，并计算 $\small A$ 的非零奇异值 $\small \sigma _i=\sqrt{\lambda_i},i=1,2,...,r$ ，令 $\small \Sigma =diag(\sigma _1,\sigma _2,...,\sigma _r)$ 。

（2）求 $\small A^HA$ 对应的两两正交的单位特征向量 $\small p_1,p_2,...,p_n$ ，令 $\small V=(p_1,p_2,...,p_n)$ ，此时有： $\small V^HA^HAV=\begin{bmatrix} \Sigma ^2 & 0\\ 0&0 \end{bmatrix}$ 。

（3）分块 $\small V=(V_1,V_2),V_1\in \mathbb{C}^{n\times r}$ ，计算 $\small U_1=AV_1\Sigma ^{-1}$ ，再取合适的 $\small U_2$ ，使得 $\small U=(U_1,U_2)$ 为酉矩阵，则： $\small A=U\begin{bmatrix} \Sigma &0 \\ 0& 0 \end{bmatrix}V^H$ 。

【例6】求矩阵 $\small A=\begin{bmatrix} 1 &0 &1 \\ 0 & 1 & 1\\ 0 &0 &0 \end{bmatrix}$ 的奇异值分解。

可求得 $\small A^HA=\begin{bmatrix} 1 &0 &1 \\ 0 & 1 & 1\\ 1& 1 & 2 \end{bmatrix}$ 的特征值 $\small \lambda _1=3,\lambda _2=1,\lambda _3=0$ ，

故 $\small \Sigma =\begin{bmatrix}\sqrt{3} & \\ & 1 \end{bmatrix}$ 

对应特征向量依次为： $\small p_1=\begin{bmatrix} 1\\ 1\\ 2 \end{bmatrix},p_2=\begin{bmatrix} -1\\ 1\\ 0 \end{bmatrix},p_3=\begin{bmatrix} -1\\ -1\\ 1 \end{bmatrix}$ 

故 $\small V=\begin{bmatrix} 1/\sqrt{6} &-1/\sqrt{2} &-1/\sqrt{3} \\ 1/\sqrt{6} & 1/\sqrt{2} &-1/\sqrt{3} \\ 2/\sqrt{6} &0 & 1/\sqrt{3} \end{bmatrix}$ ，使得 $\small V^HA^HAV=\begin{bmatrix} 3 & 0 & 0\\ 0 & 1& 0\\ 0 & 0 & 0 \end{bmatrix}$

于是 $\small U_1=AV_1\Sigma ^{-1}=\begin{bmatrix} 1/\sqrt{2} & -1/\sqrt{2}\\ 1/\sqrt{2} &1/\sqrt{2} \\ 0 & 0 \end{bmatrix}$ 

取 $\small U_2=(0,0,1)^T$ ，则 $\small U=(U_1,U_2)$ 为酉矩阵，故 $\small A$ 的奇异值分解为：

$\small A=\begin{bmatrix} 1/\sqrt{2} & -1/\sqrt{2}&0\\ 1/\sqrt{2} &1/\sqrt{2} &0\\ 0 & 0 &1\end{bmatrix}\begin{bmatrix} \sqrt{3} & & \\ & 1 & \\ & &0 \end{bmatrix}\begin{bmatrix} 1/\sqrt{6} &1/\sqrt{6}&2/\sqrt{6}\\ -1/\sqrt{2}& 1/\sqrt{2} &0 \\ -1/\sqrt{3} &-1/\sqrt{3} & 1/\sqrt{3} \end{bmatrix}$

另外一种求法：

机器学习：特征降维_燕双嘤-CSDN博客1，概述1.1，维数灾难维数灾难：通常是指在涉及到向量的计算的问题中，随着维数的增加，计算量呈指数倍增长的一种现象。在很多机器学习问题中，训练集中的每条数据经常伴随着上千、甚至上万个特征。要处理这所有的特征的话，不仅会让训练非常缓慢，还会极大增加搜寻良好解决方案的困难。这个问题就是我们常说的维数灾难。维数灾难涉及数字分析、抽样、组合、机器学习、数据挖掘和数据库等诸多领域。在机器学习的建模过程中，通常指的是随着特征数量的增多，计算量会变得很大，如特征达到上亿维的话，在进行计算的时候是算不出来https://shao12138.blog.csdn.net/article/details/105475358#t5