1. 矩阵范数

定义 如果矩阵 $\mathbf{A}\in {\mathbb{R}}^{m\times n}$ 的某个非负实值函数 $N(\mathbf{A})=||\mathbf{A}||$，满足如下条件：

(1) $||\mathbf{A}||\ge 0，当且仅当\mathbf{A}=0时取等号（正定性）$

(2) $||c\mathbf{A}||=|c|\cdot ||\mathbf{A}||，c\in \mathbb{R}（齐次性）$

(3) $||\mathbf{A}+\mathbf{B}||\le ||\mathbf{A}||+||\mathbf{B}||（三角不等式）$

(4) $||\mathbf{A}\cdot \mathbf{B}|{|}_{m\times s}\le ||\mathbf{A}|{|}_{m\times n}\cdot ||\mathbf{B}|{|}_{n\times s}（相容性/次乘性）$

则称 $||\mathbf{A}||$ 为定义在 ${\mathbb{R}}^{n\times n}$ 上的一个矩阵范数。若该非负实值函数不满足条件 (4) 仅满足条件 (1~3)，则称为广义矩阵范数。

根据矩阵范数的三角不等式有：
$$\begin{array}{rl}& ||\mathbf{A}-\mathbf{B}||+||\mathbf{B}||\ge ||\mathbf{A}||⟹||\mathbf{A}-\mathbf{B}||\ge ||\mathbf{A}||-||\mathbf{B}||\\ & \\ & ||\mathbf{A}-\mathbf{B}||+||\mathbf{A}||=||\mathbf{B}-\mathbf{A}||+||\mathbf{A}||\ge ||\mathbf{B}||⟹||\mathbf{A}-\mathbf{B}||\ge ||\mathbf{B}||-||\mathbf{A}||\end{array}$$
结合上述两式与三角不等式，便有：
$$|||\mathbf{A}||-||\mathbf{B}|||\le ||\mathbf{A}-\mathbf{B}||\le ||\mathbf{A}||+||\mathbf{B}||$$

由常用的向量范数：1-范数，欧式范数，最大范数，可以定义如下矩阵的实值函数：
$$\begin{array}{rl}& (1)||\mathbf{A}|{|}_{M_1}\triangleq \sum _{i=1}^m\sum _{j=1}^n|A{|}_{ij}；\\ & \\ & (2)||\mathbf{A}|{|}_F\triangleq \sqrt{\sum _{i=1}^m\sum _{j=1}^n{a}_{ij}^2}=\sqrt{tr({\mathbf{A}}^T\mathbf{A})}（Frobenius范数）；\\ & \\ & (3)||\mathbf{A}|{|}_{M_{\infty }^{\prime }}=\underset{1\le i\le m,1\le j\le n}{\max }|a_{ij}|（一种广义矩阵范数）\end{array}$$
它们直接由向量范数推广而来，显然是满足条件（1~3）的，但是否满足相容性条件（是否可以被称为矩阵范数）仍需要验证：
$$\begin{array}{rl}& ||{\mathbf{A}}_{\mathbf{m}\times \mathbf{n}}{\mathbf{B}}_{\mathbf{n}\times \mathbf{s}}|{|}_{M_1}=\sum _{i=1}^m\sum _{j=1}^s(|a_{i1}{b}_{1j}+a_{i2}{b}_{2j}+\cdots +a_{in}{b}_{nj}|)\\ & \\ & \le \sum _{i=1}^m\sum _{j=1}^s(|a_{i1}||b_{1j}|+|a_{i2}||b_{2j}|+\cdots +|a_{in}||b_{nj}|)\\ & \\ & \le \sum _{i=1}^m\sum _{j=1}^s(|a_{i1}|+|a_{i2}|+\cdots +|a_{in}|)(|b_{1j}|+|b_{2j}|+\cdots +|b_{nj}|)\\ & \\ & \le \sum _{i=1}^m(|a_{i1}|+|a_{i2}|+\cdots +|a_{in}|)\cdot \sum _{j=1}^s(|b_{1j}|+|b_{2j}|+\cdots +|b_{nj}|)\\ & \\ & =\sum _{i=1}^m\sum _{j=1}^n|a_{ij}|\sum _{i=1}^n\sum _{j=1}^s|b_{ij}|=||\mathbf{A}|{|}_{M_1}\cdot ||\mathbf{B}|{|}_{M_1}\\ & \\ & \\ & \\ & ||{\mathbf{A}}_{\mathbf{m}\times \mathbf{n}}{\mathbf{B}}_{\mathbf{n}\times \mathbf{s}}|{|}_F=\sqrt{\sum _{i=1}^m\sum _{j=1}^s(a_{i1}{b}_{1j}+a_{i2}{b}_{2j}+\cdots +a_{in}{b}_{nj}{)}^2}\\ & \\ & \le \sqrt{\sum _{i=1}^m\sum _{j=1}^s(a_{i1}^2+a_{i2}^2+\cdots +a_{in}^2)\cdot (b_{1j}^2+b_{2j}^2+\cdots +b_{nj}^2)}\\ & \\ & \le \sqrt{\sum _{i=1}^m(a_{i1}^2+a_{i2}^2+\cdots +a_{in}^2)}\sqrt{\sum _{j=1}^s(b_{1j}^2+b_{2j}^2+\cdots +b_{nj}^2)}\\ & \\ & =||\mathbf{A}|{|}_F\cdot ||\mathbf{B}|{|}_F\end{array}$$
对于(3)定义的矩阵实值函数而言，其并不满足相容性条件，通过举反例可以说明。对（3）重新进行定义便可符合矩阵范数的定义：
$$||{\mathbf{A}}_{m\times n}|{|}_{M_{\infty }}\triangleq mn\left(\underset{1\le i\le m,1\le j\le n}{\max }|a_{ij}|\right)$$
证明，其满足相容性条件：
$$\begin{array}{rl}& ||{\mathbf{A}}_{m\times n}{\mathbf{B}}_{n\times s}|{|}_{M_{\infty }}=ms\left[\underset{1\le i\le m,1\le j\le s}{\max }|a_{i1}{b}_{1j}+a_{i2}{b}_{2j}+\cdots +a_{in}{b}_{nj}|\right]\\ & \\ & \le ms\left[\underset{1\le i\le m,1\le j\le s}{\max }(|a_{i1}||b_{1j}|+|a_{i2}||b_{2j}|+\cdots +|a_{in}||b_{nj}|)\right]\\ & \\ & \le ms\left[\underset{1\le i\le m,1\le j\le s}{\max }(|a_{i1}|+|a_{i2}|+\cdots +|a_{in}|)(|b_{1j}|+|b_{2j}|+\cdots +|b_{nj}|)\right]\\ & \\ & \le ms\left[n\left(\underset{1\le i\le m,1\le j\le n}{\max }|a_{ij}|\right)n\left(\underset{1\le i\le n,1\le j\le s}{\max }|b_{ij}||\right)\right]\\ & \\ & =mn\left(\underset{1\le i\le m,1\le j\le n}{\max }|a_{ij}|\right)\cdot ns\left(\underset{1\le i\le n,1\le j\le s}{\max }|b_{ij}||\right)\\ & \\ & =||{\mathbf{A}}_{m\times n}|{|}_{M_{\infty }}\cdot ||{\mathbf{B}}_{n\times s}|{|}_{M_{\infty }}（证毕）\end{array}$$

2. 矩阵的算子范数

定义 设 $\vec{x}\in {\mathbb{R}}^n,\mathbf{A}\in {\mathbb{R}}^{m\times n}$，则 $\mathbf{A}\vec{x}\in {\mathbb{R}}^m$，设已定义了向量空间 ${\mathbb{R}}^m$ 与 ${\mathbb{R}}^n$ 上的同种向量范数 $||\bullet ||$ ，相应地可以定义一个矩阵的非负实值函数：
$$||\mathbf{A}|{|}_v\triangleq \underset{||\vec{x}|{|}_v\ne 0}{\max }\frac{||\mathbf{A}\vec{x}||}{||\vec{x}||}=\underset{||\vec{x}|{|}_v=1}{\max }||\mathbf{A}\vec{x}||(\ast )$$
若该实函数为矩阵范数，将其称作算子范数，这意味着可以通过向量的函数来定义出一种矩阵范数，故通常也将其称之为从属于向量范数的矩阵范数（从属范数）。

证明算子范数的定义式满足矩阵范数的定义：

(1) 根据向量范数的非负性知 $(\ast )$ 的非负性，$||\mathbf{A}|{|}_v=0$ 当且仅当
$$\forall \vec{x}\ne 0，||\mathbf{A}\vec{x}||\equiv 0$$
不妨取
$$\vec{x}={\vec{e}}_i(i=1,2,\dots ,n)$$
则可证得，$\mathbf{A}\equiv [0]$。其中，${\vec{e}}_i$ 为n维向量空间的单位向量。

(2) 对于任意实数 c，
$$||c\mathbf{A}|{|}_v=\underset{||\vec{x}|{|}_v\ne 0}{\max }\frac{||c\mathbf{A}\vec{x}||}{||\vec{x}||}=|c|\left(\underset{||\vec{x}|{|}_v\ne 0}{\max }\frac{||\mathbf{A}\vec{x}||}{||\vec{x}||}\right)=|c|\cdot ||\mathbf{A}|{|}_v$$
(3)
$$\begin{gathered} ||\mathbf{A}+\mathbf{B}|{|}_v=\underset{||\vec{x}|{|}_v\ne 0}{\max }\frac{||(\mathbf{A}+\mathbf{B})\vec{x}||}{||\vec{x}||}=\underset{||\vec{x}|{|}_v\ne 0}{\max }\frac{||\mathbf{A}\vec{x}+\mathbf{B}\vec{x}||}{||\vec{x}||} \\ \le \underset{||\vec{x}|{|}_v\ne 0}{\max }\frac{||\mathbf{A}\vec{x}||}{||\vec{x}||}+\underset{||\vec{x}|{|}_v\ne 0}{\max }\frac{||\mathbf{B}\vec{x}||}{||\vec{x}||}=||\mathbf{A}|{|}_v+||\mathbf{B}|{|}_v \end{gathered}$$
(4) 由 $(\ast )$ 式：
$$||\mathbf{A}\vec{x}||\le ||\mathbf{A}|{|}_v\cdot ||\vec{x}||(称为：算子范数与向量范数的相容性条件)$$
则
$$||\mathbf{A}(\mathbf{B}\vec{x})||\le ||\mathbf{A}|{|}_v\cdot ||\mathbf{B}\vec{x}||\le ||\mathbf{A}|{|}_v\cdot ||\mathbf{B}|{|}_v\cdot ||\vec{x}||$$
当 $\vec{x}\ne 0$ 时，对任意 $\vec{x}$ 均有：
$$\frac{||\mathbf{AB}\vec{x}||}{||\vec{x}||}\le ||\mathbf{A}|{|}_v\cdot ||\mathbf{B}|{|}_v$$
成立，故
$$||\mathbf{AB}|{|}_v=\underset{||\vec{x}||\ne 0}{\max }\frac{||\mathbf{AB}\vec{x}||}{||\vec{x}||}\le ||\mathbf{A}|{|}_v\cdot ||\mathbf{B}|{|}_v(证毕)$$

依据算子范数的定义可以得到从属于$||\vec{x}|{|}_1$、$||\vec{x}|{|}_2$、$||\vec{x}|{|}_{\infty }$的矩阵 ${\mathbf{A}}_{m\times n}$的算子范数：
$$\begin{array}{rl}& (1)||\mathbf{A}|{|}_1=\underset{||\vec{x}||\ne 0}{\max }\frac{||\mathbf{A}\vec{x}|{|}_1}{||\vec{x}|{|}_1}=\underset{j}{\max }\left(\sum _{i=1}^m|a_{ij}|\right)（列范数）\\ & \\ & (2)||\mathbf{A}|{|}_{\infty }=\underset{||\vec{x}||\ne 0}{\max }\frac{||\mathbf{A}\vec{x}|{|}_{\infty }}{||\vec{x}|{|}_{\infty }}=\underset{i}{\max }\left(\sum _{j=1}^n|a_{ij}|\right)（行范数）\\ & \\ & (3)||\mathbf{A}|{|}_2=\underset{||\vec{x}||\ne 0}{\max }\frac{||\mathbf{A}\vec{x}|{|}_2}{||\vec{x}|{|}_2}=\sqrt{{\lambda }_{max}({\mathbf{A}}^{\mathbf{T}}\mathbf{A})}（2-范数，{\lambda }_{max}({\mathbf{A}}^{\mathbf{T}}\mathbf{A})表示{\mathbf{A}}^{\mathbf{T}}\mathbf{A}的最大特征值）\end{array}$$
证明：

(1) 由于
$$\begin{array}{rl}& ||\mathbf{A}\vec{x}|{|}_1=\sum _{i=1}^m|a_{i1}{x}_1+a_{i2}{x}_2+\cdots +a_{in}{x}_n|\\ & \\ & \le \sum _{i=1}^m(|a_{i1}||x_1|+|a_{i2}||x_2|+\cdots +|a_{in}||x_n|)\\ & \\ & =\sum _{i=1}^m|a_{i1}||x_1|+\cdots +\sum _{i=1}^m|a_{in}||x_n|\\ & \\ & \le \underset{j}{\max }\left(\sum _{i=1}^m|a_{ij}|\right)(|x_1|+|x_2|+\cdots +|x_n|)\end{array}$$
那么，
$$\forall \vec{x}\ne 0，\frac{||\mathbf{A}\vec{x}|{|}_1}{||\vec{x}|{|}_1}\le \underset{j}{\max }\left(\sum _{i=1}^m|a_{ij}|\right)$$
设 $\mathbf{A}$ 第 $k$ 列的元素绝对值之和最大，并取 ${\vec{x}}_0=[0,\dots ,0,\underset{k}{1},0,\dots ,0]$， 则有：
$$\underset{j}{\max }\left(\sum _{i=1}^m|a_{ij}|\right)=\sum _{i=1}^m|a_{ik}|=||\mathbf{A}{\vec{x}}_0|{|}_1，||{\vec{x}}_0|{|}_{\infty }=1$$
这说明：
$$\underset{||\vec{x}||\ne 0}{\max }\left(\frac{||\mathbf{A}\vec{x}|{|}_1}{||\vec{x}|{|}_1}\right)=\underset{j}{\max }\left(\sum _{i=1}^m|a_{ij}|\right)(证毕)$$
(2) 由于
$$\begin{array}{rl}& ||\mathbf{A}\vec{x}|{|}_{\infty }=\underset{1\le i\le m}{\max }|a_{i1}{x}_1+a_{i2}{x}_2+\cdots +a_{in}{x}_n|\\ & \\ & \le \underset{1\le i\le m}{\max }(|a_{i1}||x_1|+|a_{i2}||x_2|+\cdots +|a_{in}||x_n|)\\ & \\ & \le \underset{1\le i\le m}{\max }(|a_{i1}|+|a_{i2}|+\cdots +|a_{in}|)\cdot ||\vec{x}|{|}_{\infty }\\ & \\ & =\underset{i}{\max }\left(\sum _{j=1}^n|a_{ij}|\right)\cdot ||\vec{x}|{|}_{\infty }\end{array}$$
故，
$$\forall \vec{x}\ne 0，\frac{||\mathbf{A}\vec{x}|{|}_{\infty }}{||\vec{x}|{|}_{\infty }}\le \underset{i}{\max }\left(\sum _{j=1}^n|a_{ij}|\right)$$
设 $\mathbf{A}$ 第 $k$ 行的元素绝对值之和最大，并取 ${\vec{x}}_0=[sgn(x_1),sgn(x_2),\dots ,sgn(x_n)]$， 则有：
$$\underset{i}{\max }\left(\sum _{j=1}^n|a_{ij}|\right)=||\mathbf{A}{\vec{x}}_0|{|}_{\infty }，||{\vec{x}}_0|{|}_{\infty }=1$$
这说明：
$$\underset{||\vec{x}||\ne 0}{\max }\left(\frac{||\mathbf{A}\vec{x}|{|}_{\infty }}{||\vec{x}|{|}_{\infty }}\right)=\underset{i}{\max }\left(\sum _{j=1}^n|a_{ij}|\right)(证毕)$$
(3) 由于矩阵 ${\mathbf{A}}^{\mathbf{T}}\mathbf{A}$ 满足：
$$\{\begin{array}{l}({\mathbf{A}}^T\mathbf{A}{)}^T={\mathbf{A}}^T\mathbf{A}\\ \\ {\vec{x}}^T{\mathbf{A}}^T\mathbf{A}\vec{x}=(\mathbf{A}\vec{x},\mathbf{A}\vec{x})\ge 0\end{array}$$
故矩阵 ${\mathbf{A}}^{\mathbf{T}}\mathbf{A}$ 为对称半正定矩阵，设其有特征值：
$${\lambda }_1\ge {\lambda }_2\cdots \ge {\lambda }_n\ge 0$$
分别对应有单位特征向量${\vec{u}}_i(i=1,2,\dots ,n)$，且满足
$${\vec{u}}_i\cdot {\vec{u}}_j={\delta }_{ij}$$
对于任意 $\vec{x}=\sum _{i=1}^n{c}_i{\vec{u}}_i\ne 0$ 有：
$$\frac{||\mathbf{A}\vec{x}|{|}_2}{||\vec{x}|{|}_2}=\frac{(\vec{x},{\mathbf{A}}^{\mathbf{T}}\mathbf{A}\vec{x})}{(\vec{x},\vec{x})}=\sqrt{\frac{\sum _{i=1}^n{c}_i^2{\lambda }_i}{\sum _{i=1}^n{c}_i^2}}\le \sqrt{{\lambda }_1}$$
取 ${\vec{x}}_0={\vec{u}}_1$ 则有：
$$\frac{||\mathbf{A}{\vec{x}}_0|{|}_2}{||{\vec{x}}_0|{|}_2}=\sqrt{{\lambda }_1}$$
说明：
$$\underset{||\vec{x}||\ne 0}{\max }\frac{||\mathbf{A}\vec{x}|{|}_2}{||\vec{x}|{|}_2}=\sqrt{{\lambda }_1}(证毕)$$

定理 若 $||\mathbf{B}|{|}_v<1$ 则 $\mathbf{E}\pm \mathbf{B}$ 为可逆矩阵，且
$$||{\mathbf{E}\pm \mathbf{B}}^{-1}|{|}_v\le \frac{1}{1-||\mathbf{B}|{|}_v}$$

证明：若$\mathbf{E}\pm \mathbf{B}$ 为不可逆，则
$$(\mathbf{E}\pm \mathbf{B})\vec{x}=0$$
存在非零解，即存在${\vec{x}}_0\ne 0$使得
$$\mathbf{B}{\vec{x}}_0=\mp {\vec{x}}_0⟹||\mathbf{B}|{|}_v=\frac{||\mathbf{B}{\vec{x}}_0||}{||{\vec{x}}_0||}=1(矛盾)$$
又由于
$$(\mathbf{E}\pm \mathbf{B}{)}^{-1}(\mathbf{E}\pm \mathbf{B})=\mathbf{E}⟹(\mathbf{E}\pm \mathbf{B}{)}^{-1}=\mathbf{E}\mp \mathbf{B}(\mathbf{E}\pm \mathbf{B}{)}^{-1}$$
故
$$||(\mathbf{E}\pm \mathbf{B}{)}^{-1}|{|}_v\le ||\mathbf{E}|{|}_v+||\mathbf{B}|{|}_v\cdot ||(\mathbf{E}\pm \mathbf{B}{)}^{-1}|{|}_v=1+||\mathbf{B}|{|}_v\cdot ||(\mathbf{E}\pm \mathbf{B}{)}^{-1}|{|}_v$$
即
$$||(\mathbf{E}\pm \mathbf{B}{)}^{-1}|{|}_v\le \frac{1}{1-||\mathbf{B}|{|}_v}(证毕)$$