线性代数系列（十一）--正交矩阵和正交化

主要内容

Thingcor

22297人浏览 · 2019-08-13 15:01:17

Thingcor · 2019-08-13 15:01:17 发布

主要内容

标准正交基
正交矩阵
施密特正交化法

正文

标准正交基

先从字面意义上解读一下，然后再给出几个示例。正交意味着垂直，所以正交基就是说这一个基中的所有向量都是垂直的。而标准意味着，这组基中的向量都是单位向量，长度都为1。所以标准正交基实际上就是一个标准正交向量组。例如： $\begin{bmatrix}1\\0\\0\end{bmatrix}\begin{bmatrix}0\\1\\0\end{bmatrix}\begin{bmatrix}0\\0\\1\end{bmatrix}$ $\begin{bmatrix}cos\theta\\sin\theta\end{bmatrix}\begin{bmatrix}-sin\theta\\cos\theta\end{bmatrix}$ 使用数学公式表达这个定义为： $q^T_iq_j=\begin{cases}0\qquad if&i\ne j \\1\qquad if&i=j\end{cases}$

正交矩阵

实际上正交矩阵是一个简称，它的全称是标准正交方阵，它要求矩阵不仅是标准正交矩阵还得是方阵。

像上面的那个例子，我们将三个标准正交向量也就是一个标准正交向量组放到一个矩阵中，在这个矩阵中，每两列都是正交的，并且每列的长度都是 $1$ ，该矩阵显然是一个方阵，所以这个矩阵就是一个正交矩阵。如下： $\begin{bmatrix}1&0&0\\0&1&0\\0&0&1\end{bmatrix}$ 现在我们将这个矩阵记为 $Q$ ，他是由一组标准正交基 $q$ 组成的： $Q=\begin{bmatrix}:&&:\\q_1&&q_n\\:&&:\end{bmatrix}$ 我们可以发现 $Q^TQ=I$ 。这里就不给出证明了。由 $Q^{-1}Q=I$ ，再结合前面的式子我们可以知道 $Q^{-1}=Q^T$ ，这是正交矩阵特有的性质。

作用： 不知道正交矩阵是在研究投影的过程中产生的还是在什么时候产生的，但是它方便了投影上的计算。最重要的地方在于正交矩阵具有一个特殊的性质 $Q^TQ=I$ ，这个性质对于所有的 $Q$ 都是成立的，而不限制 $Q$ 是否是方阵或者是长方形矩阵。对于 $A x = b$ ，我们知道，投影矩阵为 $P=A(A^TA)^{-1}A^T$ 我们通过标准正交化，将 $A$ 化成 $Q$ 之后，再使用这个公式： $P=Q(Q^TQ)^{-1}Q^T=QQ^T$ 也就是说，正交矩阵简化了这个运算，使用正交矩阵计算投影矩阵的时候，我们会发现不用再求逆，而求逆是非常耗费计算量的，所以它应该是大大的减少了计算量。对于方阵而言， 我们可以得到 $QQ^T=I$ ，即 $P = I$ 。这是代数上的表示，在几何上分析可以发现：一个正交的方阵，也就是矩阵的所有列都是线性无关的，它的列空间就是整个空间。空间中的某个向量在向列空间上投影时，就是在向整个空间投影，得到的仍然是原来的位置。这就是 $P = I$ 的原因。 $\hat{x}=(A^TA)^{-1}A^Tb$ 现在 $A$ 化成了 $Q$ ，所以我们有下面的式子： $\hat{x}=(Q^TQ)^{-1}Q^Tb=Q^Tb$

施密特正交化法

正交矩阵简化了投影运算，于是如何将 $A$ 转变成 $Q$ 就成了问题，这就要用到Gram-Schmidt正交化法。

先分析一下简单的情况：两个线性无关的向量 $a$ ， $b$ ，我们想要得到它们的一组标准正交基。之前我们学习过的投影保留列空间中的分量，而扔掉垂直于列空间的分量。相反，这次我们想保留垂直于列空间的分量，因为我们要找的就是垂直。
在这里插入图片描述
像这种情况，我们想保留分量 $B$ ，扔掉分量 $p$ 。（这里 $A = a$ ，因为我们将 $a$ 作为第一个基 $A$ ） $B = b - p$ 而且根据之前的内容，我们可以得 $p=\frac{A^Tb}{A^TA}A$ ，带入到上式中可得： $B=b-\frac{A^Tb}{A^TA}A$ 至此我们得到了 $A, B$ ，然后再将他们标准化： $q_1=\frac{A}{||A||}\qquad q_2=\frac{B}{||B||}$ $Q=\begin{bmatrix}q_1&q_2\end{bmatrix}$
然后我们将这种方法扩展到 $3$ 维的情况，在进一步扩展到高维的情况时，跟这种扩展方法是类似的。有三个线性无关的向量 $a, b, c$ 如图：
在这里插入图片描述
我们仍然保留 $a$ 做第一个基，类似前面的方法， $b$ 减去在 $A$ 上的分量，保留垂直分量，做第二个基。 $B=b-\frac{A^Tb}{A^TA}A$ 采用同样的思想， $c$ 减去在 $A, B$ 上的分量，保留垂直于它们的分量做第三个基： $C=c-\frac{A^Tc}{A^TA}A-\frac{B^Tc}{B^TB}B$ 然后我们再标准化： $q_1=\frac{A}{||A||}\qquad q_2=\frac{B}{||B||}\qquad q_3=\frac{C}{||C||}$ 最后我们得到正交化矩阵 $Q=\begin{bmatrix}q_1&q_2&q_3\end{bmatrix}$ 实际上，并没有什么特殊的地方，这个正交化的过程就是逐步减去在已有基上的分量的过程，最终保留了垂直于已有基的分量作为新的基。