17正交矩阵和Gram-Schmidt正交化

一、标准正交向量（Orthonormal Vector）

在$\mathbb{R}$ 中，两个向量内积（Inner product）和点积（Dot product）是同一个概念，也就是内积与点积一样。但在 $\mathbb{C}$中，点积仍然被定义为对应元素相乘，而内积则被附加了共轭以保证物理性质。

对于两个向量 $v$ 和 $w$，如果它们之间的内积为0，那么它们被称为正交。如果它们的长度是标准的1，那么这两向量除了正交还被赋予标准的“title”。也就是这两个向量是互为标准正交向量。如果把多个标准向量放在一个集合中，那么集合叫做标准向量组（集合）。设$q$是标准正交向量组的任意向量，那么：
$$q_i^T{q}_j=\{\begin{array}{rl}& 0(i\ne j)\\ & 1(i=j)\end{array}\text{\hspace{1em}(1)}$$

将向量$q_1$ $q_2$ $\cdots$ $q_n$作为矩阵的列按顺序组合成一个新的矩阵，记为$M$，显然：

• $M^{T}M=I$
  M T M = [ q 1 q 2 ⋯ q n ] T [ q 1 q 2 ⋯ q n ] = [ q 1 T q 2 T ⋮ q n T ] [ q 1 q 2 ⋯ q n ] = [ q 1 T q 1 q 1 T q 2 ⋯ q 1 T q n q 2 T q 1 q 2 T q 2 ⋯ q 2 T q n ⋮ ⋮ ⋮ ⋮ q 1 T q 1 q 1 T q 2 ⋯ q 1 T q n ] = [ 1 0 ⋯ 0 0 1 ⋯ 0 ⋯ ⋯ ⋯ ⋯ 0 0 ⋯ 1 ] = I M^TM=\begin{bmatrix} q_1 &q_2 \cdots q_n \end{bmatrix}^T\begin{bmatrix} q_1 &q_2 \cdots q_n \end{bmatrix}\\=\begin{bmatrix} q_1^T \\q_2^T\\ \vdots \\q_n^T \end{bmatrix}\begin{bmatrix} q_1 &q_2 \cdots q_n \end{bmatrix}=\begin{bmatrix} q_1^Tq_1 &q_1^Tq_2& \cdots &q_1^Tq_n\\ q_2^Tq_1 &q_2^Tq_2 &\cdots &q_2^Tq_n\\ \vdots &\vdots &\vdots &\vdots \\ q_1^Tq_1 &q_1^Tq_2& \cdots& q_1^Tq_n \end{bmatrix}=\begin{bmatrix}1&0& \cdots&0\\0&1& \cdots&0\\\cdots& \cdots& \cdots& \cdots\\0&0& \cdots&1\end{bmatrix}=I MTM=[q1​​q2​⋯qn​​]T[q1​​q2​⋯qn​​]= ​q1T​q2T​⋮qnT​​ ​[q1​​q2​⋯qn​​]= ​q1T​q1​q2T​q1​⋮q1T​q1​​q1T​q2​q2T​q2​⋮q1T​q2​​⋯⋯⋮⋯​q1T​qn​q2T​qn​⋮q1T​qn​​ ​= ​10⋯0​01⋯0​⋯⋯⋯⋯​00⋯1​ ​=I

如果一个矩阵是由标准正交向量组成的，它不能被称为标准正交矩阵。因为线性代数规定一个标准正交向量必须是一个方阵，只有“方方正正”才能被称为标准正交矩阵，简称正交矩阵（Orthogonal matrix），记为$Q$。

我们在谈论正交矩阵时，意味着我们在讨论的是标准正交矩阵，也就是$Q$

对于一个正交矩阵$Q$，因为$Q^{T}Q=I$，所以：
$$Q^T=Q^{-1}$$

验证一下正交矩阵$Q$的逆等于$Q^T$：
Q Q T = [ 0 0 1 1 0 0 0 1 0 ] [ 0 1 0 0 0 1 1 0 0 ] = I QQ^T=\begin{bmatrix} 0&0&1\\1&0&0\\0&1&0 \end{bmatrix}\begin{bmatrix} 0&1&0\\0&0&1\\1&0&0 \end{bmatrix}=I QQT= ​010​001​100​ ​ ​001​100​010​ ​=I
看上去确实如此。

正交矩阵$Q$是由单位正交向量组成的方阵，如果有一列不为单位向量，那么他就不可能是正交矩阵。

再来看另一个例子：
$$\left[\begin{array}{cc}\cos \theta & -\sin \theta \\ \sin \theta & \cos \theta \end{array}\right]$$
随着$\theta$的变换，能形成无数多个正交矩阵。

如果一个矩阵是一个正交矩阵，那么：

• 逆矩阵和转置相等。$Q^T=Q^{-1}$；
• 任意列向量与非自身列向量正交；
• 任意列向量长度为1；
• 行列式为1或者-1；

为什么正交矩阵行列式不是-1就是1？证明的关键在于矩阵转置不改变矩阵的行列式。因为 $Q{Q}^T=I$ 所以有 $|Q||Q^T|=1$，结合矩阵转置不改变行列式的逆，所以有：$|Q{|}^2=1$，也就是$|Q|=\pm 1$，问题得证。

二、正交矩阵带来的简化

2.1 求解线性方程组的简化

对于线性方程组：
$$Ax=b$$
如果 $A=Q$ 那么有：
$$Qx=b$$
因为 $Q^{-1}=Q^T$ ，所以：
$$x=Q^{T}b$$
也就是说如果系数矩阵 $A$ 是一个正交矩阵，我们通过逆解来求得方程组的解，方程组的解可以通过系数矩阵列向量点乘 $b$ 向量给出。

2.2 投影矩阵 P P P

如果投影的子空间对应的列向量是一个正交矩阵 $Q$ ，那么对应的投影矩阵 $P$ 是一个单位向量。

$$P=A(A^{T}A{)}^{-1}{A}^T$$
如果矩阵$A$是一个$Q$，那么：
$$P=Q(Q^{T}Q{)}^{-1}{Q}^T=I$$
正交矩阵的投影矩阵$P$是单位矩阵，也就是：
$$p=Pb=b$$
这个告诉我们，如果一个向量往一个单位正交列向量构成的子空间投影，那么向量后将会保持不变。

2.3 线性拟合方程

不仅对于$Ax=b$ 有解情况有所简化，对于拟合方程组也会带来简化：
$$A^{T}b=A^{T}A\hat{x}$$
若$A$是一个$Q$，那么：
$$Q^{T}b=Q^{T}Q\hat{x}$$
因为$Q^{T}Q=I$，所以：
$$\hat{x}=Q^{T}b$$

对于$\hat{x}$的每一个分量$x_i$有：
$$x_i=q_i^{T}b$$
也就是说，一个正交矩阵的列向量与$b$的点积为$x_i$的一个结果。

三、Gram-Schmidt正交化

与前面的的矩阵分解为上三角函数不同，这一次我们将对矩阵进行正交化，使得矩阵中的列向量组是正交向量组，也就是正交矩阵：

• 长度为1
• 相互正交

假如我们有一组线性无关的向量$a$和$b$：

显然这两个向量的不是一组正交单位向量组，怎么将这两个向量转换成正交向量$A$和$B$?

联系之前学的投影知识，把$b$投影至$a$，再将$b$投影至与$a$正交的向量上：

可以取：
$$\begin{gathered} A=a \\ B=b-\frac{A^{T}b}{A^{T}A}A \end{gathered}$$
这样一来，两个非正交的向量组$a$ $b$就求得了正交向量组$A$ $B$。此时，向量$A$和向量$B$并不是正交的，所以需要对他们进行单位化操作：

Schmidt给出了单位化两个向量的方法：
$$q_1=\frac{A}{||A||}{q}_2=\frac{B}{||B||}$$

个人理解，给定任意线性无关的向量组$A$，我们都能找到与之对应的线性无关正交向量组$A^{\prime }$。

对于三个线性无关的向量又该如何进行正交化？

一样的思路：

• 将$a$向量直接作为正交向量组的第一个向量
  $$A=a$$
• 考虑$b$，将向量$b$向$A$得到投影向量$p$，与向量$A$正交的向量记为$B$，同时也是要求的第二个向量：
  $$B=b-\frac{A^{T}b}{A^{T}A}A$$
• 考虑$c$，将$c$分别投影至两个向量，得到$p_1$和$p_2$，因为$C+p_1+p_2=c$，故：
  $$C=c-\frac{A^{T}c}{A^{T}A}A-\frac{B^{T}c}{B^{T}B}B$$
• 最后别忘了对他们进行单位化
  $$q_1=\frac{A}{||A||}{q}_2=\frac{B}{||B||}{q}_3=\frac{C}{||C||}$$

最后举一个简单的例子：

假设有两个线性无关的向量 a = [ 1 1 1 ] a=\begin{bmatrix}1\\1\\1\end{bmatrix} a= ​111​ ​和 b = [ 1 0 2 ] b=\begin{bmatrix}1\\0\\2\end{bmatrix} b= ​102​ ​，利用Gram-Schmidt求其对应的正交矩阵。

简单的套用公式:
$$\begin{gathered} A=a \\ B=b-\frac{A^{T}b}{A^{T}A}A \end{gathered}$$
容易得：
A = a = [ 1 1 1 ] B = [ 1 0 2 ] − 3 3 [ 1 1 1 ] = [ 0 − 1 1 ] A=a=\begin{bmatrix}1\\1\\1\end{bmatrix} B=\begin{bmatrix}1\\0\\2\end{bmatrix}-\frac{3}{3}\begin{bmatrix}1\\1\\1\end{bmatrix}=\begin{bmatrix}0\\-1\\1\end{bmatrix} A=a= ​111​ ​B= ​102​ ​−33​ ​111​ ​= ​0−11​ ​
最后将其正交化，得到正交矩阵$Q$
Q = [ q 1 q 2 ] = [ 1 / 3 0 1 / 3 − 1 / 2 1 / 3 1 / 2 ] Q=\begin{bmatrix}q_1&q_2\end{bmatrix}=\begin{bmatrix}1/\sqrt{3}&0\\1/\sqrt{3}&-1/\sqrt{2}\\1/\sqrt{3}&1/\sqrt{2}\end{bmatrix} Q=[q1​​q2​​]= ​1/3 ​1/3 ​1/3 ​​0−1/2 ​1/2 ​​ ​
对比正交前矩阵$A$：
A = [ 1 1 1 0 1 2 ] A=\begin{bmatrix}1&1\\1&0\\1&2\end{bmatrix} A= ​111​102​ ​
为什么我们将矩阵$A$变成更加复杂得（有很多根号）的正交矩阵？

• 正交化后矩阵的列空间与变化前相同

从矩阵分解的角度，消元法是$A=LU$，而正交化则是$A=QR$，其中$R$矩阵是一个上三角矩阵。

对于上面这个例子，$A=QR$分解其实是：
$$A=\left[\begin{array}{cc}{a}_1& a_2\end{array}\right]$$
$$Q=\left[\begin{array}{cc}{q}_1& q_2\end{array}\right]$$
$$R=\left[\begin{array}{cc}{a}_1^T{q}_1& a_2^T{q}_1\\ a_1^T{q}_2& a_2^T{q}_2\end{array}\right]$$
显然$q_1$在$a_1$上，所以不为0，但是$q_2$与$a_1$正交，故$a_1^T{q}_2=0$，也就是：
$$R=\left[\begin{array}{cc}{a}_1^T{q}_1& a_2^T{q}_1\\ 0& a_2^T{q}_2\end{array}\right]$$
确实是一个上三角矩阵。文章来源地址https://www.toymoban.com/news/detail-451664.html

到了这里，关于17正交矩阵和Gram-Schmidt正交化的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！