线性代数拾遗（6）—— 向量空间投影与投影矩阵

• 参考：麻省理工线性代数
• 阅读本文前请先了解矩阵四个基本子空间，参考：线性代数拾遗（5） —— 矩阵的四个基本子空间

1. 向量投影到一维空间（向量间投影）

• 考察二维平面投影，如下将向量 $b$ 投影到向量 $a$ 方向，得到 $a$ 的子空间中的向量 $p$，假设是 $a$ 的 $x$ 倍
  

  如图可见 $b-p$ 可以衡量 $a,b$ 间的误差，它与向量 $a$ 正交，內积为 0，即有
  $$\begin{array}{rl}& a^{\top }(b-p)=a^{\top }(b-xa)=0\\ & \Rightarrow x=\frac{a^{\top }b}{a^{\top }a}\\ & \Rightarrow p=ax=a\frac{a^{\top }b}{a^{\top }a}=(\frac{a{a}^{\top }}{a^{\top }a})b\end{array}$$ 这时，我们把 $\frac{\mathbf{a}{\mathbf{a}}^{\top }}{{\mathbf{a}}^{\top }\mathbf{a}}$ 称为 投影矩阵，记为 $P$，用它左乘原始向量 $b$ 就得到投影向量 $p$，即 $Pb=p$

• 两种特殊情况

  1. 若 $b$ 和 $a$ 平行，有 $Pb=b$
  2. 若 $b$ 和 $a$ 正交，有 $Pb=0$

  二维空间中，平行和正交于向量 $a$ 的两个向量构成一组基，可以线性表出任意向量，投影本质就是保留平行部分而消除正交部分

• 研究投影矩阵 $P=\frac{\mathbf{a}{\mathbf{a}}^{\top }}{{\mathbf{a}}^{\top }\mathbf{a}}$ 性质

  1. 分子 ${\mathbf{a}}^{\top }\mathbf{a}$ 是向量內积，是个常数，不管它
  2. 分子 $\mathbf{a}{\mathbf{a}}^{\top }$，这是个矩阵，显然有 $\text{rank}(A)=1$，其列空间就是 $ka$，因此用投影矩阵左乘向量会把向量变换到其列空间 $ka$ 中，实现投影

     注：用矩阵左乘一个向量时，相当于对这个矩阵的列向量做线性组合，得到的向量位于矩阵的列空间中

  3. $\mathbf{a}{\mathbf{a}}^{\top }$ 对称，所以 $p$ 是对称矩阵，$P=P^{\top }$
  4. 重复投影两次，结果不变，即有 $P^2=P$

     这个也可以简单地展开计算验证

• 另外提一句， 假设向量 $a,b$ 夹角为 $\theta$，常见的向量内积 $$a^{\top }b=||b||\cdot ||a||\cdot cos(\theta )$$ 计算的就是一个向量的模乘以另一个向量在此向量上投影的模长。如果把其中某一个向量的模长设为1（即变为单位向量），最后再乘以该向量，就得到投影向量，即
  $$\begin{gathered} a投影到单位向量b为：(a^{\top }b)b=(b^{\top }a)b=||a||cos(\theta )b，其中||b||=1 \\ b投影到单位向量a为：(a^{\top }b)a=(b^{\top }a)a=||b||cos(\theta )a，其中||a||=1 \end{gathered}$$ 当投影方向不是单位向量时，增加其模的倒数进行缩放，如上图中的 $p=||b||cos(\theta )\frac{\mathbf{a}}{||\mathbf{a}||}$

2. 向量投影到多维空间

2.1 计算方法

• 完全和第 1 节中二维情况完全类似，现有矩阵 $A$，将向量 $b$ 投影到 $A$ 列向量 $a_1,a_2,...,a_n$ 张成的空间中得到 $p$。三维情况示意图如下
  可见这时仍有 $e=b-p$ 可以衡量 $b$ 和 $A$ 列空间间的误差，我们希望希望二者正交（也就是希望误差最小化），这意味着 $b$ 与 $A$ 的所有列向量正交，內积均为 0；另一方面，这时 $p$ 在 $A$ 列空间中，故能用 $A$ 的列向量线性表示，设 $p=A\hat{x}$，则有
       [ a 1 ⊤ a 2 ⊤ ⋮ a m ⊤ ] ( b − p ) = [ a 1 ⊤ a 2 ⊤ ⋮ a m ⊤ ] ( b − A x ^ ) = [ 0 0 ⋮ 0 ] ⇒ A ⊤ ( b − A x ^ ) = 0 ⇒ x ^ = ( A ⊤ A ) − 1 A ⊤ b ⇒ p = A x ^ = A ( A ⊤ A ) − 1 A ⊤ b \begin{aligned} &\space\space\space\space\begin{bmatrix} \pmb{a}_1^\top \\ \pmb{a}_2^\top \\ \vdots\\ \pmb{a}_m^\top \end{bmatrix} (\pmb{b-p}) = \begin{bmatrix} \pmb{a}_1^\top \\ \pmb{a}_2^\top \\ \vdots\\ \pmb{a}_m^\top \end{bmatrix} (\pmb{b}-\pmb{A}\pmb{\hat{x}}) = \begin{bmatrix} \pmb{0}\\ \pmb{0} \\ \vdots\\ \pmb{0} \end{bmatrix} \\ &\Rightarrow \pmb{A^\top}(\pmb{b-\pmb{A}\hat{x}}) = \pmb{0}\\ &\Rightarrow \pmb{\hat{x}} = (\pmb{A^\top A})^{-1}\pmb{A^\top b} \\ &\Rightarrow \pmb{p} = \pmb{A\hat{x}} = \pmb{A}(\pmb{A^\top A})^{-1}\pmb{A^\top b} \end{aligned} ​     ​a1⊤​a2⊤​⋮am⊤​​ ​(b−p)= ​a1⊤​a2⊤​⋮am⊤​​ ​(b−Ax^)= ​00⋮0​ ​⇒A⊤(b−Ax^)=0⇒x^=(A⊤A)−1A⊤b⇒p=Ax^=A(A⊤A)−1A⊤b​ 这时，我们把 $A(A^{\top }A{)}^{-1}{A}^{\top }$ 称为 投影矩阵，记为 $P$，用它左乘原始向量 $b$ 就得到投影向量 $p$，即 $Pb=p$。

• 两种特殊情况

  1. 若 $b\in C(A)$，有 $Pb=b$

     这时 $b=Ax$ 是 $A$ 的线性组合，有 $Pb=A(A^{\top }A{)}^{-1}{A}^{\top }Ax=Ax=b$

  2. 若 $b\perp C(A)$，即 $b\in N(A^{\top })$，有 $Pb=0$

     这时 $A^{\top }b=0$，有 $Pb=A(A^{\top }A{)}^{-1}{A}^{\top }x=0$

  $m$ 维（$A$ 列向量尺寸）空间可以分解为 $C(A)$ 和 $N(A^{\top })$ 的正交直和，因此这两个空间的基放在一起就构成 $m$ 维空间的一组基，可以线性表出任意向量，投影本质就是保留 $C(A)$ 中部分而消除 $N(A^{\top })$ 中部分，可以用子空间关系图如下表示
  
  如图可见，除了上述投影 $Pb=p$ 把 $b$ 投影到 $C(A)$ 中以外，还有另一个投影 $(I-P)b=e$ 将 $b$ 投影到 $N(A^{\top })$ 中，可见当 $P$ 是投影矩阵时，$I-P$ 也是一个投影矩阵

• 研究投影矩阵 $P=A(A^{\top }A{)}^{-1}{A}^{\top }$ 性质文章来源地址https://www.toymoban.com/news/detail-466210.html

  1. 当 $A$ 非方阵时，$A$ 列满秩 $\iff A^{\top }A$ 可逆，
  2. 当 $A$ 是可逆方阵时，其中的括号可以打开，这时有 $P=I$，即投影矩阵做的是恒等映射。确实如此，因为 $A$ 可逆，意味着列满秩，其列空间是整个 $n$ 维空间，投影前后都在同一个空间中，那么恒等映射显然是误差最小的
  3. 简单计算即可得到 $P$ 是对称矩阵，即有 $P=P^{\top }$
  4. 重复投影两次，结果不变，即有 $P^2=P$，也可从代数角度简单计算验证
  5. $P$ 是投影矩阵时，$I-P$ 也是一个投影矩阵

2.2 意义

• 现实生活中常有这样的应用：根据一些测量值求解另一些值，比如根据卫星与几个基站的通讯延时测量其位置。这其实就是在解方程，通常一组观测值解出一个结果，为了提高准确性，通常会收集很多数据，这样就联立到得到方程组 $$Ax=b$$一般情况下样本量远大于未知数个数，即 $A_{m\times n}$ 中 $m>>n$，这样的超定方程很难有解析解，除非其中含有多达 $m-n$ 个无效约束，因为我们没法对非方阵的 $A$ 求逆来得到 $x=A^{-1}b$
• 这时我们可以不断地去除方程，直到剩下的方程组有解为止，但这会造成数据浪费。另一种更好的方法是找一个和已知数据 “误差最小” 的解，设这个近似解为 $\hat{x}$，我们有
  $$A\hat{x}=p$$ 第 1 节中已分析过，我们这时是通过矩阵 $A$ 左乘，把向量 $\hat{x}$ 变换到了 $A$ 的列空间中得到 $p$，为了保证 “误差最小” ，这时 $p$ 应当是 $b$ 在 $A$ 列空间中的投影
• 一句话说，可以利用空间投影估计无解线性方程组的最小误差解，基于这个原理可以得到最小二乘法

到了这里，关于线性代数拾遗（6）—— 向量空间投影与投影矩阵的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！