【矩阵论】1.准备知识——Hermite阵，二次型，矩阵合同，正定阵，幂0阵，幂等阵，矩阵的秩

矩阵论的所有文章，主要内容参考北航赵迪老师的课件

[注]由于矩阵论对计算机比较重要，所以选修了这门课，但不是专业搞数学的，所以存在很多口语化描述，而且对很多东西理解不是很正确与透彻，欢迎大家指正。我可能间歇性忙，但有空一定会回复修改的。

矩阵论
1. 准备知识——复数域上矩阵,Hermite变换)
1.准备知识——复数域上的内积域正交阵
1.准备知识——Hermite阵，二次型，矩阵合同，正定阵，幂0阵，幂等阵，矩阵的秩
2. 矩阵分解——SVD准备知识——奇异值
2. 矩阵分解——SVD
2. 矩阵分解——QR分解
2. 矩阵分解——正定阵分解
2. 矩阵分解——单阵谱分解
2. 矩阵分解——正规分解——正规阵
2. 矩阵分解——正规谱分解
2. 矩阵分解——高低分解
3. 矩阵函数——常见解析函数
3. 矩阵函数——谱公式,幂0与泰勒计算矩阵函数
3. 矩阵函数——矩阵函数求导
4. 矩阵运算——观察法求矩阵特征值特征向量
4. 矩阵运算——张量积
4. 矩阵运算——矩阵拉直
4.矩阵运算——广义逆——加号逆定义性质与特殊矩阵的加号逆
4. 矩阵运算——广义逆——加号逆的计算
4. 矩阵运算——广义逆——加号逆应用
4. 矩阵运算——广义逆——减号逆
5. 线性空间与线性变换——线性空间
5. 线性空间与线性变换——生成子空间
5. 线性空间与线性变换——线性映射与自然基分解,线性变换
6. 正规方程与矩阵方程求解
7. 范数理论——基本概念——向量范数与矩阵范数
7.范数理论——基本概念——矩阵范数生成向量范数&谱范不等式
7. 矩阵理论——算子范数
7.范数理论——范数估计——许尔估计&谱估计
7. 范数理论——非负/正矩阵
8. 常用矩阵总结——秩1矩阵，优阵(单位正交阵)，Hermite阵
8. 常用矩阵总结——镜面阵，正定阵
8. 常用矩阵总结——单阵，正规阵，幂0阵，幂等阵，循环阵

1.8 特殊矩阵的乘积

1.8.1 对角阵的乘积

Λ = ( λ 1 λ 2 ⋱ λ n ) Λ H Λ = ( λ 1 ‾ λ 1 λ 2 ‾ λ 2 ⋱ λ n ‾ λ n ) = ( ∣ λ 1 ∣ 2 ∣ λ 2 ∣ 2 ⋱ ∣ λ n ∣ 2 ) \begin{aligned} &\Lambda=\left( \begin{matrix} \lambda_1 &\quad&\quad&\quad\\ \quad &\lambda_2 &\quad&\quad\\ \quad &\quad &\ddots&\quad\\ \quad &\quad &\quad&\lambda_n\\ \end{matrix} \right)\\ &\Lambda^H\Lambda=\left( \begin{matrix} \overline{\lambda_1}\lambda_1&\quad&\quad&\quad\\ &\overline{\lambda_2}\lambda_2 &\quad&\quad\\ &&\ddots&\quad\\ &&&\overline{\lambda_n}\lambda_n\\ \end{matrix} \right) =\left( \begin{matrix} \vert \lambda_1\vert^2 &\quad&\quad&\quad\\ &\vert \lambda_2\vert^2 &\quad&\quad\\ &&\ddots&\quad\\ &&&\vert \lambda_n\vert^2\\ \end{matrix} \right) \end{aligned} ​Λ= ​λ1​​λ2​​⋱​λn​​ ​ΛHΛ= ​λ1​​λ1​​λ2​​λ2​​⋱​λn​​λn​​ ​= ​∣λ1​∣2​∣λ2​∣2​⋱​∣λn​∣2​ ​​

1.8.2 上三角阵的乘积

1.9 特商公式

$$\begin{array}{rl}& {\lambda }_1=\frac{X^{H}AX}{|X{|}^2},其中(X\ne 0为{\lambda }_1的一个特征向量)\\ & \\ & 证明:X^{H}AX=X^H\lambda X=\lambda X^{H}X=\lambda |X{|}^2(|X{|}^2>0)\end{array}$$

1.10 许尔公式(上三角)

1.10.1 Xhur 1-1

任一方阵，$A\in C^{n\times n}$ ，必存在可逆阵 $P$ ，使 $P^{-1}AP=B$ ， B = ( λ 1 ∗ ⋯ ∗ 0 λ 2 ⋯ ∗ ⋮ ⋮ ⋱ ⋮ 0 0 ⋯ λ n ) B=\left( \begin{matrix} \lambda_1&*&\cdots&*\\ 0&\lambda_2&\cdots&*\\ \vdots&\vdots &\ddots&\vdots\\ 0&0 &\cdots&\lambda_n\\ \end{matrix} \right) B= ​λ1​0⋮0​∗λ2​⋮0​⋯⋯⋱⋯​∗∗⋮λn​​ ​ 为上三角阵

若当型

由Xhur公式1-1，一定 $\exists$ 更好的可逆阵 $P$ ，使得 P − 1 A P = B = ( λ 1 ∗ λ 2 ∗ ⋱ ∗ λ n ) P^{-1}AP=B=\left( \begin{matrix} \lambda_1&*&&\\ &\lambda_2&*&\\ &&\ddots&*\\ &&&\lambda_n \end{matrix} \right) P−1AP=B= ​λ1​​∗λ2​​∗⋱​∗λn​​ ​ ，其中 $\ast$ 为 $0或1$ ，也称为双线上三角

1.10.2 Xhur 1-2

任一方阵，$A\in C^{n\times n}$ ，必存在优阵 $Q$ ，使 $Q^{-1}AQ=Q^{H}AQ=B$ ， B = ( λ 1 ∗ ⋯ ∗ 0 λ 2 ⋯ ∗ ⋮ ⋮ ⋱ ⋮ 0 0 ⋯ λ n ) B=\left( \begin{matrix} \lambda_1&*&\cdots&*\\ 0&\lambda_2&\cdots&*\\ \vdots&\vdots &\ddots&\vdots\\ 0&0 &\cdots&\lambda_n\\ \end{matrix} \right) B= ​λ1​0⋮0​∗λ2​⋮0​⋯⋯⋱⋯​∗∗⋮λn​​ ​ 为上三角阵

• 每个矩阵都优相似于上三角阵

1.11 H阵

定义：$A^H=A$ ，则矩阵为 $A$

1.11.1 性质

a. 对角线上元素都是实数

证明：

A = ( a 11 ∗ a 22 ⋱ ∗ a n n ) A=\left( \begin{matrix} a_{11}&\quad&\quad &*\\ \quad&a_{22}&\quad&\quad \\ \quad &\quad&\ddots&\quad\\ *&\quad&\quad&a_{nn} \end{matrix} \right) A= ​a11​∗​a22​​⋱​∗ann​​ ​ ，而 A H = ( a 11 ‾ ∗ a 22 ‾ ⋱ ∗ a n n ‾ ) A^H=\left( \begin{matrix} \overline{a_{11}}&\quad&\quad &*\\ \quad&\overline{a_{22}}&\quad&\quad \\ \quad &\quad&\ddots&\quad\\ *&\quad&\quad&\overline{a_{nn}} \end{matrix} \right) AH= ​a11​​∗​a22​​​⋱​∗ann​​​ ​ ，由Hermite性质，$A^H=A$ ，则 $a_{11}=\overline{a_{11}},a_{22}=\overline{a_{22}},...,a_{nn}=\overline{a_{nn}}$ ，可见 Hermite阵对角线元素为实数

b. 特根

若 $A^H=A$ 是Hermite矩阵，则特征根都是实数， { λ 1 , ⋯   , λ n } ∈ R \{\lambda_1,\cdots,\lambda_n\}\in R {λ1​,⋯,λn​}∈R
$$\begin{array}{rl}& 由特商公式\lambda =\frac{X^{H}AX}{|X{|}^2}，其中X\ne 0，为\lambda 的特征向量\\ & 其中|X|\ge 0，为实数.\\ & \therefore 若证\lambda 为实数，即证X^{H}AX为实数\\ & 已知X^{H}AX为一维数字，则只需证明(X^{H}AX{)}^H=X^{H}AX即可,\\ & 已知A=A^H为Hermite矩阵，(X^{H}AX{)}^H=X^H{A}^{H}X=X^{H}AX\in R\end{array}$$

c. 特向

若 $A=A^H\in C^{n\times n}$ ，则 $A$ 有 $n$ 个互相正交的特征向量，即 $X_1\perp X_2\perp ...\perp X_n$
若 A 为 H e r m i t e 阵，则 ∃ U 阵 Q ，使 Q − 1 A Q = Q H A Q = Λ = ( λ 1 ⋱ λ n ) 令 Q = ( X 1 , X 2 , ⋯   , X n ) ，且 X 1 ⊥ X 2 ⊥ . . . ⊥ X n , A Q = Q Λ    ⟺    ( A X 1 A X 2 ⋱ A X n ) = ( λ 1 X 1 λ 2 X 2 ⋱ λ n X n ) 即 X i 为矩阵 A 的 λ i 的特征向量 \begin{aligned} &若A为Hermite阵，则\exist U阵Q，使Q^{-1}AQ=Q^HAQ=\Lambda=\left( \begin{matrix} \lambda_1&&\\ &\ddots&\\ &&\lambda_n \end{matrix} \right)\\ &令Q=(X_1,X_2,\cdots,X_n)，且X_1\bot X_2\bot...\bot X_n,\\ &AQ=Q\Lambda\iff \left( \begin{matrix} AX_1&&\\ &AX_2&&\\ &&\ddots&\\ &&&AX_n \end{matrix} \right)=\left( \begin{matrix} \lambda_1X_1&&&\\ &\lambda_2X_2&&\\ &&\ddots&\\ &&&\lambda_nX_n \end{matrix} \right)\\ &即X_i为矩阵A的\lambda_i的特征向量 \end{aligned} ​若A为Hermite阵，则∃U阵Q，使Q−1AQ=QHAQ=Λ= ​λ1​​⋱​λn​​ ​令Q=(X1​,X2​,⋯,Xn​)，且X1​⊥X2​⊥...⊥Xn​,AQ=QΛ⟺ ​AX1​​AX2​​⋱​AXn​​ ​= ​λ1​X1​​λ2​X2​​⋱​λn​Xn​​ ​即Xi​为矩阵A的λi​的特征向量​

1.11.2 Hermite分解定理(对角阵)

若 $A=A^H$ 是Hermite阵，则存在优阵 $Q$ ,使 Q − 1 A Q = Q H A Q = Λ = ( λ 1 ⋱ λ n ) Q^{-1}AQ=Q^HAQ=\Lambda=\left( \begin{matrix} \lambda_1&\quad&\quad\\ \quad&\ddots&\quad\\ \quad&\quad&\lambda_n \end{matrix} \right) Q−1AQ=QHAQ=Λ= ​λ1​​⋱​λn​​ ​ $A=Q\Lambda Q^{-1}=Q\Lambda Q^H$ ，且 $\lambda (A)\in R$

a. 证明

由许尔公式 ⇒ 有 U 阵 Q 使 Q − 1 A Q = Q H A Q = B = ( λ 1 ∗ ⋯ ∗ 0 λ 2 ⋯ ∗ ⋮ ⋮ ⋱ ⋮ 0 0 ⋯ λ n ) 由 A 是 H e r m i t e 矩阵，则 A H = A , ( Q H A Q ) H = Q H A H Q = Q H A Q = ( λ 1 ‾ 0 ⋯ 0 ∗ λ 2 ‾ ⋯ 0 ⋮ ⋮ ⋱ ⋮ ∗ ∗ ⋯ λ n ‾ ) 由此可见， B 为对角阵，且 λ i 为实数 \begin{aligned} &由许尔公式\Rightarrow 有U阵Q使Q^{-1}AQ=Q^HAQ=B\\ &=\left( \begin{matrix} \lambda_1&*&\cdots&*\\ 0&\lambda_2&\cdots&*\\ \vdots&\vdots &\ddots&\vdots\\ 0&0 &\cdots&\lambda_n\\ \end{matrix} \right)\\ &由A是Hermite矩阵，则A^H=A,(Q^HAQ)^H=Q^HA^HQ=Q^HAQ\\ &=\left( \begin{matrix} \overline{\lambda_1}&0&\cdots&0\\ *&\overline{\lambda_2}&\cdots&0\\ \vdots&\vdots &\ddots&\vdots\\ *&* &\cdots&\overline{\lambda_n}\\ \end{matrix} \right)\\ &由此可见，B为对角阵，且 \lambda_i 为实数 \end{aligned} ​由许尔公式⇒有U阵Q使Q−1AQ=QHAQ=B= ​λ1​0⋮0​∗λ2​⋮0​⋯⋯⋱⋯​∗∗⋮λn​​ ​由A是Hermite矩阵，则AH=A,(QHAQ)H=QHAHQ=QHAQ= ​λ1​​∗⋮∗​0λ2​​⋮∗​⋯⋯⋱⋯​00⋮λn​​​ ​由此可见，B为对角阵，且λi​为实数​

b. 推论

若 $A^H=A$ 是Hermite矩阵，则特征根都是实数， { λ 1 , ⋯   , λ n } ∈ R \{\lambda_1,\cdots,\lambda_n\}\in R {λ1​,⋯,λn​}∈R

证明：
$$\begin{array}{rl}& 由特商公式\lambda =\frac{X^{H}AX}{|X{|}^2}，其中X\ne 0，为\lambda 的特征向量\\ & 其中|X|\ge 0，为实数.\therefore 若证\lambda 为实数，即证X^{H}AX为实数\\ & 已知X^{H}AX为一维数字，则只需证明(X^{H}AX{)}^H=X^{H}AX即可,\\ & 已知A=A^H为Hermite矩阵，(X^{H}AX{)}^H=X^H{A}^{H}X=X^{H}AX\in R\end{array}$$

1.11.3 A H A A^HA AHA 型Hermite矩阵

任一矩阵 $A_{n\times p}，A^{H}A与A{A}^H$ 都是Hermite矩阵
$$\begin{array}{rl}& (A^{H}A{)}^H=A^{H}A,(A{A}^H{)}^H=A\end{array}$$

a. 向量 $X^{H}X$ 的迹

X = ( x 1 x 2 ⋮ x n ) , X H = ( x 1 ‾ , x 2 ‾ , ⋯   , x n ‾ ) t r ( X H X ) = t r ( X X H ) = ∣ x 1 ∣ 2 + ∣ x 2 ∣ 2 + ⋯ ∣ x n ∣ 2 = ∑ ∣ x j ∣ 2 \begin{aligned} &X=\left( \begin{matrix} x_1\\ x_2\\\vdots \\x_n \end{matrix} \right),X^H=(\overline{x_1},\overline{x_2},\cdots,\overline{x_n})\\ &tr(X^HX)=tr(XX^H)=\mid x_1 \mid^2+\mid x_2 \mid^2+\cdots\mid x_n \mid^2=\sum \mid x_j \mid^2 \end{aligned} ​X= ​x1​x2​⋮xn​​ ​,XH=(x1​​,x2​​,⋯,xn​​)tr(XHX)=tr(XXH)=∣x1​∣2+∣x2​∣2+⋯∣xn​∣2=∑∣xj​∣2​

推论
$$\begin{array}{r}tr(X{Y}^H)=tr(Y^{H}X)=x_1\overline{y_1}+\cdots +x_n\overline{y_n}=\sum _{i=1}^n{x}_i\overline{y_i}\end{array}$$

b. $A^{H}A$ 矩阵的迹

A n × p = ( a 11 ⋯ a 1 p ⋮ ⋱ ⋮ a n 1 ⋯ a n p ) ∈ C n × p A_{n\times p}=\left( \begin{matrix} a_{11}&\cdots&a_{1p}\\ \vdots&\ddots&\vdots\\ a_{n1}&\cdots&a_{np} \end{matrix} \right)\in C^{n\times p} An×p​= ​a11​⋮an1​​⋯⋱⋯​a1p​⋮anp​​ ​∈Cn×p ， A p × n H = ( a 11 ‾ ⋯ a n 1 ‾ ⋮ ⋱ ⋮ a 1 p ‾ ⋯ a n p ‾ ) ∈ C p × n A^H_{p\times n}=\left( \begin{matrix} \overline{a_{11}}&\cdots&\overline{a_{n1}}\\ \vdots&\ddots&\vdots\\ \overline{a_{1p}}&\cdots&\overline{a_{np}} \end{matrix} \right)\in C^{p\times n} Ap×nH​= ​a11​​⋮a1p​​​⋯⋱⋯​an1​​⋮anp​​​ ​∈Cp×n
A A H = ( a 11 ⋯ a 1 p ⋮ ⋱ ⋮ a n 1 ⋯ a n p ) ( a 11 ‾ ⋯ a n 1 ‾ ⋮ ⋱ ⋮ a 1 p ‾ ⋯ a n p ‾ ) = ( a 11 a 11 ‾ + a 12 a 12 ‾ + ⋯ + a 1 p a 1 p ‾ ∗ a 21 a 21 ‾ + a 22 a 22 ‾ + ⋯ + a 2 p a 2 p ‾ ⋱ ∗ a n 1 a n 1 ‾ + a n 2 a n 2 ‾ + ⋯ + a n p a n p ‾ ) \begin{aligned} &AA^H=\left( \begin{matrix} a_{11}&\cdots&a_{1p}\\ \vdots&\ddots&\vdots\\ a_{n1}&\cdots&a_{np} \end{matrix} \right)\left( \begin{matrix} \overline{a_{11}}&\cdots&\overline{a_{n1}}\\ \vdots&\ddots&\vdots\\ \overline{a_{1p}}&\cdots&\overline{a_{np}} \end{matrix} \right)\\ &=\left( \begin{matrix} a_{11}\overline{a_{11}}+a_{12}\overline{a_{12}}+\cdots+a_{1p}\overline{a_{1p}}&\quad &\quad&\ast\\ \quad&a_{21}\overline{a_{21}}+a_{22}\overline{a_{22}}+\cdots+a_{2p}\overline{a_{2p}}&\quad&\quad\\ \quad &\quad &\ddots&\quad\\ \ast &\quad&\quad&a_{n1}\overline{a_{n1}}+a_{n2}\overline{a_{n2}}+\cdots+a_{np}\overline{a_{np}} \end{matrix} \right) \end{aligned} ​AAH= ​a11​⋮an1​​⋯⋱⋯​a1p​⋮anp​​ ​ ​a11​​⋮a1p​​​⋯⋱⋯​an1​​⋮anp​​​ ​= ​a11​a11​​+a12​a12​​+⋯+a1p​a1p​​∗​a21​a21​​+a22​a22​​+⋯+a2p​a2p​​​⋱​∗an1​an1​​+an2​an2​​+⋯+anp​anp​​​ ​​

$$\begin{array}{rl}& tr(A^{H}A)=tr(A{A}^H)=\\ & (\mid a_{11}{\mid }^2+\mid a_{12}{\mid }^2+...+\mid a_{1p}{\mid }^2)+(\mid a_{21}{\mid }^2+\mid a_{22}{\mid }^2+...+\mid a_{2p}{\mid }^2)+\\ & ...+(\mid a_{n1}{\mid }^2+\mid a_{n2}{\mid }^2+...+\mid a_{np}{\mid }^2)=\sum _{i=1,j=1}^n\mid a_{ij}{\mid }^2\end{array}$$

推论

$tr(A{B}^H)=tr(B^{H}A)=\sum a_{ij}\overline{b_{ij}}$

• 将 A、B 矩阵按列分块，可验证 $tr(B^{H}A)$
  $$\begin{array}{rl}& A=({\alpha }_1,{\alpha }_2),B=({\beta }_1,{\beta }_2),B^H=\left(\begin{array}{c}{\overline{{\beta }_1}}^T\\ {\overline{{\beta }_2}}^T\end{array}\right)\\ & B^{H}A=\left(\begin{array}{c}{\overline{{\beta }_1}}^T\\ {\overline{{\beta }_2}}^T\end{array}\right)({\alpha }_1,{\alpha }_2)=\left(\begin{array}{ccc}& {\overline{{\beta }_1}}^T{\alpha }_1& {\overline{{\beta }_1}}^T{\alpha }_2\\ & {\overline{{\beta }_2}}^T{\alpha }_1& {\overline{{\beta }_2}}^T{\alpha }_2\end{array}\right)\\ & tr(B^{H}A)={\overline{{\beta }_1}}^T{\alpha }_1+{\overline{{\beta }_2}}^T{\alpha }_2=\\ & (a_{11}\overline{b_{11}}+a_{21}\overline{b_{21}}+a_{31}\overline{b_{31}})+(a_{12}\overline{b_{12}}+a_{22}\overline{b_{22}}+a_{32}\overline{b_{32}})\\ & =\sum a_{ij}\overline{b_{ij}}\end{array}$$

• 将 A、B 矩阵按行分块，可验证 $tr(A{B}^H)$
  A = ( α 1 α 2 α 3 ) , B = ( β 1 β 2 β 3 ) ， B H = ( β 1 ‾ T , β 2 ‾ T , β 3 ‾ T ) A B H = ( α 1 α 2 α 3 ) ( β 1 ‾ T , β 2 ‾ T , β 3 ‾ T ) = ( α 1 β 1 ‾ T α 1 β 2 ‾ T α 1 β 3 ‾ T α 2 β 1 ‾ T α 2 β 2 ‾ T α 3 β 3 ‾ T α 3 β 1 ‾ T α 3 β 2 ‾ T α 3 β 3 ‾ T ) t r ( A B H ) = ( a 11 b 11 ‾ + a 12 b 12 ‾ ) + ( a 21 b 21 ‾ + a 22 b 22 ‾ ) + ( a 31 b 31 ‾ + a 32 b 32 ‾ ) = ∑ a i j b i j ‾ \begin{aligned} &A=\left( \begin{matrix} \alpha_1\\ \alpha_2\\ \alpha_3 \end{matrix} \right), B=\left( \begin{matrix} \beta_1\\ \beta_2\\ \beta_3 \end{matrix} \right)，B^H=(\overline{\beta_1}^T,\overline{\beta_2}^T,\overline{\beta_3}^T)\\ &AB^H=\left( \begin{matrix} \alpha_1\\ \alpha_2\\ \alpha_3 \end{matrix} \right)(\overline{\beta_1}^T,\overline{\beta_2}^T,\overline{\beta_3}^T)=\left( \begin{matrix} \alpha_1\overline{\beta_1}^T\quad&\alpha_1\overline{\beta_2}^T\quad&\alpha_1\overline{\beta_3}^T\\ \alpha_2\overline{\beta_1}^T\quad&\alpha_2\overline{\beta_2}^T\quad&\alpha_3\overline{\beta_3}^T\\ \alpha_3\overline{\beta_1}^T\quad&\alpha_3\overline{\beta_2}^T\quad&\alpha_3\overline{\beta_3}^T \end{matrix} \right)\\ &tr(AB^H)=(a_{11}\overline{b_{11}}+a_{12}\overline{b_{12}})+(a_{21}\overline{b_{21}}+a_{22}\overline{b_{22}})+(a_{31}\overline{b_{31}}+a_{32}\overline{b_{32}})\\ &\quad\quad\quad\quad = \sum a_{ij}\overline{b_{ij}} \end{aligned} ​A= ​α1​α2​α3​​ ​,B= ​β1​β2​β3​​ ​，BH=(β1​​T,β2​​T,β3​​T)ABH= ​α1​α2​α3​​ ​(β1​​T,β2​​T,β3​​T)= ​α1​β1​​Tα2​β1​​Tα3​β1​​T​α1​β2​​Tα2​β2​​Tα3​β2​​T​α1​β3​​Tα3​β3​​Tα3​β3​​T​ ​tr(ABH)=(a11​b11​​+a12​b12​​)+(a21​b21​​+a22​b22​​)+(a31​b31​​+a32​b32​​)=∑aij​bij​​​