【线性代数与矩阵论】范数理论-Toy模板网

这篇具有很好参考价值的文章主要介绍了【线性代数与矩阵论】范数理论。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

范数理论

2023年11月16日

1. 向量的范数

向量的长度也称为向量的二范数

[!quote]- 长度的定理
设 ${x,y,z\in \mathbb C^n \,\,,\,\, \lambda\in \mathbb C}$

非负性：长度大于等于 ${0}$ ，仅当向量为 ${0}$ 时取等。

齐次性： $\lambda x||=| \lambda| \cdot ||x||$ 。

三角不等式性： $||x+y||\le||x||+||y||$ 。

定义设 $\cdot ||}$ 是 $\mathbb C^n }$ 上的一个泛函，满足

正定性： ${\forall x\in \mathbb C^n}$ ， ${||x||\ge 0}$ ，且 ${||x||=0}$ 的充要条件是 ${x=0}$
齐次性： ${\forall \lambda \in \mathbb C}$ ， ${x\in \mathbb C^n}$ ， $\lambda x||=| \lambda| \cdot ||x||}$
三角不等式性： $\forall x,y\in \mathbb C^n}$ ， $\le ||x||+||y||}$

则称 $\cdot ||}$ 是 $\mathbb C^n}$ 上的一个向量范数。

定理对任意 ${x,y\in \mathbb C^n}$ ，有

${||-x||=||x||}$
${|||x||-||y|||\le||x-y||}$

2. 常用向量范数

设 ${x\in \mathbb C^n}$ ，定义

向量的1范数：
$||x||_1= \sum_{i=1}^{ n}|x_i|$
为每个分量的绝对值之和。
向量的2范数：
$||x||_2= \sqrt{ \sum_{i=1}^{ n}|x_i|^2}$
长度，欧几里得空间中的距离。
向量的 ${p}$ 范数：
$||x||_p= (\sum_{i=1}^{ n}|x_i|^p)^{\frac{1}{p}} \,\,,\,\, 1\le p\le +\infty$
向量的无穷范数（ ${p\to\infty}$ ）
$||x||_\infty= \max_{1\le i\le n}|x_i|$
向量分量中绝对值最大的一个。

如果 ${A\in \mathbb C^{n \times n}}$ 是Hermit正定矩阵，则
${||x||_A= \sqrt{x^ \mathrm H Ax}\,\,,\,\, x\in \mathbb C^n}$
也是 $\mathbb C^n }$ 上的向量范数。

3. 向量范数的等价性

定义设 $∣∣⋅∣∣v1 \cdot ||_{v1}}$ 与 $∣∣⋅∣∣v2 \cdot ||_{v2}}$ 是 $\mathbb C^n}$ 上两个向量范数，如果存在常数 ${c_1,c_2>0}$ 使得 $\forall x\in \mathbb C^n}$ 有
$c_1||x||_{v1}\le||x||_{v2}\le c_2||x||_{v1}$
则称向量范数 $∣∣⋅∣∣v1 \cdot ||_{v1}}$ 与 $∣∣⋅∣∣v2 \cdot ||_{v2}}$ 等价。

理解向量空间所有向量的 $∣∣⋅∣∣v2 \cdot ||_{v2}}$ 范数不会小于其 $∣∣⋅∣∣v1 \cdot ||_{v1}}$ 范数的 ${c_1}$ 倍，也不会大于其 $∣∣⋅∣∣v1 \cdot ||_{v1}}$ 范数的 ${c_2}$ 倍。同一个向量的两个范数要么同时大，要么同时小，但不一定成比例。

向量范数的等价实际上是等价关系

自身性：所有范数与自己等价
对称性：若 $∣∣⋅∣∣v1 \cdot ||_{v1}}$ 与 $∣∣⋅∣∣v2 \cdot ||_{v2}}$ 等价，则 $∣∣⋅∣∣v2 \cdot ||_{v2}}$ 与 $∣∣⋅∣∣v1 \cdot ||_{v1}}$ 等价
传递性：若 $∣∣⋅∣∣v1 \cdot ||_{v1}}$ 与 $∣∣⋅∣∣v2 \cdot ||_{v2}}$ 等价， $∣∣⋅∣∣v3 \cdot ||_{v3}}$ 与 $∣∣⋅∣∣v2 \cdot ||_{v2}}$ 等价，则 $∣∣⋅∣∣v1 \cdot ||_{v1}}$ 与 $∣∣⋅∣∣v3 \cdot ||_{v3}}$ 等价

定理 ${\mathbb C^n}$ 上的所有向量范数等价。
向量范数在向量序列极限概念上的应用
$\lim_{k\to\infty}x^{(k)}=x \iff \lim_{k\to\infty}||x^{(k)}-x||=0$

4. 矩阵的范数

定义设 $\cdot ||}$ 是 $\mathbb C^{n \times n} }$ 上的一个泛函，满足

正定性： ${\forall A\in \mathbb C^{n \times n}}$ ， ${||x||\ge 0}$ ，且 ${||x||=0}$ 的充要条件是 ${x=0}$
齐次性： ${\forall \lambda \in \mathbb C}$ ， ${A\in \mathbb C^{n \times n}}$ ， $\lambda A||=| \lambda| \cdot ||A||}$
三角不等式性： $\forall A,B\in \mathbb C^{n \times n}}$ ， $\le ||A||+||B||}$
乘积不等式（相容性）： $\forall A,B\in \mathbb C^{n \times n}}$ ， $\le ||A|| \cdot ||B||}$

则称 $\cdot ||}$ 是 $\mathbb C^{n \times n}}$ 上的一个矩阵范数。

5. 常用的矩阵范数

设 ${A=(a_{ij})\in \mathbb C^{n \times n}}$ ，定义

矩阵的 ${m_1}$ 范数
$||A||_{m1}= \sum_{i=1}^{ n}\sum_{j=1}^{ n}|a_{ij}|$
矩阵的 ${F}$ 范数
$||A||_F= (\sum_{i=1}^{ n}\sum_{j=1}^{ n}|a_{ij}|^2)^{ \frac{1}{2}}= \sqrt{\text{tr}(A^{\mathrm H}A) }$
为每个元素平方再求和最后开方。
矩阵的 ${m_\infty}$ 范数
$||A||_{m\infty}=n \cdot \max_{1\le i,j\le n}|a_{ij}|$

6. 矩阵范数与向量范数的相容性

定义设 $\cdot ||_{m}}$ 是 $\mathbb C^{n \times n} }$ 上的矩阵范数， $\cdot ||_{v}}$ 是 $\mathbb C^n}$ 上的向量范数，如果 $\forall A\in \mathbb C^{n \times n},x\in \mathbb C^n}$
$||Ax||_v\le ||A||_m \cdot ||x||_v$
总是成立，则称矩阵范数 $\cdot ||_{m}}$ 与向量范数 $\cdot ||_{v}}$ 相容。下标m表示matrix，v表示vector。

定理

矩阵范数 $∣∣⋅∣∣m1 \cdot ||_{m1}}$ ， $\cdot ||_{F}}$ 分别与 $∣∣⋅∣∣v1 \cdot ||_{v1}}$ ， $∣∣⋅∣∣v2 \cdot ||_{v2}}$ 相容
矩阵范数 $\cdot ||_{m\infty}}$ 与向量范数 $∣∣⋅∣∣v1 \cdot ||_{v1}}$ ， $∣∣⋅∣∣v2 \cdot ||_{v2}}$ ， $\cdot ||_{v\infty}}$ 相容

7. 矩阵范数诱导的向量范数

对于任意的矩阵范数，都可以找到与之相容的向量范数。
设 $\cdot ||_m}$ 是 $\mathbb C^{n \times n}}$ 上一个矩阵范数，取 ${a\in \mathbb C^n}$ ，且 ${a\ne0}$ ，定义
$||x||_v=||xa^ \mathrm H||_m \,\,,\,\, x\in \mathbb C^n$
可以证明，它是 $\mathbb C^n }$ 上的向量范数，称为由矩阵范数 $\cdot ||_m}$ 所诱导的向量范数。
定理 ${\mathbb C^{n \times n} }$ 上任意一矩阵范数 $\cdot ||_m}$ 与他所诱导的向量范数 $\cdot ||_v}$ 相容。
$\begin{align*} ||Ax||_v=&||(Ax)a^ \mathrm H||_m=||A(xa^ \mathrm H)||_m \\ \\ \le&||A||_m||(xa^ \mathrm H)||_m=||A||_m||x||_v \end{align*}$

8. 由向量范数诱导的矩阵范数

设 $\cdot ||_v}$ 是 $\mathbb C^n}$ 上一个向量范数，定义
$||A||_m=\max_{||x||_v=1}||Ax||_v=\max_{x\ne 0} \frac{||Ax||_v}{||x||_v} \,\,,\,\, A\in \mathbb C^{n \times n}$
$\bigg( \frac{||Ax||_v}{||x||_v}= \bigg| \bigg| \frac{1}{||x||_{v}}Ax \bigg| \bigg| _{v}= \bigg| \bigg| A \bigg( \frac{1}{||x||_{v }}x \bigg) \bigg| \bigg|_v \bigg)$
称为由向量范数 $\cdot ||_{ v}}$ 所诱导的矩阵范数（从属范数）。
定理 ${\mathbb C^{n} }$ 上任意一向量范数 $\cdot ||_v}$ 与他所诱导的矩阵范数 $\cdot ||_m}$ 相容。

将向量范数 $\cdot ||_{1 }}$ ， $\cdot ||_{2 }}$ ， $\cdot ||_{\infty }}$ 诱导的矩阵范数分别记为 $\cdot ||_{1 }}$ ， $\cdot ||_{2 }}$ ， $\cdot ||_{\infty }}$ ，则有在同济大学《数值分析》或者一些数值分析速通网课里面提到的矩阵范数。
列范数

矩阵的1范数（列和范数）
$||A||_1=\max_{1\le j\le n} \sum_{i=1}^{ n}|a_{ij}|$
为每列元素绝对值之和的最大的一个。
矩阵的2范数
$||A||_2= \sqrt{(A^ \mathrm TA的最大特征值)}$
行范数
矩阵的 ${\infty}$ 范数（行和范数）
$||A||_\infty=\max_{1\le i\le n} \sum_{j=1}^{ n}|a_{ij}|$
为每行元素绝对值之和的最大的一个。
矩阵的 ${F}$ 范数也是行范数。

相容关系如下：
$\begin{align*} ||Ax||_1\le& ||A||_1 \cdot ||x||_1\\ \\ ||Ax||_\infty\le& ||A||_\infty \cdot ||x||_\infty\\ \\ ||Ax||_2\le& ||A||_2 \cdot ||x||_2\\ \\ ||Ax||_2\le& ||A||_F \cdot ||x||_2\\ \\ \end{align*}$

9. 矩阵范数的酉不变性

设 ${A\in \mathbb C^{n \times n} }$ ，则

${||A^ \mathrm H||_F = || A ||_{F }}$ ， $A^ \mathrm H ||_{ 2} = || A ||_{ 2}}$
酉不变性 对任意酉矩阵 $\in \mathbb C^{n \times n} }$
$UA ||_{ F}= || AV ||_{ F} = || UAV ||_{ F} \,\,,\,\, || UA ||_{ 2}= || AV ||_{ 2}= || UAV ||_{ 2}$
若 ${A}$ 是正规矩阵，且 $\lambda_1, \lambda_2, \cdot , \lambda_n}$ 是 ${A}$ 的 ${n}$ 个特征值，则
$||_{2 }= \max_k | \lambda_k |$
即如果 ${A}$ 正规， ${A}$ 的 ${2}$ 范数是它最大特征值的绝对值（与谱半径相等）。

10. 矩阵范数的等价性

定理 ${\mathbb C^{n \times n} }$ 上所有矩阵范数等价。

11. 长方阵的范数

矩阵范数的相容性 ${\forall A\in \mathbb C^{m \times n}}$ ， ${B\in \mathbb C^{n \times l}}$
$||_{ }\le || A ||_{ } \cdot || B ||_{ }$
矩阵范数与向量范数的相容性 ${\forall A\in \mathbb C^{m \times n}}$ ， ${x\in \mathbb C^{n}}$
$||_{ }\le || A ||_{ } \cdot || x ||_{ }$
从属范数
$||_{ }= \max_{|| x ||_{v }=1} || Ax ||_{ v}=\max_{x\ne 0} \frac{|| Ax ||_{ v}}{|| x ||_{ v}} \,\,,\,\, A\in \mathbb C^{m \times n}$
其中 ${ || Ax ||_{v }}$ 是 $\mathbb C^m }$ 上的范数， ${ || x ||_{ v}}$ 是 $\mathbb C^n}$ 上的范数。

对任意 ${A\in \mathbb C^{m \times n} }$ ，常用的矩阵范数有：

长方阵的 ${m_1}$ 范数
$||A||_{m1}= \sum_{i=1}^{ m}\sum_{j=1}^{ n}|a_{ij}|$
长方阵的 ${F}$ 范数
$||A||_F= (\sum_{i=1}^{ m}\sum_{j=1}^{ n}|a_{ij}|^2)^{ \frac{1}{2}}= \sqrt{\text{tr}(A^{\mathrm H}A) }$
为每个元素平方再求和最后开方。
长方阵的 ${M}$ 范数或最大范数
$||A||_{M}=\max \lbrace n,m \rbrace \cdot \max_{1\le i,j\le n}|a_{ij}|$
长方阵的 ${G}$ 范数或几何平均范数
$||_{ G}= \sqrt{mn} \cdot \max_{i,j}|a_{ij}|$
长方阵的 ${1}$ 范数或列和范数
$||_{ 1}=\max_{1\le j\le n} \sum_{i=1}^{ m}|a_{ij}|$
长方阵的 ${2}$ 范数或谱范数
$||_{ 2}= \sqrt{(A^ \mathrm TA的最大特征值)}$
长方阵的 ${\infty}$ 范数或行和范数
$||_{\infty }= \max_{1\le i\le m} \sum_{j=1}^{ n} |a_{ij}|$