向量与矩阵范数的详细解读-Toy模板网

这篇具有很好参考价值的文章主要介绍了向量与矩阵范数的详细解读。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

一、向量

L0范数：向量中非零元素的个数，也称为0范数

L1范数：为绝对值之和，也称为范数或者1范数

L2范数：通常意义上的模，也称为2范数

p范数：即向量元素绝对值的 $p$ 次方和的 $1/ p$ 次幂

$\infty$ 范数：取向量的最大值

$-\infty$ 范数：取向量的最小值

假设有向量 $(x_1,x_2,\dots,x_n)^T$ ，向量的范数有：
$||x||_1 = |x_1| + |x_2| + \dots + |x_n|$

$||x||_2 = (|x_1|^2 + |x_2|^2 + \dots + |x_n|^2)^{\frac{1}{2}}$

$||x||_p = (|x_1|^p + |x_2|^p + \dots + |x_n|^p)^{\frac{1}{p}}$

$||x||_{\infty} = \max\{|x_1| + |x_2| + \dots + |x_n|\}$

$||x||_{-\infty} = \min\{|x_1| + |x_2| + \dots + |x_n|\}$

二、矩阵

矩阵范数主要有以下三类，切记，三类范数不一样！！

2.1、诱导范数

又称为算子范数，定义矩阵A位于矩阵空间 $\mathbb{R}^{m\times n}$ 上
$\max\{||Ax||;x\in \mathbb{R}^n,||x||=1 \} = max\left\{ \frac{||Ax||}{||x||}, x\in \mathbb{R}^n,x\ne 0 \right\}$
常用诱导范数为p范数，也称为 $L_p$ 范数
$||A||_p = max\left\{ \frac{||Ax||_p}{||x||_p} ,x\ne 0 \right\}$
0范数：矩阵中非零元素的个数。

1范数又称为列范数
$||A||_1 = \max \sum_{i=1}^m |a_{ij}|,1 \le j \le n$
无穷范数又称为行范数
$||A||_\infty = \max \sum_{j=1}^n |a_{ij}|,1 \le i \le n$
2范数又称为谱范数，矩阵的谱范数为矩阵的最大奇异值
$||A||_{spec} = ||A||_{2} = \sigma_{max}(A) = \sqrt{\lambda_{max}(A^TA)}$
$\sigma_{max}$ 表示求矩阵的最大奇异值，spec是谱的意思

2.2、元素范数

将 $\times n$ 矩阵先按照列堆栈的形式，排列成一个 $mn \times 1$ 向量，然后采用向量的范数定义，即得到矩阵的范数
$||A||_P = \left( \sum_{i=1}^m\sum_{j=1}^n |a_{ij}|^p \right)^\frac{1}{p}$
1范数又称为和范数或者L1范数
$||A||_1 = \sum_{i=1}^m\sum_{j=1}^n |a_{ij}|$
2范数又称为Forbenius范数
$||A||_F = ||A||_2 = \left( \sum_{i=1}^m\sum_{j=1}^n |a_{ij}|^2 \right)^\frac{1}{2} = \sqrt{tr({A^HA})}$
$\infty$ 范数又称为最大范数
$A||_p = \max\{ |a_{ij}| \}$

2.3、Schatten范数

用矩阵的奇异值定义的范数，令矩阵的奇异值组成一个向量 $\sigma = \begin{bmatrix} \sigma_1 & \sigma_2 & \dots & \sigma_k \end{bmatrix}$ , $k=\min(m,n)$

p范数定义如下
$||A||_p = ||\sigma||_p = (\sum_{i=1}^k \sigma_i^{p})^\frac{1}{p}$
p=1，也称为核范数，为矩阵奇异值之和
$||A||_1 =\sum_{i=1}^k \sigma_i = tr(\sqrt{A^HA})$
p=2，Schattern范数与Frobenius等价