概率论之——高斯分布的乘积-Toy模板网

这篇具有很好参考价值的文章主要介绍了概率论之——高斯分布的乘积。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

一、前言

本来我并不想开机器学习这个专栏，因为机器学习与高数线代矩阵论概率论密切相关，我的数学能力没达到这种高度。然而控制理论也会涉及各种数理统计知识，那就不得不开一个数理栏了。

这个栏没有具体的知识路线，写到哪算哪，数学和机器学习相关且不好分类的东西都会往这边放。

二、高斯分布（正态分布）

假设随机变量 $x_1$ 服从均值和方差为 $\mu_1, \ \sigma_1^2$ 的高斯分布，可记作 $x_1 \sim N(\mu_1, \ \sigma_1)$ ，其概率密度函数为：
$p(x_1)= \frac {1} {\sqrt {2\pi}\sigma_1} \exp [ - \frac {(x-\mu_1)^2}{2\sigma_1^2}]$

标准高斯分布

如果随机变量 $\sim N(0, 1)$ ，则称 $x$ 服从标准高斯（正态）分布：
$p(x)=\frac {1}{\sqrt {2\pi}} \exp ( - \frac {x^2}{2})$

高斯分布的基本性质

假设 $x\sim N(\mu, \sigma^2)$ ，有：
$\sim N(a\mu+b,a^2\mu^2)\ ,a,b\in R$
假设 $x\sim N(\mu_x, \sigma_x^2)$ ， $y\sim N(\mu_y, \sigma_y^2)$ ， $x, y$ 是独立随机变量，有：
$x+y\sim N(\mu_x+\mu_y,\sigma_x^2+\sigma_y^2)$

三、高斯分布的乘积

进入正题。假设两个独立随机变量 $x\sim N(\mu_x, \sigma_x^2)$ ， $y\sim N(\mu_y, \sigma_y^2)$ ，则它们的乘积符合高斯概率密度函数的形式：
$(x,y)\sim N(\frac {\mu_y\sigma_x^2+\mu_x\sigma_y^2} {\sigma_x^2+\sigma_y^2},\frac{1} {1/\sigma_x^2+1/\sigma_y^2})$
具体的推导方式，可以通过 $p (x) p (y)$ 乘积获得：
$p(x)p(y)=\frac {1} {2\pi^2\sigma_x\sigma_y} \exp (-\frac {\sigma_y^2(x-\mu_x)^2 + \sigma_x^2(x-\mu_y)^2} {2\sigma_x^2\sigma_y^2})$
通过将 $e x p$ 中的 $(\sigma_x^2+\sigma_y^2)x^2$ 和常数项凑平方后，能够得到一个形似 $\ \lambda \frac {1} {\sqrt {2\pi}\sigma} \exp [ - \frac {(x-\mu)^2}{2\sigma^2}]$ ，只不过系数 $\lambda$ 的存在使得这个函数的积分不等于1。

具体的证明可以参照这个Blog：

两个高斯分布乘积的理论推导
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chaosir1991/article/details/106910668/

python示意图

概率论之——高斯分布的乘积
红色函数是蓝绿两个高斯分布的乘积结果，可以看出其形状也是对称的，但与x轴围成的面积少于另外两个高斯分布。

四、多维高斯分布

如果 $X=[x_1,x_2,\dots,x_n]^T$ 是个服从高斯分布的多维随机变量，可以记为 $X\sim N(\mu, \Sigma)$ ，其中 $\mu=[\mu_1,\mu_2,\dots,\mu_n]^T$ ， $\Sigma \in \R^{n\times n}$ 是各分量的协方差矩阵。