两个独立的正态分布的和仍然为正态分布的证明

两个独立的正态分布的乘积公式

正态分布的密度函数：
$$\begin{array}{r}f(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}\end{array}$$

在进行理论推导之前，我们先通过Matlab数值计算看看两独立正态分布的乘积情况：

如图所示绿色和红色分别代表两个独立的正态分布函数，蓝色为两个分布的乘积。

从蓝色形状可以粗略的看出乘积结果可能为一个幅值被压缩的正态分布，其期望在$[{\mu }_1,{\mu }_2]$之间，但是还需严格的理论推导。

设$N_1$的概率密度函数为 $f_1(x)=\frac{1}{\sqrt{2\pi }{\sigma }_1}{e}^{-\frac{(x-{\mu }_1{)}^2}{2{\sigma }_1^2}}$，$N_2$的概率密度函数为 $f_2(x)=\frac{1}{\sqrt{2\pi }{\sigma }_2}{e}^{-\frac{(x-{\mu }_2{)}^2}{2{\sigma }_2^2}}$，则：

$$\begin{array}{rl}{f}_1(x)f_2(x)& =\frac{1}{\sqrt{2\pi }{\sigma }_1}{e}^{-\frac{(x-{\mu }_1{)}^2}{2{\sigma }_1^2}}\cdot \frac{1}{\sqrt{2\pi }{\sigma }_2}{e}^{-\frac{(x-{\mu }_2{)}^2}{2{\sigma }_2^2}}\\ & =\frac{1}{2\pi {\sigma }_1{\sigma }_2}{e}^{-[\frac{(x-{\mu }_1{)}^2}{2{\sigma }_1^2}+\frac{(x-{\mu }_2{)}^2}{2{\sigma }_2^2}]}\end{array}$$

先单独分析指数部分：
$$\begin{array}{rl}令\beta & =\frac{(x-{\mu }_1{)}^2}{2{\sigma }_1^2}+\frac{(x-{\mu }_2{)}^2}{2{\sigma }_2^2}\\ & =\frac{({\sigma }_1^2+{\sigma }_2^2)x^2-2({\mu }_1{\sigma }_2^2+{\mu }_2{\sigma }_1^2)x+({\mu }_1^2{\sigma }_2^2+{\mu }_2^2{\sigma }_1^2)}{2{\sigma }_1^2{\sigma }_2^2}\\ & =\frac{x^2-2\frac{{\mu }_1{\sigma }_2^2+{\mu }_2{\sigma }_1^2}{{\sigma }_1^2+{\sigma }_2^2}x+\frac{{\mu }_1^2{\sigma }_2^2+{\mu }_2^2{\sigma }_1^2}{{\sigma }_1^2+{\sigma }_2^2}}{\frac{2{\sigma }_1^2{\sigma }_2^2}{{\sigma }_1^2+{\sigma }_2^2}}\end{array}$$
构造：
$$\begin{array}{r}\beta =\underset{\gamma }{\frac{(x-\frac{{\mu }_1{\sigma }_2^2+{\mu }_2{\sigma }_1^2}{{\sigma }_1^2+{\sigma }_2^2}{)}^2}{\frac{2{\sigma }_1^2{\sigma }_2^2}{{\sigma }_1^2+{\sigma }_2^2}}}+\underset{\lambda }{\frac{\frac{{\mu }_1^2{\sigma }_2^2+{\mu }_2^2{\sigma }_1^2}{{\sigma }_1^2+{\sigma }_2^2}-(\frac{{\mu }_1{\sigma }_2^2+{\mu }_2{\sigma }_1^2}{{\sigma }_1^2+{\sigma }_2^2}{)}^2}{\frac{2{\sigma }_1^2{\sigma }_2^2}{{\sigma }_1^2+{\sigma }_2^2}}}\end{array}$$
则 $\beta =\gamma +\lambda$

记：
$$\begin{array}{rl}\mu & =\frac{{\mu }_1{\sigma }_2^2+{\mu }_2{\sigma }_1^2}{{\sigma }_1^2+{\sigma }_2^2}\\ {\sigma }^2& =\frac{{\sigma }_1^2{\sigma }_2^2}{{\sigma }_1^2+{\sigma }_2^2}\end{array}$$
则：
$$\begin{array}{r}\gamma =\frac{(x-\mu {)}^2}{2{\sigma }^2}\end{array}$$
继续化简 $\lambda$：

$$\begin{array}{rl}\lambda & =\frac{\frac{{\mu }_1^2{\sigma }_2^2+{\mu }_2^2{\sigma }_1^2}{{\sigma }_1^2+{\sigma }_2^2}-(\frac{{\mu }_1{\sigma }_2^2+{\mu }_2{\sigma }_1^2}{{\sigma }_1^2+{\sigma }_2^2}{)}^2}{\frac{2{\sigma }_1^2{\sigma }_2^2}{{\sigma }_1^2+{\sigma }_2^2}}\\ & =\frac{({\mu }_1^2{\sigma }_2^2+{\mu }_2^2{\sigma }_1^2)({\sigma }_1^2+{\sigma }_2^2)-({\mu }_1{\sigma }_2^2+{\mu }_2{\sigma }_1^2{)}^2}{2{\sigma }_1^2{\sigma }_2^2({\sigma }_1^2+{\sigma }_2^2)}\\ & =\frac{{\mu }_1^2{\sigma }_1^2{\sigma }_2^2+{\mu }_2^2{\sigma }_1^2{\sigma }_2^2+{\mu }_1^2{\sigma }_2^4+{\mu }_2^2{\sigma }_1^4-({\mu }_1^2{\sigma }_2^4+{\mu }_2^2{\sigma }_1^4+2{\mu }_1{\mu }_2{\sigma }_1^2{\sigma }_2^2)}{2{\sigma }_1^2{\sigma }_2^2({\sigma }_1^2+{\sigma }_2^2)}\\ & =\frac{{\sigma }_1^2{\sigma }_2^2({\mu }_1^2-2{\mu }_1{\mu }_2+{\mu }_2^2)}{2{\sigma }_1^2{\sigma }_2^2({\sigma }_1^2+{\sigma }_2^2)}\\ & =\frac{({\mu }_1-{\mu }_2{)}^2}{2({\sigma }_1^2+{\sigma }_2^2)}\end{array}$$

可得两个高斯分布相乘为：
$$\begin{array}{rl}{f}_1(x)f_2(x)& =\frac{1}{2\pi {\sigma }_1{\sigma }_2}{e}^{-\beta }=\frac{1}{2\pi {\sigma }_1{\sigma }_2}{e}^{-(\gamma +\lambda )}\\ & =\frac{1}{2\pi {\sigma }_1{\sigma }_2}{e}^{-\gamma }\cdot e^{-\lambda }\\ & =\frac{1}{2\pi {\sigma }_1{\sigma }_2}{e}^{-\frac{(x-\mu {)}^2}{{\sigma }^2}}\cdot e^{-\frac{({\mu }_1-{\mu }_2{)}^2}{2({\sigma }_1^2+{\sigma }_2^2)}}\end{array}$$

其中
$$\begin{array}{rlrl}\mu & =\frac{{\mu }_1{\sigma }_2^2+{\mu }_2{\sigma }_1^2}{{\sigma }_1^2+{\sigma }_2^2}& & {\sigma }^2=\frac{{\sigma }_1^2{\sigma }_2^2}{{\sigma }_1^2+{\sigma }_2^2}\end{array}$$

把常数项综合为 $S_g$， 可得其直观表达式：

$$\begin{array}{rl}{f}_1(x)f_2(x)& =S_g\cdot \frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{{\sigma }^2}}\\ S_g& =\frac{1}{\sqrt{2\pi ({\sigma }_1^2+{\sigma }_2^2)}}\cdot e^{-\frac{({\mu }_1-{\mu }_2{)}^2}{2({\sigma }_1^2+{\sigma }_2^2)}}\end{array}$$

到此，两个正态分布相乘的分布函数即推导出来，即相乘后的分布函数为一个被压缩或者放大的正态分布，$S_g$ 为缩放因子，$f_1(x)f_2(x)$ 的积分等于$S_g$，它不一定等于1，但$f_1(x)f_2(x)$的方差和均值性质不变。

有关 $S_g$ 对该乘积的影响，请参阅文章 两个高斯分布乘积的理论推导 的后半部分。

两个独立的正态分布的和的直觉错误

直觉中，两个正态随机变量的和似乎应该是两个概率密度函数的和，如下图所示，其结果就近似为两个概率密度的包络线，这其实是大错特错的。

卷积公式

已知两个相互独立的随机变量$X$ 和 $Y$，他们的概率密度函数分别为$f_X(x)(-\infty <x<+\infty )$ 和 $f_Y(y)(-\infty <y<+\infty )$。则它们的联合随机变量$(X,Y)$的概率密度$f(x,y)=f_X(x)f_Y(y)$（这是两个连续型随机变量相互独立的充要条件）。

$Z=X+Y$ 的分布函数：
F Z ( z ) = P { X + Y ≤ z } = ∬ x + y ≤ z f ( x , y ) d x d y = ∫ − ∞ + ∞ d x ∫ − ∞ z − x f ( x , y ) d y ( 或 ∫ − ∞ + ∞ d y ∫ − ∞ z − y f ( x , y ) d x ) = ∫ − ∞ z − x d y ∫ − ∞ + ∞ f ( x , y ) d x ( 或 ∫ − ∞ z − y d x ∫ − ∞ + ∞ f ( x , y ) d y ) \begin{align*} F_Z(z) &= P\{X+Y \leq z\} \\ &= \iint_{x+y\leq z} f(x, y) dx dy \\ &= \int_{-\infty}^{+\infty}dx \int_{-\infty}^{z-x}f(x,y) dy (或\int_{-\infty}^{+\infty}dy \int_{-\infty}^{z-y}f(x,y) dx ) \\ & = \int_{-\infty}^{z-x} dy \int_{-\infty}^{+\infty} f(x,y) dx (或 \int_{-\infty}^{z-y} dx \int_{-\infty}^{+\infty} f(x,y) dy) \end{align*} FZ​(z)​=P{X+Y≤z}=∬x+y≤z​f(x,y)dxdy=∫−∞+∞​dx∫−∞z−x​f(x,y)dy(或∫−∞+∞​dy∫−∞z−y​f(x,y)dx)=∫−∞z−x​dy∫−∞+∞​f(x,y)dx(或∫−∞z−y​dx∫−∞+∞​f(x,y)dy)​
$Z=X+Y$的概率密度函数：
$$\begin{array}{rl}{f}_Z(z)=F_Z^{\prime }(z)& ={\int }_{-\infty }^{+\infty }f(x,z-x)dx(或{\int }_{-\infty }^{+\infty }f(z-y,y)dy)\end{array}$$
当$X$和$Y$相互独立时，$f(x,y)=f_X(x)f_Y(y)$，则

$$\begin{array}{rl}{f}_Z(z)& ={\int }_{-\infty }^{+\infty }{f}_X(x)f_Y(z-x)dx\\ 或f_Z(z)& ={\int }_{-\infty }^{+\infty }{f}_X(z-y)f_Y(y)dy\end{array}$$
以上两个公式称为卷积公式，记为 $f_Z=f_X\ast f_Y$。

根据卷积公式和乘积公式计算两个独立正态分布的和

设$N_1$的概率密度函数为 $f_1(x)=\frac{1}{\sqrt{2\pi }{\sigma }_1}{e}^{-\frac{(x-{\mu }_1{)}^2}{2{\sigma }_1^2}}$，$N_2$的概率密度函数为 $f_2(x)=\frac{1}{\sqrt{2\pi }{\sigma }_2}{e}^{-\frac{(x-{\mu }_2{)}^2}{2{\sigma }_2^2}}$，则根据卷积公式， $N=N_1+N_2$ 的概率密度 $f(z=x+y)$为：
$$\begin{array}{rl}f(z)& ={\int }_{-\infty }^{+\infty }{f}_1(x)f_2(z-x)dx\\ & ={\int }_{-\infty }^{+\infty }\frac{1}{\sqrt{2\pi }{\sigma }_1}{e}^{-\frac{(x-{\mu }_1{)}^2}{2{\sigma }_1^2}}\cdot \frac{1}{\sqrt{2\pi }{\sigma }_2}{e}^{-\frac{(z-x-{\mu }_2{)}^2}{2{\sigma }_2^2}}dx\end{array}$$
记：
$$\begin{array}{rl}{f}_2^{\prime }(x)& =\frac{1}{\sqrt{2\pi }{\sigma }_2}{e}^{-\frac{(z-x-{\mu }_2{)}^2}{2{\sigma }_2^2}}=\frac{1}{\sqrt{2\pi }{\sigma }_2}{e}^{-\frac{[x-(z-{\mu }_2){]}^2}{2{\sigma }_2^2}}\end{array}$$
不难看出 $f_2^{\prime }(x)$对应的随机变量$N_2^{\prime }\sim (z-{\mu }_2,{\sigma }_2^2)$（这里的$f_2^{\prime }(x)$和$N_2^{\prime }$不需要追问它的实际意义，只是为了帮助理解运用正态分布乘积公式）

$$\begin{array}{rl}{f}_1(x)\cdot f_2^{\prime }(x)& =S_g\cdot \frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{{\sigma }^2}}\\ 其中S_g& =\frac{1}{\sqrt{2\pi ({\sigma }_1^2+{\sigma }_2^2)}}\cdot e^{-\frac{[z-({\mu }_1+{\mu }_2){]}^2}{2({\sigma }_1^2+{\sigma }_2^2)}}\\ 则f(z)& ={\int }_{-\infty }^{+\infty }{f}_1(x)\cdot f_2^{\prime }(x)dx\\ & ={\int }_{-\infty }^{+\infty }{S}_g\cdot \frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{{\sigma }^2}}dx\\ & =S_g\cdot {\int }_{-\infty }^{+\infty }\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{{\sigma }^2}}dx\\ & =S_g\\ & =\frac{1}{\sqrt{2\pi ({\sigma }_1^2+{\sigma }_2^2)}}\cdot e^{-\frac{[z-({\mu }_1+{\mu }_2){]}^2}{2({\sigma }_1^2+{\sigma }_2^2)}}\end{array}$$
也就是 $N=N_1+N_2\sim N({\mu }_1+{\mu }_2,{\sigma }_1^2+{\sigma }_2^2)$。文章来源地址https://www.toymoban.com/news/detail-461793.html

到了这里，关于两个独立的正态分布的和仍然为正态分布的证明的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！