【小呆的概率论学习笔记】正态分布的代数运算-Toy模板网

这篇具有很好参考价值的文章主要介绍了【小呆的概率论学习笔记】正态分布的代数运算。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

0. 正态分布简介

正态分布应该是概率论和数理统计中最重要的一类概率分布，最早的完整论述是由数学王子高斯提出，高斯主要用来分析观测的误差分析中推导出正态分布。虽然随着概率统计学的发展，自然分布形式多种多样，但是正态分布仍然可以说是最重要的自然分布。
一维正态分布的概率密度函数如下所示：
$f(x)=\frac{1}{\sigma \sqrt {2 \pi}}\mathbf e^{-\frac{1}{2}\frac{(x-\mu)^2}{\sigma^2}}$
上述概率密度图形如下图所示。
【小呆的概率论学习笔记】正态分布的代数运算

1. 正态分布的数字特征

正态分布的期望也就是均值如下式所示。
$\begin{aligned} E(x)&=\int _{-\infty}^{\infty} xf(x) dx=\int _{-\infty}^{\infty} x\cdot\frac{1}{\sigma \sqrt {2 \pi}}\mathbf e^{-\frac{1}{2}\frac{(x-\mu)^2}{\sigma^2}}dx\\ &=\int _{-\infty}^{\infty} \frac{x-\mu}{\sigma}\cdot\frac{1}{ \sqrt {2 \pi}}\mathbf e^{-\frac{1}{2}\frac{(x-\mu)^2}{\sigma^2}}dx+\int _{-\infty}^{\infty} \frac{\mu}{\sigma}\cdot\frac{1}{ \sqrt {2 \pi}}\mathbf e^{-\frac{1}{2}\frac{(x-\mu)^2}{\sigma^2}}dx \end{aligned}$
第一个积分式中用变量变换 $z=\frac{x-\mu}{\sigma}$
$\begin{aligned} \int _{-\infty}^{\infty} \frac{x-\mu}{\sigma}\cdot\frac{1}{ \sqrt {2 \pi}}\mathbf e^{-\frac{1}{2}\frac{(x-\mu)^2}{\sigma^2}}dx&=\int _{-\infty}^{\infty} z \cdot\frac{1}{ \sqrt {2 \pi}}\mathbf e^{-\frac{1}{2}z^2}\sigma dz\\ &=\frac{\sigma}{ \sqrt {2 \pi}}\int _{-\infty}^{\infty} z \mathbf e^{-\frac{1}{2}z^2} dz\\ &=\frac{\sigma}{ \sqrt {2 \pi}}(\int _{-\infty}^{0} z \mathbf e^{-\frac{1}{2}z^2} dz+\int _{0}^{\infty} z \mathbf e^{-\frac{1}{2}z^2} dz)\\ &=\frac{\sigma}{ \sqrt {2 \pi}}(\int _{-\infty}^{0} (-t) \mathbf e^{-\frac{1}{2}(-t)^2} d(-t)+\int _{0}^{\infty} z \mathbf e^{-\frac{1}{2}z^2} dz)\\ &=\frac{\sigma}{ \sqrt {2 \pi}}(\int _{\infty}^{0} t \mathbf e^{-\frac{1}{2}t^2} dt + \int _{0}^{\infty} z \mathbf e^{-\frac{1}{2}z^2} dz)\\ &=\frac{\sigma}{ \sqrt {2 \pi}}(-\int _{0}^{\infty} t \mathbf e^{-\frac{1}{2}t^2} dt + \int _{0}^{\infty} z \mathbf e^{-\frac{1}{2}z^2} dz)\\ &=0 \end{aligned}$
第二个积分式其实就是正态分布的累积函数
$\int _{-\infty}^{\infty} \frac{\mu}{\sigma}\cdot\frac{1}{ \sqrt {2 \pi}}\mathbf e^{-\frac{1}{2}\frac{(x-\mu)^2}{\sigma^2}}dx=\mu \cdot\int _{-\infty}^{\infty} \frac{1}{\sigma \sqrt {2 \pi}}\mathbf e^{-\frac{1}{2}\frac{(x-\mu)^2}{\sigma^2}}dx=\mu\cdot1$
因此，
$\begin{aligned} E(x)&=\int _{-\infty}^{\infty} \frac{x-\mu}{\sigma}\cdot\frac{1}{ \sqrt {2 \pi}}\mathbf e^{-\frac{1}{2}\frac{(x-\mu)^2}{\sigma^2}}dx+\int _{-\infty}^{\infty} \frac{\mu}{\sigma}\cdot\frac{1}{ \sqrt {2 \pi}}\mathbf e^{-\frac{1}{2}\frac{(x-\mu)^2}{\sigma^2}}dx\\ &=0+\mu\cdot1\\ &=\mu \end{aligned}$

正态分布的方差如下式所示。
$\begin{aligned} Var(x)&=\int _{-\infty}^{\infty} (x-E(x))^2f(x) dx=\int _{-\infty}^{\infty} (x-\mu)^2\cdot\frac{1}{\sigma \sqrt {2 \pi}}\mathbf e^{-\frac{1}{2}\frac{(x-\mu)^2}{\sigma^2}}dx\\ &=\int _{-\infty}^{\infty} (\frac{x-\mu}{\sigma })^2 \cdot\sigma \cdot\frac{1}{\sqrt {2 \pi}}\mathbf e^{-\frac{1}{2}\frac{(x-\mu)^2}{\sigma^2}}dx \end{aligned}$
对上式使用变量变换 $z=\frac{x-\mu}{\sigma}$
$\begin{aligned} Var(x)&=\int _{-\infty}^{\infty} (\frac{x-\mu}{\sigma })^2 \cdot\sigma\cdot\frac{1}{\sqrt {2 \pi}}\mathbf e^{-\frac{1}{2}\frac{(x-\mu)^2}{\sigma^2}}dx\\ &=\int _{-\infty}^{\infty} z^2 \cdot\frac{\sigma}{\sqrt {2 \pi}}\mathbf e^{-\frac{1}{2}z^2}\sigma dz\\ &=\frac{\sigma^2}{\sqrt {2 \pi}}\int _{-\infty}^{\infty} z^2 \cdot\mathbf e^{-\frac{1}{2}z^2} dz \end{aligned}$
对上式使用变量变换 $t=\frac{z}{\sqrt2}$
$\begin{aligned} Var(x) &=\frac{\sigma^2}{\sqrt {2 \pi}}\int _{-\infty}^{\infty} z^2 \cdot\mathbf e^{-\frac{1}{2}z^2} dz\\ &=\frac{\sigma^2}{\sqrt {2 \pi}}\int _{-\infty}^{\infty} (\sqrt2 t)^2 \cdot\mathbf e^{-\frac{1}{2} (\sqrt2 t)^2} d (\sqrt2 t)\\ &=\frac{\sigma^2}{\sqrt {2 \pi}}\int _{-\infty}^{\infty} 2 t^2 \cdot\mathbf e^{- t^2} \cdot \sqrt2 dt\\ &=\frac{2\sigma^2}{\sqrt { \pi}}\int _{-\infty}^{\infty} t^2 \cdot\mathbf e^{- t^2} dt\\ &=\frac{2\sigma^2}{\sqrt { \pi}}\int _{-\infty}^{\infty} (-\frac{1}{2}t) \cdot d(\mathbf e^{- t^2})\\ &=\frac{2\sigma^2}{\sqrt { \pi}}[(-\frac{1}{2}t)\cdot\mathbf e^{- t^2}|_{-\infty}^{+\infty}-\int _{-\infty}^{\infty} (\mathbf e^{- t^2}) \cdot d(-\frac{1}{2}t)] \end{aligned}$
上式中第一项等于零，因为
$\lim_{t\to-\infty} t\cdot\mathbf e^{- t^2}=\lim_{t\to-\infty} \frac{t}{\mathbf e^{t^2}}=0\\ \lim_{t\to+\infty} t\cdot\mathbf e^{- t^2}=\lim_{t\to+\infty} \frac{t}{\mathbf e^{t^2}}=0$
那么方差就只剩第二项了，这里要用到 $\int _{-\infty}^{\infty} \mathbf e^{- t^2} dt=\sqrt \pi$ ，这个方程可以从伽马函数中导出。
$\begin{aligned} Var(x) &=\frac{2\sigma^2}{\sqrt { \pi}}\cdot\frac{1}{2}\int _{-\infty}^{\infty} \mathbf e^{- t^2} dt\\ &=\frac{\sigma^2}{\sqrt { \pi}}\int _{-\infty}^{\infty} \mathbf e^{- t^2} dt\\ &=\sigma^2 \end{aligned}$

2. 正态分布的代数运算

a. 单随机变量的代数运算

假设随机变量 $X$ 服从正态分布， $X\sim N(\mu,\sigma^2)$ ，那么随机变量 $Y = a X + b$ 可由变量变换 $X=\frac{Y-b}{a}$ 来导出，即随机变量 $X$ 的累积函数为
$\begin{aligned} F(x)&=\int_{-\infty}^xf(\xi)d\xi=\int_{-\infty}^x \frac{1}{\sigma\sqrt{2\pi}} \mathbf e^{-\frac{1}{2}\frac{(\xi-\mu)^2}{\sigma^2}}d\xi\\ &=\int_{-\infty}^{\frac{y-b}{a}} \frac{1}{\sigma\sqrt{2\pi}} \mathbf e^{-\frac{1}{2}\frac{(\frac{\eta-b}{a}-\mu)^2}{\sigma^2}}d(\frac{\eta-b}{a})\\ &=\int_{-\infty}^{y} \frac{1}{\sigma\sqrt{2\pi}} \mathbf e^{-\frac{1}{2}\frac{(\eta-b-a\mu)^2}{a^2\sigma^2}}\frac{1}{a}d\eta=F(y) \end{aligned}$
那么随机变量 $Y$ 的概率密度函数为
$f(y)=\frac{dF(y)}{dy}=\frac{1}{a\sigma\sqrt{2\pi}} \mathbf e^{-\frac{1}{2}\frac{(\eta-b-a\mu)^2}{a^2\sigma^2}}$
那么显然随机变量 $Y$ 也是正态分布的，且 $Y\sim N(b+a\mu,a^2\sigma^2)$ 。

b. 两个正态分布随机变量的和

假设随机变量 $X 、 Y$ 服从正态分布， $X\sim N(\mu_X,\sigma_X^2)$ ， $Y\sim N(\mu_Y,\sigma_Y^2)$ ，那么 $Z = X + Y$ 服从什么分布呢？
我们从 $Z$ 的累积函数定义出发观察，
$F_Z(z)=\int_{-\infty}^zf(Z)dZ$
由 $Z = X + Y$ ，那么 $Z$ 的累积函数一定也可以表示成（X，Y）联合概率密度的积分形式，并且积分域如下图所示
【小呆的概率论学习笔记】正态分布的代数运算

由二重积分的定义出发，我们可以得到
$F_Z(z)=\int_{-\infty}^{+\infty} \int_{-\infty}^{z-x} f(x,y)dydx$
用变量变换 $y=\upsilon-x$ ，上式变成
$\begin{aligned} F_Z(z)&=\int_{-\infty}^{+\infty} \int_{-\infty}^{z-x} f(x,y)dydx=\int_{-\infty}^{+\infty} \int_{-\infty}^{z-x} f(x,\upsilon-x)d(\upsilon-x)dx\\ &=\int_{-\infty}^{+\infty} \int_{-\infty}^{z} f(x,\upsilon-x)d\upsilon dx \end{aligned}$
那么随机变量 $Z$ 的概率密度函数为
$f_Z(z)=\frac{dF_Z(z)}{dz}=\int_{-\infty}^{+\infty} f(x,z-x)dx$
如果随机变量 $X 、 Y$ 是独立的，那么
$\begin{aligned} f_Z(z)&=\int_{-\infty}^{+\infty} f(x,z-x)dx =\int_{-\infty}^{+\infty} f_X(x)f_Y(z-x)dx\\ &=\int_{-\infty}^{+\infty} \frac{1}{\sigma_x\sqrt {2\pi}}\mathbf e^{-\frac{(x-\mu_x)^2}{2\sigma_x^2}} \frac{1}{\sigma_y\sqrt {2\pi}}\mathbf e^{-\frac{(z-x-\mu_y)^2}{2\sigma_y^2}}dx\\ &=\int_{-\infty}^{+\infty}\frac{1}{\sigma_x\sigma_y 2\pi}\mathbf e^{-\frac{(z-\mu_x-\mu_y)^2}{2(\sigma_x^2+\sigma_y^2)}-\frac{1}{2}(\sqrt\frac{\sigma_x^2+\sigma_y^2}{\sigma_x^2\cdot\sigma_y^2}x+\frac{\sigma_xz}{\sigma_y\sqrt{\sigma_x^2+\sigma_y^2}}+\frac{\sigma_y\mu_x}{\sigma_x\sqrt{\sigma_x^2+\sigma_y^2}}+\frac{\sigma_x\mu_y}{\sigma_y\sqrt{\sigma_x^2+\sigma_y^2}})^2}dx\\ &=\frac{1}{\sigma_x\sigma_y 2\pi}\mathbf e^{-\frac{(z-\mu_x-\mu_y)^2}{2(\sigma_x^2+\sigma_y^2)}} \int_{-\infty}^{+\infty} \mathbf e^{-\frac{1}{2}(\sqrt\frac{\sigma_x^2+\sigma_y^2}{\sigma_x^2\cdot\sigma_y^2}x+\frac{\sigma_xz}{\sigma_y\sqrt{\sigma_x^2+\sigma_y^2}}+\frac{\sigma_y\mu_x}{\sigma_x\sqrt{\sigma_x^2+\sigma_y^2}}+\frac{\sigma_x\mu_y}{\sigma_y\sqrt{\sigma_x^2+\sigma_y^2}})^2}dx\\ &=\frac{1}{\sigma_x\sigma_y 2\pi}\mathbf e^{-\frac{(z-\mu_x-\mu_y)^2}{2(\sigma_x^2+\sigma_y^2)}} \sqrt{\frac{\sigma_x^2\cdot\sigma_y^2}{\sigma_x^2+\sigma_y^2}} \int_{-\infty}^{+\infty} \mathbf e^{-\frac{1}{2}(\sqrt\frac{\sigma_x^2+\sigma_y^2}{\sigma_x^2\cdot\sigma_y^2}x+\frac{\sigma_xz}{\sigma_y\sqrt{\sigma_x^2+\sigma_y^2}}+\frac{\sigma_y\mu_x}{\sigma_x\sqrt{\sigma_x^2+\sigma_y^2}}+\frac{\sigma_x\mu_y}{\sigma_y\sqrt{\sigma_x^2+\sigma_y^2}})^2}d(\sqrt{\frac{\sigma_x^2+\sigma_y^2}{\sigma_x^2\cdot\sigma_y^2}}x)\\ &=\frac{1}{2\pi\sqrt{\sigma_x^2+\sigma_y^2}}\mathbf e^{-\frac{(z-\mu_x-\mu_y)^2}{2(\sigma_x^2+\sigma_y^2)}}\int_{-\infty}^{+\infty}\mathbf e^{-\frac{1}{2}t^2}dt \end{aligned}$
这其中
$\int_{-\infty}^{+\infty}\mathbf e^{-\frac{1}{2}t^2}dt=\sqrt2\cdot\int_{-\infty}^{+\infty}\mathbf e^{-\frac{1}{2}t^2}d(\frac{t}{\sqrt2})=\sqrt2\cdot\int_{-\infty}^{+\infty}\mathbf e^{-\tau^2}d\tau=\sqrt2\cdot\sqrt\pi$
那么
$\begin{aligned} f_Z(z)&=\frac{1}{2\pi\sqrt{\sigma_x^2+\sigma_y^2}}\mathbf e^{-\frac{(z-\mu_x-\mu_y)^2}{2(\sigma_x^2+\sigma_y^2)}}\int_{-\infty}^{+\infty}\mathbf e^{-\frac{1}{2}t^2}dt\\ &=\frac{1}{2\pi\sqrt{\sigma_x^2+\sigma_y^2}}\mathbf e^{-\frac{(z-\mu_x-\mu_y)^2}{2(\sigma_x^2+\sigma_y^2)}}\sqrt2\cdot\sqrt\pi\\ &=\frac{1}{\sqrt{2\pi}\sqrt{\sigma_x^2+\sigma_y^2}}\mathbf e^{-\frac{(z-\mu_x-\mu_y)^2}{2(\sigma_x^2+\sigma_y^2)}} \end{aligned}$
不难得出随机变量 $Z$ 也是服从正态分布，并且 $Z\sim N(\mu_X+\mu_Y,\sigma_X^2+\sigma_Y^2)$ 。

c. 多个正态分布随机变量的线性组合

假设随机变量 $X_1、X_2、...、X_n$ 服从正态分布， $X_i\sim N(\mu_i,\sigma_i^2)$ ，那么 $Z=\sum a_iX_i$ 服从什么分布呢？
通过a节、b节内容，不难得出随机变量 $Z$ 服从正态分布，且 $Z\sim N(\sum a_i\mu_i,\sum a_i^2\sigma_i^2)$ 。文章来源地址https://www.toymoban.com/news/detail-514708.html