高斯分布作为一种重要的连续分布形式,频繁出现在各种应用场景里,典型如卡尔曼滤波器的设计与计算中涉及两个高斯分布的乘积,计算符合高斯分布的两个独立随机变量和的概率密度函数涉及高斯分布的卷积。
1. 一元高斯分布的乘积
令,均是关于变量的高斯分布,现计算高斯分布的乘积的分布形式。
检查指数项
展开得到:
进一步得到
配方得到:
对比高斯分布的标准形式,中最后添加的那一项视为关于的常数项,可知两个高斯分布乘积与高斯分布相差一个比例因子,略去因子后的高斯分布参数为:
由此得到化简后
带回原来的乘积形式中
进一步展开得到
由此得到一个缩放的高斯分布
其中比例因子也是一个高斯函数,
上述表达式可写为如下形式,
如果写成各项和的形式,则更容易通过归纳法给出更多数量Gaussian乘积的比例因子,其中每个项都涉及单个下标,即单个Gaussian PDF的参数,也就是
由此,通过归纳法得到个高斯分布对应的比例因子如下
上述归纳法的推导过程,详见 Products and Convolutions of Gaussian PDFs
2. 多元高斯分布的乘积
我们熟知的多元高斯分布形式如下:
多元高斯分布的另一种采用规范表示法表示的参数形式如下:
带入得到相应的形式如下:
将指数外的系数放入指数内,再根据 都是列向量,得到:
由此得到上述表达式的简化形式:
其中与无关项:
推广至多个多元高斯相乘时,得到的结果如下:
其中,
将比例因子进行变换可以发现,其仍为高斯函数。
3. 一元高斯分布的卷积
两个或多个独立随机变量之和的概率分布是它们各自分布的卷积。
为了说明这一点,假定两个符合高斯分布的随机变量与,其PDF分别为和,两个变量相加后对应随机变量,即发生的概率为:
由于与的独立性,
由此可得,
也就是说求两个随机变量和的PDF转化为求两个高斯分布函数的卷积.
对于给定的两个高斯分布,对应的PDF如下
两个函数与的卷积定义如下
根据卷积定理,两个函数的卷积的傅里叶变换等于两个函数傅里叶变换的乘积.
其中,是傅里叶变换.
是傅里叶逆变换.
使用变换
由此得到的傅里叶变换如下
变换得到
利用欧拉公式
根据基函数在整个空间的积分为0,得到
再根据如下积分
由此得到
同理
带入得到
即
对照可知,对应的也是一个新的高斯分布的傅里叶变换形式,对应的均值与标准差分别为
由此说明卷积后的也是一个高斯分布,对应的均值与标准差如上所述。
需要指出的是,这里有一个通用的形式
化简得到
即
4. 多元高斯分布参数的推断
观察到数据集,给定 估计,与给定 估计都是条件共轭的,但只根据数据集来给出似然函数的共轭分布,则需要定义一个新的共轭分布.
这一部分的内容来自于MLAPP第四章p132~p134。假设多元高斯分布的参数来自服从Normal-inverse-wishart概率分布:
在观测到一批数据集后,计算似然为:
在计算参数后验的分布时,用到了多元高斯分布相乘的方法。现假设:
利用相同的方法,可以得到
5. 高斯线性系统
这一部分的内容来自于MLAPP第四章。这部分的内容可能与前面所述的不一致(多个均为同一变量分布的分布)。高斯线性系统如下:
由产生,在观测到后可以对进行更新:
下面对 进行计算。已知p,的指数部分为:
通过配方可以得到:
下面对进行求解,我们知道
通过上述的式子,如果对上式求积分或者配方会有些复杂。实际上,通过上式可以得到逆协方差矩阵:
利用联合高斯分布的推断结论,可以得到:
可以推知:
再对(这里表示的协方差矩阵)进行计算:
因此:
的分布参数如下:
文章来源:https://www.toymoban.com/news/detail-430242.html
文章来源地址https://www.toymoban.com/news/detail-430242.html
到了这里,关于高斯分布的乘积与卷积的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!