高斯分布的乘积与卷积

这篇具有很好参考价值的文章主要介绍了高斯分布的乘积与卷积。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

高斯分布作为一种重要的连续分布形式,频繁出现在各种应用场景里,典型如卡尔曼滤波器的设计与计算中涉及两个高斯分布的乘积,计算符合高斯分布的两个独立随机变量和的概率密度函数涉及高斯分布的卷积。

1. 一元高斯分布的乘积

令,均是关于变量的高斯分布,现计算高斯分布的乘积的分布形式。

                                

                                

        高斯分布的乘积与卷积

检查指数项

                                                高斯分布的乘积与卷积

展开得到:

                        高斯分布的乘积与卷积

进一步得到

                                        高斯分布的乘积与卷积

配方得到:    

                          高斯分布的乘积与卷积

对比高斯分布的标准形式,中最后添加的那一项视为关于的常数项,可知两个高斯分布乘积与高斯分布相差一个比例因子,略去因子后的高斯分布参数为:

                                                高斯分布的乘积与卷积

由此得到化简后

                                        高斯分布的乘积与卷积

带回原来的乘积形式中

                                高斯分布的乘积与卷积

进一步展开得到

高斯分布的乘积与卷积

由此得到一个缩放的高斯分布

                                

其中比例因子也是一个高斯函数,

                                   高斯分布的乘积与卷积

上述表达式可写为如下形式,

                                                高斯分布的乘积与卷积

                                

 如果写成各项和的形式,则更容易通过归纳法给出更多数量Gaussian乘积的比例因子,其中每个项都涉及单个下标,即单个Gaussian PDF的参数,也就是

                                高斯分布的乘积与卷积

由此,通过归纳法得到高斯分布的乘积与卷积个高斯分布对应的比例因子如下

              高斯分布的乘积与卷积

上述归纳法的推导过程,详见  Products and Convolutions of Gaussian PDFs

2. 多元高斯分布的乘积

我们熟知的多元高斯分布形式如下:

                          

多元高斯分布的另一种采用规范表示法表示的参数形式如下:

                ​​​​​​​                        ​​​​​​​        

带入得到相应的形式如下:

                        高斯分布的乘积与卷积

将指数外的系数放入指数内,再根据 都是列向量,得到:

                                                

由此得到上述表达式的简化形式:

        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​            高斯分布的乘积与卷积

其中与无关项:

        ​​​​​​​        ​​​​​​​                高斯分布的乘积与卷积

推广至多个多元高斯相乘时,得到的结果如下:

        ​​​​​​​        ​​​​​​​        ​    高斯分布的乘积与卷积

其中,

                                

                                高斯分布的乘积与卷积

                高斯分布的乘积与卷积

将比例因子进行变换可以发现,其仍为高斯函数。

3. 一元高斯分布的卷积

两个或多个独立随机变量之和的概率分布是它们各自分布的卷积。

为了说明这一点,假定两个符合高斯分布的随机变量与,其PDF分别为和,两个变量相加后对应随机变量高斯分布的乘积与卷积,即发生的概率为:

                                        高斯分布的乘积与卷积

由于与的独立性,

                                        

由此可得,

                                        高斯分布的乘积与卷积

也就是说求两个随机变量和的PDF转化为求两个高斯分布函数的卷积.

对于给定的两个高斯分布,对应的PDF如下

                                 

                                

两个函数与的卷积定义如下

                                                

根据卷积定理,两个函数的卷积的傅里叶变换等于两个函数傅里叶变换的乘积.

                                                

其中,是傅里叶变换.

                                                高斯分布的乘积与卷积​​​​​​​

 是傅里叶逆变换.

                                                高斯分布的乘积与卷积

使用变换

                                                        

由此得到的傅里叶变换如下

                高斯分布的乘积与卷积

变换得到

                高斯分布的乘积与卷积

利用欧拉公式

                                                                

        ​​​​​​   ​​​​​​​        高斯分布的乘积与卷积

根据基函数在整个空间的积分为0,得到

                        高斯分布的乘积与卷积

再根据如下积分

                                       高斯分布的乘积与卷积

由此得到

                                        

同理

                                        

带入得到

        

                高斯分布的乘积与卷积

对照可知,对应的也是一个新的高斯分布的傅里叶变换形式,对应的均值与标准差分别为

                                                        高斯分布的乘积与卷积

        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        高斯分布的乘积与卷积​​​​​​​

由此说明卷积后的也是一个高斯分布,对应的均值与标准差如上所述。

需要指出的是,这里有一个通用的形式

 高斯分布的乘积与卷积                     ​​​​​​     

化简得到

                高斯分布的乘积与卷积​​​​​​​

        ​​​​​​​        ​​​​​​​                高斯分布的乘积与卷积

4. 多元高斯分布参数的推断

观察到数据集,给定  估计,与给定  估计都是条件共轭的,但只根据数据集来给出似然函数的共轭分布,则需要定义一个新的共轭分布.

这一部分的内容来自于MLAPP第四章p132~p134。假设多元高斯分布的参数​​​​​​​来自服从Normal-inverse-wishart概率分布:

        ​​​​​​​      高斯分布的乘积与卷积

在观测到一批数据集后,计算似然为:

        ​​​​​​​        ​​​​​​​        ​​​     

在计算参数后验的分布时,用到了多元高斯分布相乘的方法。现假设:

        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        

利用相同的方法,可以得到

                                        高斯分布的乘积与卷积​​​​​​​

5. 高斯线性系统

这一部分的内容来自于MLAPP第四章。这部分的内容可能与前面所述的不一致(多个均为同一变量分布的分布)。高斯线性系统如下:

        ​​​​​​​                ​​​​​​​        ​​​​​​​        高斯分布的乘积与卷积

由产生,在观测到后可以对进行更新:

        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        

下面对 进行计算。已知p,的指数部分为:

        ​​​​​​​        高斯分布的乘积与卷积

通过配方可以得到:

                        ​​​​​​​                高斯分布的乘积与卷积

下面对进行求解,我们知道

        ​​​​​​​        ​​​​​​​        ​​​​​​​                

                                        

通过上述的式子,如果对上式求积分或者配方会有些复杂。实际上,通过上式可以得到逆协方差矩阵:

                                高斯分布的乘积与卷积

利用联合高斯分布的推断结论,可以得到:

        ​​​​​​​        高斯分布的乘积与卷积

可以推知:

                                高斯分布的乘积与卷积

再对(这里表示的协方差矩阵)进行计算:

        ​​​​​​​        ​​​​​​​        高斯分布的乘积与卷积

        ​​​​​​​        ​​​​​​​                        ​​​​​​​

  ​​​​​​​因此:

                        高斯分布的乘积与卷积

的分布参数如下:

        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        高斯分布的乘积与卷积

                                ​​​​​​​        ​​​​​​​        文章来源地址https://www.toymoban.com/news/detail-430242.html

到了这里,关于高斯分布的乘积与卷积的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 高斯分布、高斯混合模型、EM算法详细介绍及其原理详解

    K近邻算法和KD树详细介绍及其原理详解 朴素贝叶斯算法和拉普拉斯平滑详细介绍及其原理详解 决策树算法和CART决策树算法详细介绍及其原理详解 线性回归算法和逻辑斯谛回归算法详细介绍及其原理详解 硬间隔支持向量机算法、软间隔支持向量机算法、非线性支持向量机算

    2024年02月06日
    浏览(34)
  • matlab仿真瑞利分布与高斯分布

            高斯分布也称正态分布,又名常态分布。若随机变量 X 服从一个均值为、均方差为的概率分布,且其概率密度函数为          则这个随机变量就称为正态随机变量,正态随机变量服从的分布就称为正态分布,记作         matlab中可以用randn生成满足标准正

    2024年02月06日
    浏览(28)
  • 对数高斯分布

    对数高斯分布是指服从正态分布的随机变量经过取对数变换后得到的分布。具体地,设 X ∼ N ( μ , σ 2 ) Xsim N(mu,sigma^2) X ∼ N ( μ , σ 2 ) 为一个正态分布随机变量, Y = ln ⁡ ( X ) Y=ln(X) Y = ln ( X ) 则 Y Y Y 服从对数高斯分布,即 Y ∼ L N ( μ , σ 2 ) Ysimmathcal{LN}(mu,sigma^2) Y ∼

    2024年01月18日
    浏览(28)
  • MaaS(Model as a Service)是一种云计算模式,它提供了一种将机器学习模型作为服务的方式

    MaaS(Model as a Service)是一种云计算模式,它提供了一种将机器学习模型作为服务的方式。MaaS允许用户在不需要拥有自己的硬件设备或专业技能的情况下,使用高质量的机器学习算法和模型。MaaS已经成为了人工智能和机器学习领域的热门趋势之一,对多个行业产生广泛的影响

    2024年04月17日
    浏览(34)
  • 重参数化技巧:高斯分布采样

    我们现在得到了有样本 X 得到的分布 X ~ N( μ mu μ , σ sigma σ ^2),通过采样我们得到确定的隐变量向量,从而作为解码器的输入。采样这个操作本身是不可导的,但是我们可以通过重参数化技巧,将简单分布的采样结果变换到特定分布中,如此一来则可以对变换过程进行求导

    2024年02月13日
    浏览(25)
  • python --opencv图像处理滤波详解(均值滤波、2D 图像卷积、方框滤波、 高斯滤波、中值滤波、双边滤波)

    第一件事情还是先做名词解释,图像平滑到底是个啥? 从字面意思理解貌似图像平滑好像是在说图像滑动。 emmmmmmmmmmmmmmm。。。。 其实半毛钱关系也没有,图像平滑技术通常也被成为图像滤波技术(这个名字看到可能大家会有点感觉)。 每一幅图像都包含某种程度的噪声,

    2024年02月04日
    浏览(37)
  • 深度学习论文解读分享之diffGrad:一种卷积神经网络优化方法

    diffGrad: An Optimization Method for Convolutional Neural Networks Shiv Ram Dubey , Member, IEEE, Soumendu Chakraborty , Swalpa Kumar Roy , Student Member, IEEE, Snehasis Mukherjee, Member, IEEE, Satish Kumar Singh, Senior Member, IEEE, and Bidyut Baran Chaudhuri, Life Fellow, IEEE Adaptive moment estimation (Adam), difference of gradient, gradient descent,

    2024年01月17日
    浏览(41)
  • 【论文速递】WACV 2023 - 一种全卷积Transformer的医学影响分割模型

    【论文原文】:The Fully Convolutional Transformer for Medical Image Segmentation 【作者信息】:Athanasios Tragakis, Chaitanya Kaul,Roderick Murray-Smith,Dirk Husmeier 博主 :医学图像分割、全卷积Transformer 推荐论文 :无 我们提出了一种新的transformer,能够分割不同形态的医学图像。 医学图像分析

    2024年02月08日
    浏览(33)
  • Python Numpy random.normal() 正态(高斯)分布

    正态分布是最重要的分布之一。 在德国数学家卡尔·弗里德里希·高斯之后,它也被称为高斯分布。 它适合许多事件的概率分布,例如。 智商得分,心跳等 使用 random.normal() 方法获取正态数据分布。 它具有三个参数: loc -(平均)钟声峰值所在的位置。 scale -(标准偏差)图

    2024年02月16日
    浏览(29)
  • 高斯分布在人工智能中的挑战与创新

    高斯分布(Gaussian distribution),也被称为正态分布,是一种概率分布,用于描述一组数值的集合中的数据点在均值和标准差的基础上的分布情况。在人工智能(AI)领域,高斯分布在许多算法和模型中发挥着重要作用,包括线性回归、朴素贝叶斯、高斯混合模型等。然而,高斯分布

    2024年02月20日
    浏览(34)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包