标准高斯过程回归(Gaussian Processes Regression, GPR)从零开始,公式推导

这篇具有很好参考价值的文章主要介绍了标准高斯过程回归(Gaussian Processes Regression, GPR)从零开始,公式推导。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一、什么是高斯过程回归,他是用来干什么的

高斯过程回归是一种监督学习方法,我们可以将回归理解为拟合,比如:线性拟合,就是将一些数据拟合成一条直线。那么高斯过程回归就是将数据拟合成高斯过程,进而实现预测。

举个例子:我们在同一地点从上午八点开始,每隔一个小时采集一次气温,直至下午五点结束。那么我们可以用采集到的气温信息,拟合成高斯过程去预测一个小时之后的气温。

再举个例子:我们在同一时间内,在不同的地方采集气温,我们可以通过这些数据,拟合成高斯过程去预测当前时刻其他地方的气温。

值得注意的是!!!高斯过程不是简单的高斯分布。我们首先简单介绍一下高斯过程。

二、高斯过程

高斯过程是连续域(例如空间域和时间域)上无线多个点的联合高斯分布。

对于一维高斯分布,我们可以用该数据的均值和该数据的方差来表示,

对于二维高斯分布,我们可以用这两个数据的均值和他们之间的协方差矩阵来表示,,其中,为协方差矩阵。

对于连续域上无数个多维高斯分布(以空间域为例),我们用空间上的每个点的均值和这些点之间的协方差矩阵来表示这个无限维的高斯分布,即高斯过程。此时,均值和协方差矩阵就由原来的单个数字,变成了函数,即均值函数和协方差函数。

其中,表示第个点的坐标,为均值函数;表示协方差函数。

因此,我们只需要均值函数和协方差矩阵函数即可确定一个高斯过程。并且一个高斯过程的有限维度的子集都服从一个多元高斯分布。

三、高斯过程回归

我们以空间域为例进行解释,假设空间中第i个点的坐标为,该点的数据输出为,则高斯过程回归模型的表达式为:

高斯过程回归,回归,机器学习,人工智能,算法,朴素贝叶斯算法

其中表示噪声变量,服从。在GPR中,我们假设服从高斯过程,即:


其中,m(x)为均值函数,K(x,x')为协方差函数,我们也称之为核函数。

四、给出均值函数和核函数

我们已经假设服从高斯过程,同时,高斯过程是由一个均值函数和一个协方差函数来确定的,那么为了对进行表示,我们需要给出均值函数和协方差函数

通常来讲,我们将均值函数设为0。为什么会设为零呢,这显然不符合常识,特别是对于那些已经通过测量而得到数据输出的点来说,那些点的均值应该是测量值的均值才对。

首先,均值函数设为0是为了方便计算,可以简化我们的公式。

其次,均值函数设为0,即便他有些不符合“常识”,但对于短期预测结果来说几乎没有影响,均值函数影响的是长期预测结果,举个例子:你在某一时刻测量了南京新街口50米×50米范围内多个点的气温,你想通过这些测量值去预测距离测量范围1米处的气温,此时均值函数的影响很小;但如果你想预测北京某地的气温,那预测值几乎等于均值函数值,然而,这样的预测是不准确的。

最后,这里的均值函数和协方差函数可以理解为先验概率,也就是说对于“地点—气温”这一函数,给出的先验概率是怎样的,如果有确定的函数关系,则可以将这个函数作为均值函数。如果没有,则通常设为0。

协方差函数,也就是核函数,在这里极其重要。核函数是高斯过程的核心,它决定了高斯过程的性质。不同的核函数得到的高斯过程性质也不一样。

比较常用的核函数是高斯核函数,也就是径向基函数RBF。其基本形式如下:

在上式中,和是需要人为给定的参数,我们称之为超参数。通常会根据采集到的数据对超参数进行简单的计算,根据计算得到的超参数给出核函数。

五、基于高斯过程回归的预测

我们给出了高斯过程回归的模型表达式:

高斯过程回归,回归,机器学习,人工智能,算法,朴素贝叶斯算法

以及高斯过程的均值函数和协方差矩阵函数:

其中,

现在我们根据高斯过程回归进行预测。设和为数据库中已有的位置坐标及其对应的数据值。和为预测点的位置坐标及其对应的数据值。因为服从高斯过程,那么和服从联合高斯分布,即

通过贝叶斯公式,得到的概率分布。



高斯过程回归,回归,机器学习,人工智能,算法,朴素贝叶斯算法

p的计算过程即为舒尔补求解,我会在文章最后给出舒尔补的求解过程。

将均值函数和协方差函数代入,即可得到预测点的概率表达式。


需要注意的是,我们一直假设的是f(x)服从高斯过程,在函数的输出y中,还有一个噪声项

我们将噪声项加入其中,并重新给出公式。

高斯过程回归,回归,机器学习,人工智能,算法,朴素贝叶斯算法
高斯过程回归,回归,机器学习,人工智能,算法,朴素贝叶斯算法
高斯过程回归,回归,机器学习,人工智能,算法,朴素贝叶斯算法

六、根据已有数据给出超参数

在上文中,需要人为给定的超参数实际上有三个,。

分别是高斯过程表达式和核函数中的超参数,我们统一用表示。

高斯过程回归,回归,机器学习,人工智能,算法,朴素贝叶斯算法
高斯过程回归,回归,机器学习,人工智能,算法,朴素贝叶斯算法

我们需要让构建的高斯过程表达式,能够准确的表达坐标点x和数据输出y之间的关系,因此,我们应当找到一组超参数使得y的似然估计最大。

高斯过程回归,回归,机器学习,人工智能,算法,朴素贝叶斯算法
高斯过程回归,回归,机器学习,人工智能,算法,朴素贝叶斯算法

至此,标准高斯过程回归全部结束。

附录 舒尔补公式推导

多元高斯分布的概率密度函数为:

假设一对多元正态分布变量(x,y),他们的联合概率密度函数:

其中,我们的目的是将联合密度分解为条件概率和边缘概率的乘积,即

首先,我们可以将协方差矩阵进行分解:

对矩阵两边进行求逆运算:

将联合概率密度p(x,y)的指数部分二次项展开,可以得到:

高斯过程回归,回归,机器学习,人工智能,算法,朴素贝叶斯算法

由于幂运算中同底数幂相乘,底数不变,指数相加的性质,可以得到:

高斯过程回归,回归,机器学习,人工智能,算法,朴素贝叶斯算法文章来源地址https://www.toymoban.com/news/detail-844877.html

到了这里,关于标准高斯过程回归(Gaussian Processes Regression, GPR)从零开始,公式推导的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 高斯过程(Gaussian Process)回归预测,例子,代码及可视化展示

    高斯过程指的是一组随机变量的集合,这个集合里面的任意有限个随机变量都服从联合正态分布。(联合正态分布是指多个随机变量的联合分布满足正态分布。联合分布是指多个随机变量同时满足的概率分布,一个常见的例子是考虑两个随机变量:X 表示一个人的年龄,Y 表示

    2024年02月10日
    浏览(51)
  • 【MATLAB第52期】#源码分享 | 基于MATLAB的高斯过程GPR超参数(sigma)自动优化算法 时间序列预测模型 五折交叉验证

    后台私信回复“52期”即可免费获取数据及代码。 1.数据 一列时间序列数据 ,滑动窗口尺寸为15。 2.思路 使用GPR自动优化函数,对sigma进行自动寻优。 适应度值log(1+loss)。 迭代次数默认30. 后台私信回复“52期”即可获取数据及代码下载链接。

    2024年02月12日
    浏览(67)
  • 高斯噪声(Gaussian noise)

    高斯噪声,也称为白噪声或随机噪声,是一种符合高斯(正态)分布的随机信号或干扰。它的特点是在所有频率上具有恒定的功率谱密度,使其在不同频率上呈现出等能量的随机波动。 从实际角度来看,高斯噪声是指在各种系统和过程中发生的随机变化或扰动。它存在于许多

    2024年02月10日
    浏览(54)
  • 高斯模糊与图像处理(Gaussian Blur)

    高斯模糊在图像处理中的用途及其广泛,除了常规的模糊效果外,还可用于图像金字塔分解、反走样、高低频分解、噪声压制、发光效果等等等等。正因为高斯模糊太基础,应用太广泛,所以需要尽可能深入认识这个能力,避免在实际应用中无意采坑。 G ( x ) = 1 2 π σ e −

    2024年02月13日
    浏览(44)
  • 3D高斯泼溅(Gaussian Splatting)通俗解释

    项目:3D Gaussian Splatting for Real-Time Radiance Field Rendering 代码:GitHub - graphdeco-inria/gaussian-splatting: Original reference implementation of \\\"3D Gaussian Splatting for Real-Time Radiance Field Rendering\\\" 功能:拍摄一段视频或多张图片,可以重建3维场景并能实时渲染。 优点:质量高、速度快。 缺点:占用

    2024年02月22日
    浏览(60)
  • 3D Gaussian Splatting文件的压缩【3D高斯泼溅】

    在上一篇文章中,我开始研究高斯泼溅(3DGS:3D Gaussian Splatting)。 它的问题之一是数据集并不小。 渲染图看起来不错。 但“自行车”、“卡车”、“花园”数据集分别是一个 1.42GB、0.59GB、1.35GB 的 PLY 文件。 它们几乎按原样加载到 GPU 内存中作为巨大的结构化缓冲区,因此

    2024年02月03日
    浏览(39)
  • 【Animatable 3D Gaussian】3D高斯最新工作,25s重建十人, 炸裂

    1. 资料 项目: 论文: 代码: 2. 论文 2.1 摘要 神经辐射场能够重建高质量的可驱动人类化身,但训练和渲染成本很高。为减少消耗,本文提出可动画化的3D高斯,从输入图像和姿势中学习人类化身。我们通过在正则空间中建模一组蒙皮的3D高斯模型和相应的骨架,并根据输入

    2024年01月23日
    浏览(46)
  • 逻辑回归(Logistic Regression)

    入门小菜鸟,希望像做笔记记录自己学的东西,也希望能帮助到同样入门的人,更希望大佬们帮忙纠错啦~侵权立删。   目录 一、逻辑回归简介与用途 二、逻辑回归的理论推导 1、问题描述和转化 2、初步思路:找一个线性模型来由X预测Y 3、Sigmoid函数(逻辑函数) 4、刚刚的

    2023年04月18日
    浏览(37)
  • 逻辑回归(Logistic Regression)

    在分类问题中,你要预测的变量 y是离散的值,我们将学习一种叫做逻辑回归 (Logistic Regression) 的算法,这是目前最流行使用最广泛的一种学习算法。 在分类问题中,我们尝试预测的是结果是否属于某一个类(例如正确或错误)。分类问题的例子有:判断一封电子邮件是否是

    2024年02月09日
    浏览(36)
  • 经典文献阅读之--Gaussian Splatting SLAM(单目3D高斯溅射重建)

    3D GS在NeRF领域已经掀起了一股浪潮,然后又很快席卷到了SLAM领域,最近已经看到很多3D GS和SLAM结合的开源工作了。将为大家分享帝国理工学院戴森机器人实验最新开源的方案《Gaussian Splatting SLAM》,这也是第一个将3D GS应用到增量3D重建的工作,速度为3 FPS。要想实时从摄像头

    2024年03月10日
    浏览(56)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包