极大似然估计

这篇具有很好参考价值的文章主要介绍了极大似然估计。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

重新梳理一下,之前对极大似然估计的看法还是太浅了。极大似然估计比较简单,关键是弄清思想。


前言

之前说到极大似然估计,就会直接举例子说明,例如之前的文章关于GMM中的数学基础中就提到过。
例一,有两个完全一样的箱子,箱子甲中有99个黑球,1个白球,箱子乙中有99个白球,1个黑球。随意取一个球,结果为黑球,问黑球是从哪个箱子中取出的?
关于这个例子,人们猜测是从甲箱子中取出的。因为同样是100个球,但是甲箱子中有99个黑球,而乙箱子中有1个黑球。所以猜测更有可能是从甲箱子中取的。这种 想法就是“最大似然原理”
例二,一个猎人和一个从未打过猎的普通人一起去森林打猎,两人看到一只兔子,一声枪响,兔子死了。问是谁打死的兔子?
关于这个例子,人们的猜测是猎人打死的兔子。因为猎人经常打猎,而普通人没有打过猎。这种猜测就是“最大似然原理”

这样解释还是比较浅,今天从以下几个方面重新看极大似然估计


一、极大似然原理

  1. 假设我们的抽样是理想正确的;
  2. 概率大的事件在一次观测中更容易发生;
  3. 在一次观测中发生了的事件其概率应该大;

这三点非常重要,一定要理解,极大似然估计就是围绕着极大似然原理来的。**结合实际来理解就是,你得到的那些样本,就是概率最大的。**不管你手里的数据是什么,用极大似然的思想,你手里的样本,就是概率最大的样本。

二、解决的问题

极大似然估计是解决概率生成模型的参数估计。
举个例子:如果对全国人身高做一下评估,有一个前提假设是人的身高属于正态分布,在正态分布中我们关心参数为:均值 和方差 ,那如何得到全国人身高的均值和方差呢?如果去挨个测量14亿人的身高其实是不太可能的。我们能做的就是随机的找一些不同年龄段、不同性别的人测量他们的身高,让他们的身高水平代表全国人民的身高水平,然后通过他们对全国人民身高的均值和方差做一下估计,我想这是每个人都能想到的!但是,为什么能让这些人的身高代表全国人的身高呢?
这里用到的就是极大似然的原理,我从全国人中随机抽取了n个人测量身高,对应一、极大似然原理的三条,被抽取的n个人他们的概率一定大,概率大的事件更容易发生。所以我们可以认为,被抽取的n个人的身高,就是全国人们大概率的身高,或者说全国人们的身高,大概率都在被抽取的n个人身高中。这样我就可以用这n个人的身高来代替全国人的身高。
现在我知道抽取的这n个人的概率一定是最大的了,且假设全国人身高服从正太分布,想知道这个正态分布就需要求它的均值和方差。这里均值跟方差就是我们想求解的未知参数,这个均值和方差我们就可以用极大似然估计来求。
已知正态分布的概率密度函数为:

极大似然估计

求解步骤为:
step1 计算似然函数:
极大似然估计

step2 似然函数取对数:

极大似然估计

step3 求最值对应的参数:

令: 极大似然估计

极大似然估计

step4得到估计参数:

极大似然估计

极大似然估计


总结

在机器学习和深度学学习中由于给定的样本总是有限,所以我们希望用有限的样本数据的经验分布来代替真实数据的分布。概率生成模型的本质也就是通过有限的样本数据进行训练,得到生成模型,生成模型生成的数据最后全都符合真实数据的分布。文章来源地址https://www.toymoban.com/news/detail-408637.html

到了这里,关于极大似然估计的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 机器学习强基计划4-2:通俗理解极大似然估计和极大后验估计+实例分析

    机器学习强基计划聚焦深度和广度,加深对机器学习模型的理解与应用。“深”在详细推导算法模型背后的数学原理;“广”在分析多个机器学习模型:决策树、支持向量机、贝叶斯与马尔科夫决策、强化学习等。 🚀详情:机器学习强基计划(附几十种经典模型源码合集) 某

    2023年04月11日
    浏览(43)
  • 最小二乘法,极大似然估计,交叉熵的公式推导

    最小二乘法、极大似然估计和交叉熵是常用的三种损失函数。 最小二乘法是一种回归问题中常用的损失函数,用于衡量预测值与实际值之间的误差平方和。它常用于线性回归问题中,目标是最小化预测值与真实值之间的均方误差(MSE)。 极大似然估计(Maximum Likelihood Estima

    2024年02月08日
    浏览(41)
  • 深入理解机器学习与极大似然之间的联系

    似然函数:事件A的发生含着有许多其它事件的发生。所以我就把这些其它事件发生的联合概率来作为事件A的概率,也就是似然函数。数据类型的不同(离散型和连续性)就有不同的似然函数 极大似然极大似然估计方法(Maximum Likelihood Estimate,MLE):那就是让这个似然函数的

    2024年02月13日
    浏览(51)
  • 最大似然估计法和Zero Forcing算法的思考

    本篇文章是学习了B站UP主 乐吧的数学 之后的笔记总结,老师讲的非常好,大家有兴趣的可以关注一波! 那么 Maximum Likelihood(ML) 算法是最优的检测,这个最优指的是使错误率最低(假定发送的 x 是等概率出现的),从最低错误率的角度出发,同时假定在每个天线处的高斯白噪

    2023年04月09日
    浏览(43)
  • 【人工智能】— 逻辑回归分类、对数几率、决策边界、似然估计、梯度下降

    考虑二分类问题,其中每个样本由一个特征向量表示。 直观理解:将特征向量 x text{x} x 映射到一个实数 w T x text{w}^Ttext{x} w T x 一个正的值 w T x text{w}^Ttext{x} w T x 表示 x text{x} x 属于正类的可能性较高。 一个负的值 w T x text{w}^Ttext{x} w T x 表示 x text{x} x 属于负类的可能性

    2024年02月09日
    浏览(47)
  • Fisher信息与最大似然估计的渐进正态性(附有在Bernoulli分布上的计算)

    写在前面 最大似然估计具有很多好的性质,包括相合性,同变性,渐进正态性等。本文主要关注的是渐进正态性。渐近正态性表明,估计量的极限分布是正态分布。而该正态分布的方差,与Fisher信息有着密不可分的关系。 Fisher信息 (定义)记分函数(Score Function): s ( X ; θ

    2024年02月09日
    浏览(58)
  • R语言随机波动模型SV:马尔可夫蒙特卡罗法MCMC、正则化广义矩估计和准最大似然估计上证指数收益时间序列

    本文详细介绍了如何使用R语言进行随机波动模型SV的模拟和估计,包括马尔可夫蒙特卡罗法(MCMC)、正则化广义矩估计法和准最大似然估计法。

    2024年02月10日
    浏览(54)
  • 基于确定性最大似然算法 DML 的 DoA 估计,用牛顿法实现(附 MATLAB 源码)

    本文首次在公众号【零妖阁】上发表,为了方便阅读和分享,我们将在其他平台进行自动同步。由于不同平台的排版格式可能存在差异,为了避免影响阅读体验,建议如有排版问题,可前往公众号查看原文。感谢您的阅读和支持! 在 DoA 估计中,最大似然方法主要分为 确定性

    2024年02月17日
    浏览(47)
  • docker-compose重新部署之前的环境和项目

    因为目前工作中项目大部分都是使用的docker环境,使用docker-compose编排部署的,所以这段时间就自己尝试使用docker部署一下之前自己写的练手项目,其中的环境有 mysql8 、 php7.4 、 redis3 、 rabbitmq 、 nginx 、 elasticsearch ,当然这些技术有一些我都只是了解,平时工作用不到,自己

    2023年04月26日
    浏览(76)
  • 梳理一下嵌入式和单片机之间的关系

    一定有很多人都听说过嵌入式和单片机,但在刚开始接触时,不知道大家有没有听说过嵌入式就是单片机这样的说法,其实嵌入式和单片机还是有区别的。单片机与嵌入式到底有什么关系? 下面我们就来说说嵌入式和单片机之间的联系和区别吧。 01  什么是单片机? 首先,

    2024年02月04日
    浏览(47)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包