重新梳理一下,之前对极大似然估计的看法还是太浅了。极大似然估计比较简单,关键是弄清思想。
前言
之前说到极大似然估计,就会直接举例子说明,例如之前的文章关于GMM中的数学基础中就提到过。
例一,有两个完全一样的箱子,箱子甲中有99个黑球,1个白球,箱子乙中有99个白球,1个黑球。随意取一个球,结果为黑球,问黑球是从哪个箱子中取出的?
关于这个例子,人们猜测是从甲箱子中取出的。因为同样是100个球,但是甲箱子中有99个黑球,而乙箱子中有1个黑球。所以猜测更有可能是从甲箱子中取的。这种 想法就是“最大似然原理”
例二,一个猎人和一个从未打过猎的普通人一起去森林打猎,两人看到一只兔子,一声枪响,兔子死了。问是谁打死的兔子?
关于这个例子,人们的猜测是猎人打死的兔子。因为猎人经常打猎,而普通人没有打过猎。这种猜测就是“最大似然原理”
这样解释还是比较浅,今天从以下几个方面重新看极大似然估计
一、极大似然原理
- 假设我们的抽样是理想正确的;
- 概率大的事件在一次观测中更容易发生;
- 在一次观测中发生了的事件其概率应该大;
这三点非常重要,一定要理解,极大似然估计就是围绕着极大似然原理来的。**结合实际来理解就是,你得到的那些样本,就是概率最大的。**不管你手里的数据是什么,用极大似然的思想,你手里的样本,就是概率最大的样本。
二、解决的问题
极大似然估计是解决概率生成模型的参数估计。
举个例子:如果对全国人身高做一下评估,有一个前提假设是人的身高属于正态分布,在正态分布中我们关心参数为:均值 和方差 ,那如何得到全国人身高的均值和方差呢?如果去挨个测量14亿人的身高其实是不太可能的。我们能做的就是随机的找一些不同年龄段、不同性别的人测量他们的身高,让他们的身高水平代表全国人民的身高水平,然后通过他们对全国人民身高的均值和方差做一下估计,我想这是每个人都能想到的!但是,为什么能让这些人的身高代表全国人的身高呢?
这里用到的就是极大似然的原理,我从全国人中随机抽取了n个人测量身高,对应一、极大似然原理的三条,被抽取的n个人他们的概率一定大,概率大的事件更容易发生。所以我们可以认为,被抽取的n个人的身高,就是全国人们大概率的身高,或者说全国人们的身高,大概率都在被抽取的n个人身高中。这样我就可以用这n个人的身高来代替全国人的身高。
现在我知道抽取的这n个人的概率一定是最大的了,且假设全国人身高服从正太分布,想知道这个正态分布就需要求它的均值和方差。这里均值跟方差就是我们想求解的未知参数,这个均值和方差我们就可以用极大似然估计来求。
已知正态分布的概率密度函数为:
求解步骤为:
step1 计算似然函数:
step2 似然函数取对数:
step3 求最值对应的参数:
令:
step4得到估计参数:
文章来源:https://www.toymoban.com/news/detail-408637.html
总结
在机器学习和深度学学习中由于给定的样本总是有限,所以我们希望用有限的样本数据的经验分布来代替真实数据的分布。概率生成模型的本质也就是通过有限的样本数据进行训练,得到生成模型,生成模型生成的数据最后全都符合真实数据的分布。文章来源地址https://www.toymoban.com/news/detail-408637.html
到了这里,关于极大似然估计的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!