Fisher Information(费雪信息)详解

这篇具有很好参考价值的文章主要介绍了Fisher Information(费雪信息)详解。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

Fisher Information(费雪信息)

定义

Fisher Information 是一种衡量“随机观测样本携带的未知参数 θ \theta θ的信息量”的方法,其中 θ \theta θ为待估计的参数。

假定观测随机变量序列为 X 1 , X 2 , . . . , X 3 X_1,X_2,...,X_3 X1,X2,...,X3,且都服从概率分布 f ( X ; θ ) f(X;\theta) f(X;θ),则似然函数可以表示成:
L ( X ; θ ) = ∏ i = 1 n f ( X i ; θ ) L(\mathbf{X} ; \theta)=\prod_{i=1}^n f\left(X_i ; \theta\right) L(X;θ)=i=1nf(Xi;θ)
对数似然函数对 θ \theta θ求导并令一阶导数为0,则可以得到 θ \theta θ的最大似然估计值 θ ^ \hat{\theta} θ^。上述对数似然函数的一阶导数也称作Score function,其定义为:
S ( X ; θ ) = ∑ i = 1 n ∂ log ⁡ f ( X i ; θ ) ∂ θ = ∑ i = 1 n S ( X i ; θ ) S(\mathbf{X} ; \theta)=\sum_{i=1}^n \frac{\partial \log f\left(X_i ; \theta\right)}{\partial \theta}=\sum_{i=1}^n S(X_i;\theta) S(X;θ)=i=1nθlogf(Xi;θ)=i=1nS(Xi;θ)
那么Fisher Information定义为Score function的二阶矩 I ( θ ) = E [ S ( X ; θ ) 2 ] I(\theta)=E\left[S(\mathbf{X} ; \theta)^2\right] I(θ)=E[S(X;θ)2],下面对以下两点进行证明

  • E [ S ( X ; θ ) ] = 0 E[S(\mathbf{X} ; \theta)]=0 E[S(X;θ)]=0
  • I ( θ ) = E [ S ( X ; θ ) 2 ] − E [ S ( X ; θ ) ] 2 = Var ⁡ [ S ( X ; θ ) ] I(\theta)=E\left[S(\mathbf{X} ; \theta)^2\right]-E[S(\mathbf{X} ; \theta)]^2=\operatorname{Var}[S(\mathbf{X} ; \theta)] I(θ)=E[S(X;θ)2]E[S(X;θ)]2=Var[S(X;θ)]

证明一

因为概率密度函数 f ( X i ; θ ) f(X_i;\theta) f(Xi;θ)有以下性质
fisher information,概率论,机器学习,算法
上式两边对 θ \theta θ进行求导
fisher information,概率论,机器学习,算法
对上式左端进行变换
fisher information,概率论,机器学习,算法
证明二

由证明一,显然可得。

由证明二可以得到Fisher Information的第一条数学意义:最大似然估计的方程的方差。

进一步,如果对数似然函数二阶可导,则在一般情况下可以证明:

  • I ( θ ) = E [ S ( X ; θ ) 2 ] = − E ( ∂ 2 ∂ θ 2 log ⁡ L ( X ; θ ) ) I(\theta)=E\left[S(\mathbf{X} ; \theta)^2\right]=-E\left(\frac{\partial^2}{\partial \theta^2} \log L(\mathbf{X} ; \theta)\right) I(θ)=E[S(X;θ)2]=E(θ22logL(X;θ))

证明三

∂ ℓ ( θ ; x ) ∂ θ = ∂ log ⁡ f ( x ; θ ) ∂ θ \frac{\partial\ell \left( \theta ; x \right)}{\partial \theta} = \frac{\partial\log f \left( x ; \theta \right)}{\partial \theta} θ(θ;x)=θlogf(x;θ),根据证明一的结论有
fisher information,概率论,机器学习,算法
对上式两边同时对 θ \theta θ求偏导
fisher information,概率论,机器学习,算法
上式左边第二项可以写为
fisher information,概率论,机器学习,算法

从中可以得出
fisher information,概率论,机器学习,算法

证毕。于是可以得到Fisher Information的第二条数学意义:对数似然函数在参数真实值处的负二阶导数的期望。

下面举个例子说明其数学含义,下图为一个简单的归一化伯努利对数似然函数图。

fisher information,概率论,机器学习,算法

容易看出,当其平且宽的时候,代表了对参数估计的性能差,而当且坚且窄时,代表了对参数估计的性能好,也可以说信息量越大。而这个对数似然函数的负二阶导数就反映了其在顶点处的弯曲程度,弯曲程度大,对数似然函数的形状就趋近于高而窄,也表示掌握的信息越多。

矩阵形式

现假定待估计参数为 θ = [ θ 1 , θ 2 , . . . , θ N ] T \mathbf{\theta}=[\theta_1,\theta_2,...,\theta_N]^T θ=[θ1,θ2,...,θN]T,则Fisher Information此时可以用矩阵形式表示,该矩阵称为Fisher information matrix,其中的元素可以写为以下两种形式:
[ I ( θ ) ] i , j = E [ ( ∂ ∂ θ i log ⁡ f ( X ; θ ) ) ( ∂ ∂ θ j log ⁡ f ( X ; θ ) ) ∣ θ ] [ I ( θ ) ] i , j = − E [ ∂ 2 ∂ θ i ∂ θ j log ⁡ f ( X ; θ ) ∣ θ ] \begin{equation} \begin{aligned} {[\mathbb{I}(\theta)]_{i, j} } & =E\left[\left(\frac{\partial}{\partial \theta_i} \log f(X ; \boldsymbol{\theta})\right)\left(\frac{\partial}{\partial \theta_j} \log f(X ; \boldsymbol{\theta})\right) \mid \boldsymbol{\theta}\right] \\ {[\mathbb{I}(\theta)]_{i, j} } & =-E\left[\frac{\partial^2}{\partial \theta_i \partial \theta_j} \log f(X ; \boldsymbol{\theta}) \mid \boldsymbol{\theta}\right] \end{aligned} \end{equation} [I(θ)]i,j[I(θ)]i,j=E[(θilogf(X;θ))(θjlogf(X;θ))θ]=E[θiθj2logf(X;θ)θ]
下面举例说明,归一化周期频率的复数正弦信号 s(t) 的均匀采样可以表示为
x [ n ] = s [ n ] + w [ n ] = A exp ⁡ [ j ( 2 π f 0 n + ϕ ) ] + w [ n ] = A ~ exp ⁡ ( j 2 π f 0 n ) + w [ n ] , 0 ≤ n ≤ N − 1 \begin{align*} x\left[ n \right] &= s\left[ n \right] + w\left[ n \right]\\ & = A\exp \left[ {j\left({2\pi {f_0}n + \phi } \right)} \right] + w\left[ n \right]\\ & = \tilde{A}\exp \left({j2\pi {f_0}n} \right) + w\left[ n \right], 0 \leq n \leq N - 1 \end{align*} x[n]=s[n]+w[n]=Aexp[j(2πf0n+ϕ)]+w[n]=A~exp(j2πf0n)+w[n],0nN1
其中 A ~ = A exp ⁡ ( j ϕ ) \tilde{A} = A\exp ({j\phi }) A~=Aexp(jϕ)是复幅度, ω [ n ] \omega[n] ω[n]是功率为 σ w 2 \sigma_w^2 σw2的加性高斯白噪声。其中 A , f 0 , ϕ A,f_0,\phi Af0,ϕ为待估计参数。则Fisher information matrix中的第 ( i , j ) (i,j) (i,j) 个元素为
[ I ( Θ ) i j ] = 2 σ w 2 R e { ∑ n = 0 N − 1 [ ∂ s [ n ; Θ ] ∂ Θ i ] ∗ [ ∂ s [ n ; Θ ] ∂ Θ j ] } \begin{equation*} \left[ {{{\bf I}}{{\left({{\bf \Theta } } \right)}_{ij}}} \right] = \frac{2}{{\sigma _w^2}}{\mathop {\rm Re}\nolimits } \left\lbrace {{{\sum \limits _{n = 0}^{N - 1} {\left[ {\frac{{\partial s\left[ {n;{{\bf \Theta } }} \right]}}{{\partial {\Theta _i}}}} \right]} }^*}\left[ {\frac{{\partial s\left[ {n;{{\bf \Theta } }} \right]}}{{\partial {\Theta _j}}}} \right]} \right\rbrace \end{equation*} [I(Θ)ij]=σw22Re{n=0N1[Θis[n;Θ]][Θjs[n;Θ]]}
其中 Θ = [ A , f 0 , ϕ ] T {{\bf \Theta } } = {[A,{f_0},\phi ]^{\rm {T}}} Θ=[A,f0,ϕ]T。他们的偏导可以表示为
∂ s [ n ; Θ ] ∂ A = exp ⁡ [ j ( 2 π f 0 n + ϕ ) ] ∂ s [ n ; Θ ] ∂ f 0 = j 2 π n A exp ⁡ [ j ( 2 π f 0 n + ϕ ) ] ∂ s [ n ; Θ ] ∂ ϕ = j A exp ⁡ [ j ( 2 π f 0 n + ϕ ) ] . \begin{align*} \frac{{\partial s\left[ {n;{{\bf \Theta } }} \right]}}{{\partial A}} &= \exp \left[ {j\left({2\pi {f_0}n + \phi } \right)} \right] \\ \frac{{\partial s\left[ {n;{{\bf \Theta } }} \right]}}{{\partial {f_0}}} &= j2\pi nA\exp \left[ {j\left({2\pi {f_0}n + \phi } \right)} \right] \\ \frac{{\partial s\left[ {n;{{\bf \Theta } }} \right]}}{{\partial \phi }} &= jA\exp \left[ {j\left({2\pi {f_0}n + \phi } \right)} \right]. \end{align*} As[n;Θ]f0s[n;Θ]ϕs[n;Θ]=exp[j(2πf0n+ϕ)]=j2πnAexp[j(2πf0n+ϕ)]=jAexp[j(2πf0n+ϕ)].
因此,FIM可以表示为
[ I ( Θ ) i j ] = 2 σ w 2 [ N 0 0 0 A 2 ∑ n ( 2 π n ) 2 A 2 ∑ n 2 π n 0 A 2 ∑ n 2 π n N A 2 ] . \begin{align*} \left[ {{{\bf I}}{{\left({{\bf \Theta } } \right)}_{ij}}} \right] &= \frac{2}{{\sigma _w^2}}\left[ {\begin{array}{ccc}N&0&0\\ 0&{{A^2}\sum \limits _n {{{\left({2\pi n} \right)}^2} } }&{{A^2}\sum \limits _n {2\pi n} }\\ 0&{{A^2}\sum \limits _n {2\pi n} }&{N{A^2}} \end{array}} \right]. \end{align*} [I(Θ)ij]=σw22 N000A2n(2πn)2A2n2πn0A2n2πnNA2 .文章来源地址https://www.toymoban.com/news/detail-730942.html

到了这里,关于Fisher Information(费雪信息)详解的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • von Mises-Fisher Distribution (代码解析)

    torch.distribution 中包含了很多概率分布的实现,本文首先 通过均匀分布来说明 Distribution 的具体用法 , 然后再解释 von Mises-Fisher 分布的实现 , 其公式推导见 von Mises-Fisher Distribution. 1. torch.distribution.Distribution 以下是 Uniform 的源码: 下面将依次从上到下进行解释: 1.1 首先是一个使用

    2024年04月27日
    浏览(38)
  • kkfileview阿里云安全扫描:威胁类型敏感信息回显 (Sensitive Information Response)

    在阿里云部署的kkfileview,阿里云安全性扫描有漏洞 网络流量内容GET /getCorsFile?urlPath=file:///etc/passwd HTTP/1.1 Host: XXX.XXX.XXXX.XXX:80XX User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.6.2333.33 Safari/537.36 AliyunTaiShiGanZhi https://www.aliyun.com/product/sas Accept-Encod

    2023年04月20日
    浏览(49)
  • 【模式识别】探秘判别奥秘:Fisher线性判别算法的解密与实战

    ​🌈个人主页: Sarapines Programmer 🔥 系列专栏: 《模式之谜 | 数据奇迹解码》 ⏰诗赋清音:云生高巅梦远游, 星光点缀碧海愁。 山川深邃情难晤, 剑气凌云志自修。 目录 🌌1 初识模式识别 🌌2 Fisher线性判别 🌍2.1 研究目的 🌍2.2 实验环境 🌍2.3 实验内容 🌕2.3.1 算法

    2024年02月04日
    浏览(36)
  • d3.shuffle、Fisher–Yates算法以及js 中的slice

    D3.shuffle() 方法用于将数组中的元素随机排序。它使用 Fisher–Yates 洗牌算法,该算法是无偏的,具有最佳的渐近性能(线性时间和常数内存)。 D3.shuffle() 方法的语法如下: 其中: array 是原数组。 start 是开始索引,默认为 0。 end 是结束索引,默认为数组的长度。 如果 end 是

    2024年02月08日
    浏览(37)
  • 判别分析之Fisher判别、Bayes判别、距离判别的R实现案例

            某企生产的产品,其造型、性能和价位及所属级别数据如下表所示: 某企业产品的造型、性能、价位、级别等指标   题目来自《多元统计分析-基于R》课后习题           下面分别用Fisher判别法和Bayes判别法进行判别分析。            先进性Fisher判别,R程序如下

    2024年02月05日
    浏览(39)
  • Web安全—information_schema数据库详解&基础补充

    前言 :在SQL注入中,information_schema数据库中包含的信息特别重要,通过这个表我们可以去获取到存在SQL注入网站的表,列,等信息,其危害不言而喻。 基础 :information_schema是一个存放了当前数据库管理系统中所有数据库信息的一个数据库,数据库只能进行读取,不支持修改

    2023年04月08日
    浏览(42)
  • MySQL系统表information_schema.INNODB_TRX详解及查看当前运行事务

    在日常管理数据库的过程中,有时需要查询MySQL数据库是否正在有正在执行的事务,便于排查业务问题。MySQL的系统库表有数据维护对应的信息,就在 information_schema 库中的 INNODB_TRX 表,包含事务中是否存在锁,事务开启时间,事务执行的语句等等。 SELECT * FROM information_schema

    2024年02月16日
    浏览(84)
  • 【读点论文】PICK Processing Key Information Extraction from Documents...实体关系抽取,从图像数据抽取具有自然语义信息的结构化数据

    关键信息抽取 (Key Information Extraction, KIE)指的是是从文本或者图像中,抽取出关键的信息。 针对文档图像的关键信息抽取任务作为OCR的下游任务 ,存在非常多的实际应用场景,如表单识别、车票信息抽取、身份证信息抽取等。然而,使用人力从这些文档图像中提取或者收集关

    2024年02月04日
    浏览(50)
  • 求职咨询Job Information

    加油 ❶ I want to apply for a job which enables me to use my major. 我想要申请一个能用到我的专业知识的职业。 ❷ I have the capability of operating the computer. 我有操作电脑的能力。 ❸ My dream is to be an excellent interpreter. 我的梦想是成为一个优秀的口译员。 ❹ I’m good at writing and I want to be an e

    2023年04月09日
    浏览(25)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包