信息论之从熵、惊奇到交叉熵、KL散度和互信息

这篇具有很好参考价值的文章主要介绍了信息论之从熵、惊奇到交叉熵、KL散度和互信息。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一、熵(PRML)

考虑将A地观测的一个随机变量x,编码后传输到B地。
这个随机变量有8种可能的状态,每个状态都是等可能的。为了把x的值传给接收者,需要传输一个3-bits的消息。注意,这个变量的熵由下式给出:

信息论之从熵、惊奇到交叉熵、KL散度和互信息
⾮均匀分布⽐均匀分布的熵要⼩。
如果概率分布非均匀,同样使用等长编码,那么并不是最优的。相反,可以根据随机变量服从的概率分布构建Huffman树,得到最优的前缀编码。
信息论之从熵、惊奇到交叉熵、KL散度和互信息
可以利⽤⾮均匀分布这个特点,使⽤更短的编码来描述更可能的事件,使⽤更长的编码来描述不太可能的事件。
可以使⽤下⾯的编码串:0、10、110、1110、111100、111101、111110、111111来表⽰状态{a, b, c, d, e, f, g, h}。传输的编码的平均长度就是
信息论之从熵、惊奇到交叉熵、KL散度和互信息
⽆噪声编码定理(noiseless coding theorem)表明,熵是传输⼀个随机变量状态值所需的⽐特位的下界。
 
事实上,熵的概念最早起源于物理学,是在热⼒学平衡的背景中介绍的。后来,熵成为描述统计⼒学中的⽆序程度的度量。
考虑⼀个集合,包含N个完全相同的物体,这些物体要被分到若⼲个箱⼦中,使得第i个箱⼦中有ni个物体。考虑把物体分配到箱⼦中的不同⽅案的数量。有N种⽅式选择第⼀个物体,有(N -1)种⽅式选择第⼆个物体,以此类推。
因此总共有N!种⽅式把N个物体分配到箱⼦中,其中N!表⽰乘积N × (N -1) × · · · × 2 × 1。然⽽,我们不想区分每个箱⼦内部物体的重新排列。在第i个箱⼦中,有ni!种⽅式对物体重新排序,因此把N个物体分配到箱⼦中的总⽅案数量为:
信息论之从熵、惊奇到交叉熵、KL散度和互信息
这被称为乘数(multiplicity)。熵被定义为通过适当的参数放缩后的对数乘数,即
信息论之从熵、惊奇到交叉熵、KL散度和互信息

二、惊奇与信息

考虑关于⼀个随机试验中可能出现的事件E。当我们真正观察到事件E时,我们接收到了多少信息呢?对事件E的惊奇程度取决于E发生概率,越是不可能的事件发生,带来的惊奇程度越大
信息论之从熵、惊奇到交叉熵、KL散度和互信息
  • 如果有⼈告诉我们⼀个相当不可能的事件发⽣了,我们收到的信息要多于我们被告知某个很可能发⽣的事件发⽣时收到的信息。
  • 如果听到⼀个必然事情,那么就不会接收到信息。EX: 明天有24h
对惊奇程度进行量化:信息量可看成E发生时的“惊讶程度”(消除不确定性的程度)
对于信息内容的度量将依赖于概率分布p(x),因此想要寻找⼀个函数h(x),它是概率p(x)的单调递增函数,表达了信息的内容。
h(·)的形式可以这样寻找:
  • 如果有两个不相关的事件x和y,那么观察到两个事件同时发⽣时获得的信息应该等于观察到事件各⾃发⽣时获得的信息之和,即h(x, y) = h(x) + h(y)。
  • 两个不相关事件是统计独⽴的,因此p(x, y) = p(x)p(y)。
根据这两个关系,很容易看出h(x)⼀定与p(x)的对数有关。因此有:h(x) = -log2p(x)。
  • 其中,负号确保了信息⼀定是正数或者是零。
  • 注意,低概率事件x对应于⾼的信息量。
  • 对数的底遵循信息论使⽤2作为对数的底(2进制编码最短)。
h(x)的单位是⽐特(bit, binary digit)。
信息论之从熵、惊奇到交叉熵、KL散度和互信息
随机变量的熵,衡量了其分布下的编码长度(概率值的倒数的对数)的期望,即平均编码长度。
信息论之从熵、惊奇到交叉熵、KL散度和互信息
 

三、熵的相关变量

熵用于衡量不确定性,其相当于是编码一个随机变量的平均最小编码长度(最优编码的下界,即huffman编码)

1.自信息-二进制编码长度

\[\frac{1}{q(x)} \]

2.信息熵

\[ H\Big(p(x)\Big) = - \int p(x)\ln p(x)dx \\ = \int p(x)\ln \frac{1}{p(x)}dx = \mathbb{E}_{x\sim p(x)}\left[\ln\frac{1}{p(x)}\right] \]

3.交叉熵

用一个分布p(x)的编码去编码另一个分布q(x)的代价(平均编码长度)

\[C\Big(p(x)\Big\Vert q(x)\Big) = - \int p(x)\ln q(x)dx \\ = \mathbb{E}_{x\sim p(x)}\left[\ln\frac{1}{q(x)}\right] \]

分布q(x)的自信息(最小编码长度)关于分布p(x)的期望
Ex: q(x1) = 0.25需要2bits,例如00来编码,但p(x1)=0.01
,相当于用更短的编码来编码低频取值(不符合高频短码),可能导致编码代价更大。

随机变量取值越多,熵越大(信息增益)

4.KL散度

衡量两个分布p(x)和q(x)的距离(不相似程度):用一个分布p(x)的编码去编码另一个分布q(x)的额外代价

若KL散度为0,则表示编码额外代价为0,即两个分布相同

\[ KL\Big(p(x)\Big\Vert q(x)\Big) = - \int p(x)\ln \frac{q(x)}{p(x)} dx = \int p(x)\ln \frac{p(x)}{q(x)} dx \\= \int p(x)\ln p(x) - p(x)\ln q(x)dx \\ = - \int p(x)\ln q(x)dx - (-\int p(x)\ln p(x) ) \\ = C\Big(p(x)\Big\Vert q(x)\Big) - H\Big(p(x)\Big) \\ = \mathbb{E}_{x\sim p(x)}\left[\ln\frac{p(x)}{q(x)}\right] \]

由于熵为常数项,最小化交叉熵,相当于最小化KL散度(最大似然),离散形式即求和。

5. 互信息

信息论之从熵、惊奇到交叉熵、KL散度和互信息
信息论之从熵、惊奇到交叉熵、KL散度和互信息

联合分布p(x, y)和边缘分布乘积累p(x)p(y)的KL散度。
如果互信息为0,则两个边缘分布独立p(x, y) = p(x) p(y)

参考资料

1、PRML
2、概率导论文章来源地址https://www.toymoban.com/news/detail-414605.html

到了这里,关于信息论之从熵、惊奇到交叉熵、KL散度和互信息的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 信息论安全与概率论

    目录 一. Markov不等式 二. 选择引理 三. Chebyshev不等式 四. Chernov上限 4.1 变量大于 4.2 变量小于 信息论安全中会用到很多概率论相关的上界,本文章将梳理几个论文中常用的定理,重点关注如何理解这些定理以及怎么用。 假定X为非负且为实数的随机变量,令为该变量的数学期

    2024年02月03日
    浏览(46)
  • 【AI底层逻辑】——篇章3(上):数据、信息与知识&香农信息论&信息熵

    目录 引入 一、数据、信息、知识 二、“用信息丈量世界” 1、香农信息三定律

    2024年02月11日
    浏览(40)
  • 信息论基础第三章阅读笔记

    在信息论中,与大数定律类似的是渐进均分性(AEP),它是弱大数定律的直接结果。 大数定理针对独立同分布(i.i.d.)随机变量 ……………… 因此,当n很大时,一个观察序列出现的概率 p ( X 1 , X 2 , . . . , X n ) p(X_1,X_2,...,X_n) p ( X 1 ​ , X 2 ​ , ... , X n ​ ) 近似等于 2 − n H 2^{-nH}

    2024年02月07日
    浏览(52)
  • 信息论复习—线性分组码的基本性质

    目录 线性分组码: 非线性码示例: 线性码示例: 许用码字间的距离--码距: 码距与码的检错纠错能力之间的关系: 线性分组码的基本性质: 线性分组码的最小码距与最小码重的关系: 线性分组码的生成矩阵与监督矩阵: 生成矩阵: 系统码的生成矩阵: 监督矩阵: 方程

    2024年02月07日
    浏览(38)
  • 联合基于信息论的安全和隐蔽通信的框架

    Joint Information-Theoretic Secrecy and Covert Communication in the Presence of an Untrusted User and Warden 2021 IOTJ 主要创新点总结: 1 到Bob和到Carol的信号的功率分配或者时隙分配。 2 由于Willie到其他的窃听的信道Willie仅仅知道其分布(假设所有信道都仅仅知道其分布),由于其不确定性带来概率的

    2024年02月04日
    浏览(40)
  • 信息论基础——线性分组码编码的设计与实现

    本文仅供学习使用,如有侵权请及时联系,博主会第一时间进行处理 1.掌握线性分组码的编码原理及其方法; 2.理解生成矩阵和校验矩阵的对应关系; 3.探究线性分组码的编码效率和纠错检错能力。 线性分组码编码的基本原理及其方法 线性分组码是指分组码中信息元和校验

    2024年02月02日
    浏览(42)
  • 信息论的精髓与人工智能:探索共同之处

    信息论是一门研究信息的理论学科,它研究信息的性质、量度、传输和处理等问题。信息论的核心概念是熵、互信息、条件熵等,它们在人工智能中发挥着重要作用。随着人工智能技术的发展,信息论在人工智能中的应用越来越广泛。本文将从信息论的精髓与人工智能的共同

    2024年02月21日
    浏览(44)
  • 【信息论与编码】【北京航空航天大学】实验一、哈夫曼编码【C语言实现】(上)

    一、运行源代码所需要的依赖: 1、硬件支持 Windows 10,64位系统 2、编译器 DEV-Redpanda IDE,小熊猫C++ 二、算法实现及测试 1、C语言源程序 2、算法性能测试 (1)测试文件1:article1.txt 文件说明:普通 英文文档 ,取自英国小说《哈利·波特》的一个章节 文件截图: 运行时截图

    2024年01月24日
    浏览(51)
  • KL散度

    KL散度(Kullback-Leibler divergence),也称为相对熵(relative entropy),是用来衡量两个概率分布之间差异的一种指标。在机器学习中,KL散度常常用于度量两个概率分布之间的相似度或差异性。 具体来说,假设我们有两个概率分布 p ( x ) p(x) p ( x ) 和 q ( x ) q(x) q ( x ) ,其中 p ( x

    2024年02月03日
    浏览(42)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包