2020级李海扬、程志豪、杨本豪、周海涛——离散信源的熵的性质的简要介绍和证明

这篇具有很好参考价值的文章主要介绍了2020级李海扬、程志豪、杨本豪、周海涛——离散信源的熵的性质的简要介绍和证明。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

目录

1.非负性 

2.确定性

3.对称性 

4.香农辅助定理

5.最大熵定理(极值性)

6.条件熵小于无条件熵                       

7.拓展性

8.可加性

9.递增性


1.非负性 

2020级李海扬、程志豪、杨本豪、周海涛——离散信源的熵的性质的简要介绍和证明  当且仅当pi=1时,H(x)=0

离散信源的熵具有非负性,连续信源的熵则不具有此特性

2.确定性

2020级李海扬、程志豪、杨本豪、周海涛——离散信源的熵的性质的简要介绍和证明在概率空间中,如果有一个事件概率为1为必然事件,则其余的事件为不可能事件,因此整个空间唯一确定,不存在不肯定性,熵必然为0

3.对称性 

熵函数所有的变元可以互换而不影响函数值2020级李海扬、程志豪、杨本豪、周海涛——离散信源的熵的性质的简要介绍和证明

该性质说明:熵只与随机变量(信源)的总体统计特性有关。如果某些信源的统计特性相同,也就是含有的符号数和概率分布相同,那么这些信源的熵就相同。2020级李海扬、程志豪、杨本豪、周海涛——离散信源的熵的性质的简要介绍和证明

4.香农辅助定理

2020级李海扬、程志豪、杨本豪、周海涛——离散信源的熵的性质的简要介绍和证明

证明香农辅助定理相当于证明相对熵的非负性,因此借鉴刘仲文等同学的证明2020级李海扬、程志豪、杨本豪、周海涛——离散信源的熵的性质的简要介绍和证明

5.最大熵定理(极值性)

离散无记忆信源输出M个不同信息符号,当且仅当各个符号出现概率相等时熵最大。

2020级李海扬、程志豪、杨本豪、周海涛——离散信源的熵的性质的简要介绍和证明

 2020级李海扬、程志豪、杨本豪、周海涛——离散信源的熵的性质的简要介绍和证明

因为当出现各个符号的可能性相同时,不确定性最大。

6.条件熵小于无条件熵                       

   2020级李海扬、程志豪、杨本豪、周海涛——离散信源的熵的性质的简要介绍和证明

当且仅当x和y相互独立时等号成立2020级李海扬、程志豪、杨本豪、周海涛——离散信源的熵的性质的简要介绍和证明

并且可推广,两个条件下的条件熵小于一个条件下的条件熵。

7.拓展性

若集合X有n个事件,集合X’有n+1个事件,如果相差的事件的概率为任意小正数,则2020级李海扬、程志豪、杨本豪、周海涛——离散信源的熵的性质的简要介绍和证明

从总体考虑,当一个事件的概率极小时,它在熵的计算中占比很小,对整体的熵的贡献值可以忽略不计,这也是熵的总体平均性的体现。2020级李海扬、程志豪、杨本豪、周海涛——离散信源的熵的性质的简要介绍和证明

8.可加性

2020级李海扬、程志豪、杨本豪、周海涛——离散信源的熵的性质的简要介绍和证明

2020级李海扬、程志豪、杨本豪、周海涛——离散信源的熵的性质的简要介绍和证明

9.递增性

若原信源X中有一元素划分成m个元素(符号),而这m个元素的概率之和等于原元素的概率,且新的信源的熵会增加。2020级李海扬、程志豪、杨本豪、周海涛——离散信源的熵的性质的简要介绍和证明

熵增加了的一项是由于划分而产生的不确定性。

总结:文章来源地址https://www.toymoban.com/news/detail-422515.html

  1. 我们小组同学通过CSDN平台,接触这个平台并学会了如何去寻找其他人所发布的消息与信息,通过此次大作业的学习,掌握了如何在CSDN平台上与其他人一起交流想法思路,对我们自己的学习成长有着很大的帮助。
  2. 通过此次对离散信源的熵的性质的简要介绍和证明,我们对离散信源的熵的性质更加熟悉,知其然也知其所以然,对我们以后的学习有了更好的帮助。
  3. 此次大作业是我们小组成员共同完成,经过讨论与准备将材料完善,锻炼了我们的团队合作能力与沟通,对我们以后的人际交流也会有极大的帮助与提升。

到了这里,关于2020级李海扬、程志豪、杨本豪、周海涛——离散信源的熵的性质的简要介绍和证明的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 第十四届蓝桥杯大赛软件赛省赛-试题 B---01 串的熵 解题思路+完整代码

    欢迎访问个人网站来查看此文章:http://www.ghost-him.com/posts/db23c395/ 对于一个长度为 n 的 01 串 S = x 1 x 2 x 3 . . . x n S = x_{1} x_{2} x_{3} ... x_{n} S = x 1 ​ x 2 ​ x 3 ​ ... x n ​ ,香农信息熵的定义为 H ( S ) = − ∑ 1 n p ( x i ) l o g 2 ( p ( x i ) ) H(S ) = − {textstyle sum_{1}^{n}} p(x_{i})log_{2} (p

    2023年04月10日
    浏览(45)
  • [春秋云镜]CVE-2020-19960,CVE-2020-19961

    zz cms 2019 存在sql注入漏洞 (CVE-2020-19960,CVE-2020-19961即可通关文件上传漏洞获取flag) 春秋云镜开启靶场: http://eci-2ze8ijgd72hpnfb6jdt8.cloudeci1.ichunqiu.com/ 后台 http://eci-2ze8ijgd72hpnfb6jdt8.cloudeci1.ichunqiu.com/admin/login.php 账号admin 密码admin 登录进来找上传点  http://eci-2ze8ijgd72hpnfb6jdt8.cloudeci1

    2024年02月14日
    浏览(36)
  • 【离散数学】gpt教我离散数学3

    对于给定的A、B和f,判断f是否为从A到B的函数:f:A→B.如果是,说明f是否为单射、满射、双射的. A=B=R, f(x)=根号x 对于给定的集合 A = B = R A=B=mathbb{R} A = B = R 和函数 f : A → B f:Arightarrow B f : A → B , f ( x ) = x f(x)=sqrt{x} f ( x ) = x ​ ,我们需要判断 f f f 是否为从 A A A 到 B B B

    2024年02月09日
    浏览(43)
  • 安全生产:CVE-2020-11022/CVE-2020-11023漏洞解析

    代码安全扫描阶段,前端资源审计发现 jQuery 版本过低导致生产系统存在 CVE-2020-11022/CVE-2020-11023 类风险。且影响范围: jQuery = 1.0.3 3.5.0 。 该类风险为应用安全缺陷类DXSS攻击,攻击者可以利用该漏洞注入恶意脚本代码,并在受害者的浏览器上执行。将导致受害者的个人信息泄

    2024年02月05日
    浏览(45)
  • 【离散数学】离散数学中如何计算出元素的阶

    例题:   解析: 即对于模n加法来说,其相加的俩个数中任意一个数通过幂运算(幂运算的执行运算根据代数系统中的算符而定)能够整除6 而且单位元是0的原因: 因为最后是求的余数   例题:  

    2024年02月15日
    浏览(28)
  • Weblogic未授权访问漏洞-CVE-2020-14882&&CVE-2020-14883

    Weblogic未授权访问漏洞-CVE-2020-14882CVE-2020-14883 Weblogic 管理控制台未授权远程命令执行漏洞(CVE-2020-14882,CVE-2020-14883)。 CVE-2020-14882:允许未授权的用户绕过管理控制台的权限验证访问后台 CVE-2020-14883:允许后台任意用户通过HTTP协议执行任意命令 使用这两个漏洞组成的利用链,可通

    2024年02月16日
    浏览(41)
  • jQuery版本低引起的漏洞——CVE-2020-11022/CVE-2020-11023

    漏洞号: CVE-2020-11022 / CVE-2020-11023 影响范围:jQuery = 1.0.3 3.5.0 漏洞原理 见:jQuery最新xss漏洞分析——CVE-2020-11022/11023 - 云+社区 - 腾讯云 (tencent.com) 漏洞复现 https://vulnerabledoma.in/jquery_htmlPrefilter_xss.html 要想在项目本地实现,可把该html保存下来,修改script的src属性为项目引用j

    2023年04月26日
    浏览(42)
  • 2020年第十一届蓝桥杯省赛+解析(门牌制作、寻找2020、跑步锻炼、蛇形填数、排序、成绩统计、单词分析)

    目录 门牌制作 寻找2020 跑步锻炼 蛇形填数 排序 成绩统计

    2023年04月08日
    浏览(56)
  • 2020/7/30

    Educational Codeforces Round 143 (Rated for Div. 2)C_Tea_Tasting.cpp //题意:有n种茶,n个人,第i种茶有 a[i]的量,第i个人一次能喝 b[i], 第i个人从第i种茶开始往前喝,求每个人最多能喝多少茶。 //思路:纯模拟时间超限,对于a数组中的每个元素,他要减的是包括i在内以及其右边的b数组中

    2024年02月15日
    浏览(70)
  • BUUCTF:[MRCTF2020]套娃

    查看源码发现 PHP非法参数名传参问题,详细请参考我的这篇文章:谈一谈PHP中关于非法参数名传参问题 正则这里绕过使用 %0a 换行符绕过,payload: /?b.u.p.t=23333%0a 得到下一步信息: secrettw.php 注释中的是 JsFuck ,用这个网站去运行即可得到信息:https://jsfuck.com POST传个 Merak=moc

    2024年02月07日
    浏览(43)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包