2020级李海扬、程志豪、杨本豪、周海涛——离散信源的熵的性质的简要介绍和证明

9月前作者：Infor_Theory_AHU 分类：Toy博客阅读(34) 违法举报

这篇具有很好参考价值的文章主要介绍了2020级李海扬、程志豪、杨本豪、周海涛——离散信源的熵的性质的简要介绍和证明。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

目录

1.非负性

2.确定性

3.对称性

4.香农辅助定理

5.最大熵定理（极值性）

6.条件熵小于无条件熵

7.拓展性

8.可加性

9.递增性

1.非负性

2020级李海扬、程志豪、杨本豪、周海涛——离散信源的熵的性质的简要介绍和证明当且仅当pi=1时，H(x)=0

离散信源的熵具有非负性，连续信源的熵则不具有此特性

2.确定性

2020级李海扬、程志豪、杨本豪、周海涛——离散信源的熵的性质的简要介绍和证明在概率空间中，如果有一个事件概率为1为必然事件，则其余的事件为不可能事件，因此整个空间唯一确定，不存在不肯定性，熵必然为0

3.对称性

熵函数所有的变元可以互换而不影响函数值 2020级李海扬、程志豪、杨本豪、周海涛——离散信源的熵的性质的简要介绍和证明

该性质说明：熵只与随机变量(信源)的总体统计特性有关。如果某些信源的统计特性相同，也就是含有的符号数和概率分布相同，那么这些信源的熵就相同。 2020级李海扬、程志豪、杨本豪、周海涛——离散信源的熵的性质的简要介绍和证明

4.香农辅助定理

2020级李海扬、程志豪、杨本豪、周海涛——离散信源的熵的性质的简要介绍和证明

证明香农辅助定理相当于证明相对熵的非负性，因此借鉴刘仲文等同学的证明 2020级李海扬、程志豪、杨本豪、周海涛——离散信源的熵的性质的简要介绍和证明

5.最大熵定理（极值性）

离散无记忆信源输出M个不同信息符号，当且仅当各个符号出现概率相等时熵最大。

2020级李海扬、程志豪、杨本豪、周海涛——离散信源的熵的性质的简要介绍和证明

2020级李海扬、程志豪、杨本豪、周海涛——离散信源的熵的性质的简要介绍和证明

因为当出现各个符号的可能性相同时，不确定性最大。

6.条件熵小于无条件熵

2020级李海扬、程志豪、杨本豪、周海涛——离散信源的熵的性质的简要介绍和证明

当且仅当x和y相互独立时等号成立 2020级李海扬、程志豪、杨本豪、周海涛——离散信源的熵的性质的简要介绍和证明

并且可推广，两个条件下的条件熵小于一个条件下的条件熵。

7.拓展性

若集合X有n个事件，集合X’有n+1个事件，如果相差的事件的概率为任意小正数，则 2020级李海扬、程志豪、杨本豪、周海涛——离散信源的熵的性质的简要介绍和证明

从总体考虑，当一个事件的概率极小时，它在熵的计算中占比很小，对整体的熵的贡献值可以忽略不计，这也是熵的总体平均性的体现。 2020级李海扬、程志豪、杨本豪、周海涛——离散信源的熵的性质的简要介绍和证明

8.可加性

2020级李海扬、程志豪、杨本豪、周海涛——离散信源的熵的性质的简要介绍和证明

2020级李海扬、程志豪、杨本豪、周海涛——离散信源的熵的性质的简要介绍和证明

9.递增性

若原信源X中有一元素划分成m个元素（符号），而这m个元素的概率之和等于原元素的概率，且新的信源的熵会增加。 2020级李海扬、程志豪、杨本豪、周海涛——离散信源的熵的性质的简要介绍和证明

熵增加了的一项是由于划分而产生的不确定性。

总结：文章来源地址https://www.toymoban.com/news/detail-422515.html

我们小组同学通过CSDN平台，接触这个平台并学会了如何去寻找其他人所发布的消息与信息，通过此次大作业的学习，掌握了如何在CSDN平台上与其他人一起交流想法思路，对我们自己的学习成长有着很大的帮助。
通过此次对离散信源的熵的性质的简要介绍和证明，我们对离散信源的熵的性质更加熟悉，知其然也知其所以然，对我们以后的学习有了更好的帮助。
此次大作业是我们小组成员共同完成，经过讨论与准备将材料完善，锻炼了我们的团队合作能力与沟通，对我们以后的人际交流也会有极大的帮助与提升。

到了这里，关于2020级李海扬、程志豪、杨本豪、周海涛——离散信源的熵的性质的简要介绍和证明的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：

领支付宝红包赞助服务器费用

第十四届蓝桥杯大赛软件赛省赛-试题 B---01 串的熵解题思路+完整代码

欢迎访问个人网站来查看此文章：http://www.ghost-him.com/posts/db23c395/ 对于一个长度为 n 的 01 串 S = x 1 x 2 x 3 . . . x n S = x_{1} x_{2} x_{3} ... x_{n} S = x 1 x 2 x 3 ... x n ，香农信息熵的定义为 H ( S ) = − ∑ 1 n p ( x i ) l o g 2 ( p ( x i ) ) H(S ) = − {textstyle sum_{1}^{n}} p(x_{i})log_{2} (p

2023年04月10日
浏览(43)
[春秋云镜]CVE-2020-19960,CVE-2020-19961

zz cms 2019 存在sql注入漏洞 (CVE-2020-19960,CVE-2020-19961即可通关文件上传漏洞获取flag) 春秋云镜开启靶场： http://eci-2ze8ijgd72hpnfb6jdt8.cloudeci1.ichunqiu.com/ 后台 http://eci-2ze8ijgd72hpnfb6jdt8.cloudeci1.ichunqiu.com/admin/login.php 账号admin 密码admin 登录进来找上传点 http://eci-2ze8ijgd72hpnfb6jdt8.cloudeci1

2024年02月14日
浏览(33)
【离散数学】gpt教我离散数学3

对于给定的A、B和f，判断f是否为从A到B的函数：f：A→B.如果是，说明f是否为单射、满射、双射的. A=B=R, f(x)=根号x 对于给定的集合 A = B = R A=B=mathbb{R} A = B = R 和函数 f : A → B f:Arightarrow B f : A → B ， f ( x ) = x f(x)=sqrt{x} f ( x ) = x ，我们需要判断 f f f 是否为从 A A A 到 B B B

2024年02月09日
浏览(40)
安全生产：CVE-2020-11022/CVE-2020-11023漏洞解析

代码安全扫描阶段，前端资源审计发现 jQuery 版本过低导致生产系统存在 CVE-2020-11022/CVE-2020-11023 类风险。且影响范围： jQuery = 1.0.3 3.5.0 。该类风险为应用安全缺陷类DXSS攻击，攻击者可以利用该漏洞注入恶意脚本代码，并在受害者的浏览器上执行。将导致受害者的个人信息泄

2024年02月05日
浏览(42)
【离散数学】离散数学中如何计算出元素的阶

例题：解析：即对于模n加法来说，其相加的俩个数中任意一个数通过幂运算（幂运算的执行运算根据代数系统中的算符而定）能够整除6 而且单位元是0的原因：因为最后是求的余数例题：

2024年02月15日
浏览(27)
Weblogic未授权访问漏洞-CVE-2020-14882&&CVE-2020-14883

Weblogic未授权访问漏洞-CVE-2020-14882CVE-2020-14883 Weblogic 管理控制台未授权远程命令执行漏洞(CVE-2020-14882，CVE-2020-14883)。 CVE-2020-14882:允许未授权的用户绕过管理控制台的权限验证访问后台 CVE-2020-14883:允许后台任意用户通过HTTP协议执行任意命令使用这两个漏洞组成的利用链，可通

2024年02月16日
浏览(39)
jQuery版本低引起的漏洞——CVE-2020-11022/CVE-2020-11023

漏洞号： CVE-2020-11022 / CVE-2020-11023 影响范围：jQuery = 1.0.3 3.5.0 漏洞原理见：jQuery最新xss漏洞分析——CVE-2020-11022/11023 - 云+社区 - 腾讯云 (tencent.com) 漏洞复现 https://vulnerabledoma.in/jquery_htmlPrefilter_xss.html 要想在项目本地实现，可把该html保存下来，修改script的src属性为项目引用j

2023年04月26日
浏览(41)
2020年第十一届蓝桥杯省赛+解析（门牌制作、寻找2020、跑步锻炼、蛇形填数、排序、成绩统计、单词分析）

目录门牌制作寻找2020 跑步锻炼蛇形填数排序成绩统计

2023年04月08日
浏览(51)
Adams2020软件安装教程

目录一、软件简介二、软件下载三、软件安装 Adams是一款多领域仿真软件，可以对机械、电子、流体、化学等系统进行建模、仿真和分析。Adams具有强大的动力学分析功能，可以模拟多种复杂系统的运动、力学、热力学和控制行为，包括机械系统、车辆、航空航天系统、机

2023年04月16日
浏览(32)
2020ICPC南京站

K Co-prime Permutation 题意：给定n和k，让你构造n的排列，满足gcd(pi, i)=1的个数为k。思路：因为x和x-1互质，1和任何数互质，任何数和它本身不互质当k为奇数时，p1=1，后面k-1个数两两互换当k为偶数时，后面k个数两两互换 Let\\\'s Play Curling 题意：给定n块红色石头，m块蓝色石头的位

2024年02月10日
浏览(36)