信息论复习五：信息率失真函数(一)

9月前作者：菜yuan~ 分类：Toy博客阅读(37) 违法举报

这篇具有很好参考价值的文章主要介绍了信息论复习五：信息率失真函数(一)。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

今天先提前复习信息率失真函数，因为最近讲到这里了，而且这里的计算较为简单。

首先了解一下失真函数和失真矩阵，然后就是单符号离散信源的平均失真计算，计算非常简单，就是联合概率矩阵和失真矩阵进行点乘(相同位置对应相乘)之后，再把矩阵的数求和，通俗一点就是两个矩阵相同位置的数对应相乘然后相加。

接下来就是多符号离散序列的平均失真，它的计算等于L个单符号离散信源的平均失真的平均。

信息率失真函数,信息论,复习,矩阵,学习

接下来就是保真度准则和信息率失真函数的概念，信息率失真函数就是给定信源的收发两端的平均互信息的最小值。

然后就是信息率失真函数的定义域计算，Dmin就是信源的输出概率和失真矩阵的每行最小值相乘之和，对应的转移概率矩阵就是失真矩阵每行最小值的位置处为0，其余为1；

Dmax就是信源的输出概率和失真矩阵的每一列相乘之和的最小值，对应的转移概率矩阵就是取得Dmax的对应列的位置为1，其余列为0。

还有就是关于R(D)的重要性质！！！

信息率失真函数,信息论,复习,矩阵,学习

最后来两个例子巩固一下刚才说的计算。

再介绍一下限失真编码定理，也就是香农第三定理。

信息率失真函数,信息论,复习,矩阵,学习

以上就是这节的内容！！！

持续更新中！！！文章来源地址https://www.toymoban.com/news/detail-551308.html

到了这里，关于信息论复习五：信息率失真函数(一)的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：

领支付宝红包赞助服务器费用

【AI底层逻辑】——篇章3（上）：数据、信息与知识&香农信息论&信息熵

目录引入一、数据、信息、知识二、“用信息丈量世界” 1、香农信息三定律

2024年02月11日
浏览(40)
信息论基础第三章阅读笔记

在信息论中，与大数定律类似的是渐进均分性(AEP)，它是弱大数定律的直接结果。大数定理针对独立同分布(i.i.d.)随机变量 ……………… 因此，当n很大时，一个观察序列出现的概率 p ( X 1 , X 2 , . . . , X n ) p(X_1,X_2,...,X_n) p ( X 1 , X 2 , ... , X n ) 近似等于 2 − n H 2^{-nH}

2024年02月07日
浏览(52)
联合基于信息论的安全和隐蔽通信的框架

Joint Information-Theoretic Secrecy and Covert Communication in the Presence of an Untrusted User and Warden 2021 IOTJ 主要创新点总结： 1 到Bob和到Carol的信号的功率分配或者时隙分配。 2 由于Willie到其他的窃听的信道Willie仅仅知道其分布（假设所有信道都仅仅知道其分布），由于其不确定性带来概率的

2024年02月04日
浏览(41)
信息论的精髓与人工智能：探索共同之处

信息论是一门研究信息的理论学科，它研究信息的性质、量度、传输和处理等问题。信息论的核心概念是熵、互信息、条件熵等，它们在人工智能中发挥着重要作用。随着人工智能技术的发展，信息论在人工智能中的应用越来越广泛。本文将从信息论的精髓与人工智能的共同

2024年02月21日
浏览(44)
信息论基础——线性分组码编码的设计与实现

本文仅供学习使用，如有侵权请及时联系，博主会第一时间进行处理 1.掌握线性分组码的编码原理及其方法； 2.理解生成矩阵和校验矩阵的对应关系； 3.探究线性分组码的编码效率和纠错检错能力。线性分组码编码的基本原理及其方法线性分组码是指分组码中信息元和校验

2024年02月02日
浏览(42)
信息论之从熵、惊奇到交叉熵、KL散度和互信息

考虑将A地观测的一个随机变量x，编码后传输到B地。这个随机变量有8种可能的状态，每个状态都是等可能的。为了把x的值传给接收者，需要传输一个3-bits的消息。注意，这个变量的熵由下式给出: ⾮均匀分布⽐均匀分布的熵要⼩。如果概率分布非均匀，同样使用等长编码，

2023年04月15日
浏览(78)
计算机科学的工作、信息论原理在工作中的应用（CT扫描仪器）

2023年04月14日
浏览(61)
【信息论与编码】【北京航空航天大学】实验一、哈夫曼编码【C语言实现】（上）

一、运行源代码所需要的依赖： 1、硬件支持 Windows 10，64位系统 2、编译器 DEV-Redpanda IDE，小熊猫C++ 二、算法实现及测试 1、C语言源程序 2、算法性能测试（1）测试文件1：article1.txt 文件说明：普通英文文档，取自英国小说《哈利·波特》的一个章节文件截图：运行时截图

2024年01月24日
浏览(51)
信息学学习/复习抽签器（附源码）

效果图以下是源代码，可自行修改 [C++]

2024年02月08日
浏览(30)
【模电学习笔记①】静态工作点的设置、截止失真和饱和失真

模电书上说：对于放大电路的要求，除了要得到所需要的放大倍数之外，还要求输出波形不失真；输出波形是否失真，与静态工作点密切相关。本文将讨论如何处理放大电路输出波形出现截止失真和饱和失真的问题。静态工作点的设置直流通路因为三极管放大状态下发射结

2023年04月20日
浏览(35)