信息论复习—线性分组码的基本性质

这篇具有很好参考价值的文章主要介绍了信息论复习—线性分组码的基本性质。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

目录

线性分组码:

非线性码示例:

线性码示例:

许用码字间的距离--码距:

码距与码的检错纠错能力之间的关系:

线性分组码的基本性质:

线性分组码的最小码距与最小码重的关系:

线性分组码的生成矩阵与监督矩阵:

生成矩阵:

系统码的生成矩阵:

监督矩阵:

方程的矩阵形式:

定义监督矩阵为:

生成矩阵与监督矩阵的有关性质:

错误图样:描述错误及位置的一个矢量:

伴随式(校正子):

线性分组码的标准阵、陪集首和陪集:

汉明码:

系统码结构的汉明码的构建:

扩展汉明码:

线性分组码的纠错能力分析:


线性分组码:

信息论复习—线性分组码的基本性质

信息论复习—线性分组码的基本性质

信息论复习—线性分组码的基本性质

非线性码示例:

信息论复习—线性分组码的基本性质

线性码示例:

信息论复习—线性分组码的基本性质

许用码字间的距离--码距:

信息论复习—线性分组码的基本性质

信息论复习—线性分组码的基本性质

码距与码的检错纠错能力之间的关系:

码字间的最小距离:最小码距定义为:

信息论复习—线性分组码的基本性质

线性分组码的基本性质:

性质1 若要线性分组码能够检测出任一码字中的小于等于  位的误码,则应满足 信息论复习—线性分组码的基本性质

信息论复习—线性分组码的基本性质

性质2 若要线性分组码能够检出并纠正任一码字中的小于等于  位的误码,则应满足信息论复习—线性分组码的基本性质

信息论复习—线性分组码的基本性质

性质3 若要线性分组码能够检出任一码字中e  位误码,同时能够纠正其中  t  位的误码,则应满足

信息论复习—线性分组码的基本性质信息论复习—线性分组码的基本性质

线性分组码的最小码距与最小码重的关系:

线性分组码每个码字中“1”的码元的个数定义为该码字的重量,简称为码重;码字集中码重最小的码字的重量定义为最小码重

线性分组码的最小码距等于其非零码字的最小码重

信息论复习—线性分组码的基本性质

线性分组码的生成矩阵与监督矩阵:

差错控制编码一般可表示为:

信息论复习—线性分组码的基本性质

特别地,对线性分组码信息论复习—线性分组码的基本性质

表示为矩阵形式

信息论复习—线性分组码的基本性质

生成矩阵:

生成矩阵定义为:

信息论复习—线性分组码的基本性质

系统码的生成矩阵:

系统码的特点:

信息论复习—线性分组码的基本性质

系统码的编码输出结构:

信息论复习—线性分组码的基本性质

信息论复习—线性分组码的基本性质

监督矩阵:

在线性分组码的码生成方程组中的监督位

信息论复习—线性分组码的基本性质

因为信息论复习—线性分组码的基本性质

可得信息论复习—线性分组码的基本性质

方程的矩阵形式:

信息论复习—线性分组码的基本性质

定义监督矩阵为:

信息论复习—线性分组码的基本性质

监督矩阵确定了码字没有错误的必要条件

生成矩阵与监督矩阵的有关性质:

系统码结构的生成矩阵与监督矩阵结构

信息论复习—线性分组码的基本性质

信息论复习—线性分组码的基本性质

1生成矩阵G中的每一行都是一个许用码字

信息论复习—线性分组码的基本性质

2生成矩阵G的秩等于k,生成矩阵中的个独立的行向量码字构成码字子空间的一组基

信息论复习—线性分组码的基本性质

3生成矩阵G监督矩阵H满足如下的关系

信息论复习—线性分组码的基本性质

错误图样:描述错误及位置的一个矢量:

信息论复习—线性分组码的基本性质

对于定义在二元域上的码字,知道了错误的位置等效于知道了错误。

信息论复习—线性分组码的基本性质

伴随式(校正子):

信息论复习—线性分组码的基本性质

1位误码与伴随式之间的关系,1位误码的所有图样:

信息论复习—线性分组码的基本性质

信息论复习—线性分组码的基本性质

信息论复习—线性分组码的基本性质

纠错能力分析:

a、假定只出现1位误码,若收到码字信息论复习—线性分组码的基本性质

    计算伴随式:

信息论复习—线性分组码的基本性质

查表可知该伴随式对应错误图样信息论复习—线性分组码的基本性质

纠错信息论复习—线性分组码的基本性质

获得正确的码字信息论复习—线性分组码的基本性质

b、假定出现2位误码,例如收到码字信息论复习—线性分组码的基本性质

该码字由许用码字信息论复习—线性分组码的基本性质出现2位误码得到。

计算伴随式

信息论复习—线性分组码的基本性质

查表可知该伴随式对应错误图样信息论复习—线性分组码的基本性质

纠错操作信息论复习—线性分组码的基本性质

不能获得正确的码字

出现2位误码时伴随式的计算结果可分解为

信息论复习—线性分组码的基本性质

与出现错误图样信息论复习—线性分组码的基本性质所得的伴随式相同

应为该伴随式已经用于对应1位误码信息论复习—线性分组码的基本性质的错误图样,因而不能纠正该2位误码

两位误码已经超出了该分组码的纠错能力范围

线性分组码的标准阵、陪集首和陪集:

信息论复习—线性分组码的基本性质

所有可正确译码的接收码字可用如下的矩阵表示:

信息论复习—线性分组码的基本性质

该矩阵称为线性分组码(n,k)的标准阵。标准阵中第一列的每个元素称为一个陪集首,  标准阵的每一行为该行陪集首所对应的陪集

 综上,对于标准阵中的陪集首,有特定的伴随式与其对应

信息论复习—线性分组码的基本性质

一般地,记接收码字

信息论复习—线性分组码的基本性质

示例:分析生成矩阵如下的(6,3)线性分组码的标准阵等特性

信息论复习—线性分组码的基本性质

由生成矩阵可得许用码字集

信息论复习—线性分组码的基本性质

 确定可纠错的误码图样

信息论复习—线性分组码的基本性质

 可纠正的错误图样的选择:  (1)具有不同伴随式的图样;  (2)通常正常工作的通信系统误码出现少的概率较大,选择可纠正的错误图样通常从1比特的错误图样开始。

标准阵

 信息论复习—线性分组码的基本性质

错误图样与伴随式的关系

信息论复习—线性分组码的基本性质

汉明码:

如果线性分组码(n,k)满足码字长度信息论复习—线性分组码的基本性质,信息位 信息论复习—线性分组码的基本性质的参数条件,则称这种码为汉明码

汉明码的编码效率

 信息论复习—线性分组码的基本性质

所以当码字足够长时,汉明码是一种高效码。

汉明码的纠错能力分析:

汉明码码字长度:信息论复习—线性分组码的基本性质

信息位长度:信息论复习—线性分组码的基本性质

监督位长度:信息论复习—线性分组码的基本性质

伴随式个数 :信息论复习—线性分组码的基本性质

其中全零的伴随式用于对应无误码的状态

其余的信息论复习—线性分组码的基本性质个伴随式可分别对应信息论复习—线性分组码的基本性质种错误图样。

因为合理的通信系统设计应使得一个码字中误码位数少的概率大于误码位数大的概率。

因此伴随式应用于对应误码位数少的错误图样。

汉明码长度为信息论复习—线性分组码的基本性质。汉明码的非零伴随式全部用于对应1位误码,所以汉明码能纠正所有的1位误码。

系统码结构的汉明码的构建:

监督矩阵共有n列,其中第i列对应码字第i位错误图样的伴随式,系统码结构的监督矩阵右侧的子阵必须是一个单位阵

信息论复习—线性分组码的基本性质

监督矩阵的n个不同组合的列除了构成单位阵的n-k列外,其余的k列可任意的排列。 确定监督矩阵之后,可得生成矩阵如下

信息论复习—线性分组码的基本性质

示例:设计一个信息论复习—线性分组码的基本性质的汉明码

构建监督矩阵

信息论复习—线性分组码的基本性质

由此可得

 信息论复习—线性分组码的基本性质

可得生成矩阵:

信息论复习—线性分组码的基本性质

扩展汉明码:

已知普通汉明码可纠正所有1位误码,所以最小码距

信息论复习—线性分组码的基本性质

 当同时出现第 i 位和第 j 两位不同的误码时,有

信息论复习—线性分组码的基本性质

因为Sk已经用于对应第 k 位误码的伴随式,因此该伴随式用于纠错时将产生错误。即两位或两位以上误码无法发现,因此

 信息论复习—线性分组码的基本性质

综合上面有关最小码距的关系式,且码距必须为整数,因此

信息论复习—线性分组码的基本性质

扩展汉明码可通过增加1位编码的监督位长度,使得该码可以纠正任意的1位错误,同时发现任意的2位错误。

扩展汉明码的监督矩阵

信息论复习—线性分组码的基本性质

其中信息论复习—线性分组码的基本性质是原来普通汉明码的监督矩阵。

信息论复习—线性分组码的基本性质

当出现任意的1位,如第 j 位误码时

信息论复习—线性分组码的基本性质

伴随式等于监督矩阵的第 j 列,可发现出错并可纠正。

若第 i j 位同时出错,伴随式

信息论复习—线性分组码的基本性质

其中的最后1位为零。由此可判断出现了2位错误。扩展汉明码通过增加1位监督为,使得码字间的最小距离

信息论复习—线性分组码的基本性质

线性分组码的纠错能力分析:

汉明界:汉明界确定了一个参数为(n,k)的线性分组码可能获得的最大纠错能力。有关汉明界有如下的定理:

线性分组码(n,k)能够纠正码字中任意的小于等于  位误码的图样数小于信息论复习—线性分组码的基本性质

信息论复习—线性分组码的基本性质

若能够纠正 t  个及以下的全部错误的线性分组码满足条件

信息论复习—线性分组码的基本性质

则称这种线性分组码为完备码。 汉明码是一种完备码。

普洛特金界:普洛特金界确定了线性分组码(n,k)差错控制能力的上限。

线性分组码(n,k)的最小码距dmin小于由下式确定的所谓的普洛特金界

信息论复习—线性分组码的基本性质

信息论复习—线性分组码的基本性质文章来源地址https://www.toymoban.com/news/detail-465610.html

到了这里,关于信息论复习—线性分组码的基本性质的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 信息论复习五:信息率失真函数(一)

    今天先提前复习信息率失真函数,因为最近讲到这里了,而且这里的计算较为简单。 首先了解一下失真函数和失真矩阵,然后就是单符号离散信源的平均失真计算,计算非常简单,就是联合概率矩阵和失真矩阵进行点乘(相同位置对应相乘)之后,再把矩阵的数求和,通俗一点

    2024年02月15日
    浏览(40)
  • P02114065刘浩宇,P02114070程韩奇,P02114066吴其,P02114068张璐——深入理解线性分组码的生成矩阵和校验矩阵定义及其关系

    目录 前言 线性分组码 定义 性质 生成矩阵和校验矩阵 生成矩阵 生成矩阵的定义 生成矩阵的特性 校验矩阵 校验矩阵的定义 校验矩阵的特性 生成矩阵和校验矩阵的关系 由于移动通信存在干扰和衰落,在信号传输过程中将出现差错,故对数字信号必须采用纠、检错技术,即纠

    2024年02月03日
    浏览(42)
  • 信息论与编码

    教材:信息论与编码 第三版 曹雪虹 张宗橙 信息的定义 通信系统中的信息、信号和消息 香农信息的概念 1)点对点通信系统模型 通信的基本问题:在⼀点精确或近似地恢复另⼀点所选择的信息; 通信的⽬的:消除不确定性,获得信息。 2)信息、信号、消息 消息:能被⼈的

    2024年02月11日
    浏览(42)
  • 信息论基础:算术编码

    霍夫曼码是一种无损编码,而且是最优的符号码。但是,它有两个缺点:(1)每个符号至少需要一个比特;(2)当符号的概率分布变化时,使用不方便。 用一个例子来看看霍夫曼编码的第一个缺点(即每个符号至少需要1个比特)。 信源从符号集 A = { a 1 , a 2 , a 3 } A = {a_1

    2024年02月08日
    浏览(49)
  • 信息论安全与概率论

    目录 一. Markov不等式 二. 选择引理 三. Chebyshev不等式 四. Chernov上限 4.1 变量大于 4.2 变量小于 信息论安全中会用到很多概率论相关的上界,本文章将梳理几个论文中常用的定理,重点关注如何理解这些定理以及怎么用。 假定X为非负且为实数的随机变量,令为该变量的数学期

    2024年02月03日
    浏览(52)
  • 【AI底层逻辑】——篇章3(上):数据、信息与知识&香农信息论&信息熵

    目录 引入 一、数据、信息、知识 二、“用信息丈量世界” 1、香农信息三定律

    2024年02月11日
    浏览(41)
  • 信息论基础第三章阅读笔记

    在信息论中,与大数定律类似的是渐进均分性(AEP),它是弱大数定律的直接结果。 大数定理针对独立同分布(i.i.d.)随机变量 ……………… 因此,当n很大时,一个观察序列出现的概率 p ( X 1 , X 2 , . . . , X n ) p(X_1,X_2,...,X_n) p ( X 1 ​ , X 2 ​ , ... , X n ​ ) 近似等于 2 − n H 2^{-nH}

    2024年02月07日
    浏览(57)
  • 联合基于信息论的安全和隐蔽通信的框架

    Joint Information-Theoretic Secrecy and Covert Communication in the Presence of an Untrusted User and Warden 2021 IOTJ 主要创新点总结: 1 到Bob和到Carol的信号的功率分配或者时隙分配。 2 由于Willie到其他的窃听的信道Willie仅仅知道其分布(假设所有信道都仅仅知道其分布),由于其不确定性带来概率的

    2024年02月04日
    浏览(42)
  • 信息论的精髓与人工智能:探索共同之处

    信息论是一门研究信息的理论学科,它研究信息的性质、量度、传输和处理等问题。信息论的核心概念是熵、互信息、条件熵等,它们在人工智能中发挥着重要作用。随着人工智能技术的发展,信息论在人工智能中的应用越来越广泛。本文将从信息论的精髓与人工智能的共同

    2024年02月21日
    浏览(46)
  • 信息论之从熵、惊奇到交叉熵、KL散度和互信息

    考虑将A地观测的一个随机变量x,编码后传输到B地。 这个随机变量有8种可能的状态,每个状态都是等可能的。为了把x的值传给接收者,需要传输一个3-bits的消息。注意,这个变量的熵由下式给出: ⾮均匀分布⽐均匀分布的熵要⼩。 如果概率分布非均匀,同样使用等长编码,

    2023年04月15日
    浏览(79)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包