信源分类及数学模型

这篇具有很好参考价值的文章主要介绍了信源分类及数学模型。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

本专栏包含信息论与编码的核心知识,按知识点组织,可作为教学或学习的参考。markdown版本已归档至【Github仓库:information-theory】,需要的朋友们自取。或者公众号【AIShareLab】回复 信息论 也可获取。

信源分类

按照信源输出的信号取值分类

1.连续(模拟)信源:

信源分类及数学模型

2.离散(数字)信源:

信源分类及数学模型

信源输出的信号是随机信号。

按照信源输出信号(符号间)的依赖关系

1、无记忆信源: 信源先后发出的符号相互统计独立,具有相同的概率分布;

2、有记忆信源: 信源先后发出的符号相互依赖。

连续信源是有记忆信源。

信源数学模型

信源:产生随机变量、随机序列和随机过程的信号源。

  • 在通信系统中收信者在未收到消息以前对信源发出什么消息是不确定的,是随机的,所以可用随机变量、随机序列或随机过程来描述信源输出的消息,或者说用一个样本空间及其概率测度——概率空间来描述信源

信源的基本特性:具有随机不确定性。

香农信息论的基本观点

  • 随机变量或随机矢量来表示信源
  • 概率论和随机过程的理论来研究信息

离散信源

用离散随机变量X表示单符号离散信源(一个符号表示一完整消息,符号取值可列),X的可能取值为信源发出的各种不同符号,X的概率分布为各符号的先验概率。

例:信源 X 的取值有 N N N 个, x 1 , x 2 , … , x N x_{1}, x_{2}, \ldots, x_{N} x1,x2,,xN , 称为信源字符集,各符号概率分布 P ( x 1 ) , P ( x 2 ) , … , P ( x n ) P\left(x_{1}\right), P\left(x_{2}\right), \ldots, P\left(x_{n}\right) P(x1),P(x2),,P(xn) Σ i P ( x i ) = 1 \Sigma_{i} P\left(x_{i}\right)=1 ΣiP(xi)=1

连续信源

信源的取值为无穷不可数的连续值,其概率分布用概率密度函数p(x)表示,且

∫ − ∞ ∞ p ( x ) d x = 1 \int_{-\infty}^{\infty} p(x) d x=1 p(x)dx=1

单符号离散无记忆信源(DMS, Discrete memoryless source)

如果信源 X \mathbf{X} X 的符号集 A = { x 1 , … , x n } \mathbf{A}=\{\mathbf{x}_{1}, \ldots, \mathbf{x}_{\mathrm{n}}\} A={x1,,xn} , 信源在离散时间发出单个符号, 且符号发生的概率相互独立, 称为单符号离散无记忆信源, 数学模型为:

[ X P ] = [ x 1 ⋯ x n p ( x 1 ) ⋯ p ( x n ) ] p ( x i ) ≥ 0 , ∑ i = 1 n p ( x i ) = 1 \begin{array}{l} {\left[\begin{array}{l} X \\ P \end{array}\right]=\left[\begin{array}{ccc} x_{1} & \cdots & x_{n} \\ p\left(x_{1}\right) & \cdots & p\left(x_{n}\right) \end{array}\right]} \\ p\left(x_{i}\right) \geq 0, \quad \sum_{i=1}^{n} p\left(x_{i}\right)=1 \end{array} [XP]=[x1p(x1)xnp(xn)]p(xi)0,i=1np(xi)=1
其中 p ( x i ) p\left(x_{\mathrm{i}}\right) p(xi) 成为符号 x i x_{\mathrm{i}} xi 的先验概率。

Example1:一个二元无记忆信源, 符号集 A={0,1} , p 为 X=0 的概率, q 为 X=1 的概率, q=1-p ; 请写出该信源的模型。
解:信源模型为

[ X P ] = [ 0 1 p q ] \left[\begin{array}{l} X \\ P \end{array}\right]=\left[\begin{array}{ll} 0 & 1 \\ p & q \end{array}\right] [XP]=[0p1q]

单个连续变量信源

[ X P ] = [ x ∈ ( a , b ) p ( x ) ] , ∫ a b p ( x ) d x = 1 \left[\begin{array}{l} X \\ P \end{array}\right]=\left[\begin{array}{c} x \in(a, b) \\ p(x) \end{array}\right], \quad \int_{a}^{b} p(x) d x=1 [XP]=[x(a,b)p(x)],abp(x)dx=1,其中 p ( x ) ≥ 0 p(x) \geq 0 p(x)0 为信源输出的概率密度函数

多维离散无记忆信源

若一个信源输出是一系列离散的符号, 而每个符号又是随机的, 即信源输出为一系列随机变量 (随机矢量), 从而信源的输出可用 L 维随机矢量 [ X 1 , X 2 , … , X L ] \left[X_{1}, X_{2}, \ldots, X_{L}\right] [X1,X2,,XL] 来描述, 其中 L \boldsymbol{L} L 为有限正整数或可数 的无限值。

上述随机矢量中, 若每个随机变量 X i ( i = 1 , 2 , … , L ) X_{i}(\boldsymbol{i}=1,2, \ldots, L) Xi(i=1,2,,L) 都是离散的, 则可用 L 维离散概率空间来描述这类信源。

即若 L \boldsymbol{L} L 维随机矢量 X = [ X 1 X 2 … X L ] , X i X=\left[X_{1} X_{2} \ldots X_{L}\right], X_{\mathrm{i}} X=[X1X2XL],Xi 的具体取值为 x ∈ ( a 1 , a 2 , … a n , ) x \in\left(a_{1}, a_{2}, \ldots a_{n},\right) x(a1,a2,an,) , 对应概率为 P X ( x ) = P ( x 1 x 2 … x L ) P_{X}(x)=P\left(x_{1} x_{2} \ldots x_{L}\right) PX(x)=P(x1x2xL) L \boldsymbol{L} L 维联合概率分布, 则该信源的数学模型为

( X L P ( x ) ) = ( ( a 1 a 1 … a 1 ) … ( a 1 a 2 … a m ) … ( a n a n … a n ) P ( a 1 a 1 … a 1 ) … P ( a 1 a 2 … a m ) … P ( a n a n … a n ) ) \begin{array}{l} \left(\begin{array}{c} X^{L} \\ P(x) \end{array}\right) =\left(\begin{array}{ccccc} \left(a_{1} a_{1} \ldots a_{1}\right) & \ldots & \left(a_{1} a_{2 \ldots} a_{m}\right) & \ldots & \left(a_{n} a_{n} \ldots a_{n}\right) \\ P\left(a_{1} a_{1} \ldots a_{1}\right) & \ldots & P\left(a_{1} a_{2 \ldots} a_{m}\right) & \ldots & P\left(a_{n} a_{n} \ldots a_{n}\right) \end{array}\right) \end{array} (XLP(x))=((a1a1a1)P(a1a1a1)(a1a2am)P(a1a2am)(ananan)P(ananan))
其中离散消息序列长度为 L \boldsymbol{L} L , 序列每符号有 n \boldsymbol{n} n 种取值, 整个消息序列共有 n L n^{L} nL 种取值。

当输出序列中的前后消息(符号)相互统计独立, 且具有相同的概率分布, 则 L 维随机矢量的联合概率分布满足

P ( X ) = ∏ i = 1 L P ( X i = x j ) , j = 1 , 2 , … , n P(X)=\prod_{i=1}^{L} P\left(X_{i}=x_{\boldsymbol{j}}\right), \boldsymbol{j}=1,2, \ldots, n P(X)=i=1LP(Xi=xj),j=1,2,,n
L \boldsymbol{L} L 维随机矢量的联合概率分布可用随机矢量中单个随机变量的概率乘积来表示。这种信源为离散无记忆信源

离散无记忆信源的扩展源

设信源为 X \mathrm{X} X , 则由 X \mathrm{X} X 构成 N 维随机矢量集合 X N = [ X 1 X 2 … X N ] , ( \mathbf{X}^{N}=\left[X_{1} X_{2} \ldots X_{N}\right], \quad\left(\right. XN=[X1X2XN],( 其中 X i \mathbf{X}_{\mathbf{i}} Xi X \mathbf{X} X 同分布, 取自同一信源 X ),称为信源 X \mathrm{X} X 的 N 次扩展源

Example2:求例1中信源的二次扩展源模型:
E x 1 \mathbf{E x} 1 Ex1 的二元无记忆信源模型为

[ X P ] = [ 0 1 p q ] \left[\begin{array}{l} X \\ P \end{array}\right]=\left[\begin{array}{ll} 0 & 1 \\ p & q \end{array}\right] [XP]=[0p1q]

其二次扩展信源为
[ X 2 p ( α ) ] = [ α 1 ( 00 ) α 2 ( 01 ) α 3 ( 10 ) α 4 ( 11 ) p ( α 1 ) p ( α 2 ) p ( α 3 ) p ( α 4 ) ] p ( α 1 ) = p 2 , p ( α 2 ) = p ( 1 − p ) = p ( α 3 ) p ( α 4 ) = ( 1 − p ) 2 \left[\begin{array}{l}X^{2} \\ p(\alpha)\end{array}\right]=\left[\begin{array}{llll}\alpha_{1}(00) & \alpha_{2}(01) & \alpha_{3}(10) & \alpha_{4}(11) \\ p\left(\alpha_{1}\right) & p\left(\alpha_{2}\right) & p\left(\alpha_{3}\right) & p\left(\alpha_{4}\right)\end{array}\right] \\ p\left(\alpha_{1}\right)=p^{2}, p\left(\alpha_{2}\right)=p(1-p)=p\left(\alpha_{3}\right) p\left(\alpha_{4}\right)=(1-p)^{2} [X2p(α)]=[α1(00)p(α1)α2(01)p(α2)α3(10)p(α3)α4(11)p(α4)]p(α1)=p2,p(α2)=p(1p)=p(α3)p(α4)=(1p)2

一个离散无记忆信源的 N \mathbf{N} N 次扩展信源描述如下:

X \mathbf{X} X 为离散无记忆信源, 则 X \mathbf{X} X N \mathbf{N} N 次扩展信源记为 X N , X N = [ X 1 X 2 … X N ] \mathbf{X}^{N} , \mathbf{X}^{N}=\left[X_{1} X_{2} \ldots X_{N}\right] XN,XN=[X1X2XN] , 其模型为

( X N P ) = ( a 1 ⋯ a M p ( a 1 ) ⋯ p ( a M ) ) \left(\begin{array}{c} \mathbf{X}^{N} \\ P \end{array}\right)=\left(\begin{array}{ccc} a_{1} & \cdots & a_{M} \\ p\left(a_{1}\right) & \cdots & p\left(a_{M}\right) \end{array}\right) (XNP)=(a1p(a1)aMp(aM))
每个 X i X_{i} Xi 取自同一个字母表 A = { a 1 , a 2 , … , a N } A=\{a_{1}, a_{2}, \ldots, a_{N}\} A={a1,a2,,aN} , 且 X i X_{i} Xi X \mathbf{X} X 同分布,因此, X N \mathbf{X}^{\mathrm{N}} XN 的符号集为 A N = { a 1 , … , a N } , a j A^{N}=\{\boldsymbol{a}_{1}, \ldots, \boldsymbol{a}^{N}\}, \boldsymbol{a}_{j} AN={a1,,aN},aj 为多维信源中的一个矢量, 即 a j ∈ A N a_{j} \in A^{N} ajAN , 矢量的个数为 n N n^{N} nN, a j = ( a j 1 a j 2 , … , , a j N ) \boldsymbol{a}_{\boldsymbol{j}}=\left(a_{j_{1}} a_{j_{2}, \ldots,}, a_{j N}\right) aj=(aj1aj2,,,ajN), a j k a_{j k} ajk 为 $\boldsymbol{a}_{j} $的第 k \mathbf{k} k 个分量, 且 p ( a j ) = ∏ k = 1 N p j k p\left(\boldsymbol{a}_{j}\right)=\prod_{k=1}^{N} p_{j k} p(aj)=k=1Npjk , p j k p_{j k} pjk 为第 j \mathrm{j} j 个矢量第 k \mathrm{k} k 个分量取符号 a j k \boldsymbol{a}_{\mathrm{jk}} ajk 的概率。

参考文献:文章来源地址https://www.toymoban.com/news/detail-490277.html

  1. Proakis, John G., et al. Communication systems engineering. Vol. 2. New Jersey: Prentice Hall, 1994.
  2. Proakis, John G., et al. SOLUTIONS MANUAL Communication Systems Engineering. Vol. 2. New Jersey: Prentice Hall, 1994.
  3. 周炯槃. 通信原理(第3版)[M]. 北京:北京邮电大学出版社, 2008.
  4. 樊昌信, 曹丽娜. 通信原理(第7版) [M]. 北京:国防工业出版社, 2012.

到了这里,关于信源分类及数学模型的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【AI底层逻辑】——篇章3(上):数据、信息与知识&香农信息论&信息熵

    目录 引入 一、数据、信息、知识 二、“用信息丈量世界” 1、香农信息三定律

    2024年02月11日
    浏览(41)
  • 信息论基础第三章阅读笔记

    在信息论中,与大数定律类似的是渐进均分性(AEP),它是弱大数定律的直接结果。 大数定理针对独立同分布(i.i.d.)随机变量 ……………… 因此,当n很大时,一个观察序列出现的概率 p ( X 1 , X 2 , . . . , X n ) p(X_1,X_2,...,X_n) p ( X 1 ​ , X 2 ​ , ... , X n ​ ) 近似等于 2 − n H 2^{-nH}

    2024年02月07日
    浏览(57)
  • 信息论复习—线性分组码的基本性质

    目录 线性分组码: 非线性码示例: 线性码示例: 许用码字间的距离--码距: 码距与码的检错纠错能力之间的关系: 线性分组码的基本性质: 线性分组码的最小码距与最小码重的关系: 线性分组码的生成矩阵与监督矩阵: 生成矩阵: 系统码的生成矩阵: 监督矩阵: 方程

    2024年02月07日
    浏览(40)
  • 联合基于信息论的安全和隐蔽通信的框架

    Joint Information-Theoretic Secrecy and Covert Communication in the Presence of an Untrusted User and Warden 2021 IOTJ 主要创新点总结: 1 到Bob和到Carol的信号的功率分配或者时隙分配。 2 由于Willie到其他的窃听的信道Willie仅仅知道其分布(假设所有信道都仅仅知道其分布),由于其不确定性带来概率的

    2024年02月04日
    浏览(42)
  • 信息论基础——线性分组码编码的设计与实现

    本文仅供学习使用,如有侵权请及时联系,博主会第一时间进行处理 1.掌握线性分组码的编码原理及其方法; 2.理解生成矩阵和校验矩阵的对应关系; 3.探究线性分组码的编码效率和纠错检错能力。 线性分组码编码的基本原理及其方法 线性分组码是指分组码中信息元和校验

    2024年02月02日
    浏览(44)
  • 信息论的精髓与人工智能:探索共同之处

    信息论是一门研究信息的理论学科,它研究信息的性质、量度、传输和处理等问题。信息论的核心概念是熵、互信息、条件熵等,它们在人工智能中发挥着重要作用。随着人工智能技术的发展,信息论在人工智能中的应用越来越广泛。本文将从信息论的精髓与人工智能的共同

    2024年02月21日
    浏览(46)
  • 信息论之从熵、惊奇到交叉熵、KL散度和互信息

    考虑将A地观测的一个随机变量x,编码后传输到B地。 这个随机变量有8种可能的状态,每个状态都是等可能的。为了把x的值传给接收者,需要传输一个3-bits的消息。注意,这个变量的熵由下式给出: ⾮均匀分布⽐均匀分布的熵要⼩。 如果概率分布非均匀,同样使用等长编码,

    2023年04月15日
    浏览(79)
  • 【信息论与编码】【北京航空航天大学】实验一、哈夫曼编码【C语言实现】(上)

    一、运行源代码所需要的依赖: 1、硬件支持 Windows 10,64位系统 2、编译器 DEV-Redpanda IDE,小熊猫C++ 二、算法实现及测试 1、C语言源程序 2、算法性能测试 (1)测试文件1:article1.txt 文件说明:普通 英文文档 ,取自英国小说《哈利·波特》的一个章节 文件截图: 运行时截图

    2024年01月24日
    浏览(52)
  • 数学建模—分类模型

    本题按水果分类的例子         思路:逻辑回归原始现象 设置虚拟变量y  进行回归,估计出来的y-hat于虚拟变量中哪个更接近则分类为那个。   Eg:设1苹果,2橙子 若y与1接近为苹果,与0近为橙子 数据预处理生成虚拟变量 自变量mass重量,width水果宽度,height水果高度,c

    2024年02月14日
    浏览(42)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包