信息论安全与概率论

这篇具有很好参考价值的文章主要介绍了信息论安全与概率论。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

目录

一. Markov不等式

二. 选择引理

三. Chebyshev不等式

四. Chernov上限

4.1 变量大于

4.2 变量小于


信息论安全中会用到很多概率论相关的上界,本文章将梳理几个论文中常用的定理,重点关注如何理解这些定理以及怎么用。

一. Markov不等式

假定X为非负且为实数的随机变量,令为该变量的数学期望,可得:

理解:代表事件的集合,该定理用来描述概率的上界,且该上界与数学期望相关。

二. 选择引理

令,左边的代表随机变量,右边代表该随机变量取值的字母集。假定某函数信息论安全与概率论,信息论安全,概率论,信息论安全,数学期望与方差,将这些函数集中在一起形成函数集,另外该函数集内函数的个数与n无关。给定如下条件:

一定存在该变量中一个具体的数,满足:

理解:如果经过函数变化后的随机变量的数学期望有上界,那么该函数的某些取值也有上界。

证明

先做一个简单的改写,令,可以把看成一个常数,根据联合界定理(union bound),来看一个很有意思的概率:

信息论安全与概率论,信息论安全,概率论,信息论安全,数学期望与方差

马上使用刚才谈到的Markov不等式,右边不就是某个变量大于某个数的概率,可得:

信息论安全与概率论,信息论安全,概率论,信息论安全,数学期望与方差

条件告诉我们:

直接带入可得:

信息论安全与概率论,信息论安全,概率论,信息论安全,数学期望与方差

推导这么久,无非是想说

信息论安全与概率论,信息论安全,概率论,信息论安全,数学期望与方差

翻译成人话就是。事件信息论安全与概率论,信息论安全,概率论,信息论安全,数学期望与方差的概率小于1,也就是存在信息论安全与概率论,信息论安全,概率论,信息论安全,数学期望与方差。接下来就是计算复杂性理论很喜欢用到的一些转化。定理条件说是有限的,也就是一个常数,并且该常数与n无关,常数在计算复杂性中可以忽略,所以可将信息论安全与概率论,信息论安全,概率论,信息论安全,数学期望与方差等效为。

证明完毕。

简化理解:以上推导只是严格按照概率论格式来推导,所以看起来可能有点复杂。让我们来简化下。该定理说明当期望有上限时,至少存在一个变量的值也是这个上限(是不是很简单)。只不是今天的上限满足,(安全领域很喜欢研究渐近性)。

三. Chebyshev不等式

令X为随机变量,可得:

理解:变量的值与期望值不会相差太大,该上限与方差相关。

四. Chernov上限

4.1 变量大于

令X为随机变量,可得:

理解:将s看成一个常数,代表变量大于等于a的概率;代表对变量操作指数变换后,求数学期望;该定理反映了变量大于某值时对应的概率有上限,该上限与数学期望有关。与Markov不等式相比,多了一个s,在实际信息论安全推导时,可以设定任何自己想要的参数。

4.2 变量小于

令X为随机变量,可得:

该定理的理解与4.1类似,就不重复描述了。文章来源地址https://www.toymoban.com/news/detail-773595.html

到了这里,关于信息论安全与概率论的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 深度学习-必备的数学知识-概率论4

    概率论 我们将接着上一篇文章继续讲解。 在接下来的文章中,将会把随机变量本身写作大写字母,随机变量的值写作小写字母。 期望、方差和协方差 期望(expectation)是指随机变量X所有可能取值的平均或期望值。期望可以看作随机变量的中心或平均位置。换句话说期望是随

    2024年02月04日
    浏览(35)
  • 深度学习-必备的数学知识-概率论2

    概率论 在上一篇文章中,我带大家初略的了解了概率论是什么。这篇文章中我将为大家讲解概率论中的随机变量和概率分布。 随机变量 在概率论中,随机变量(random variable)是一个可以随机地取不同值的变量。一个随机变量是对可能的状态的描述,它的取值范围是事件的所

    2024年02月03日
    浏览(32)
  • 均值与概率论:数学关系与实际应用

    均值与概率论是数学和统计学中的基本概念,它们在各个领域的应用非常广泛。均值是用来描述一个数据集的中心趋势的一个量度,常用于对数据进行整理和分析。概率论则是一门数学学科,研究事件发生的可能性和相关概率。这两个概念在实际应用中是密切相关的,因为在

    2024年04月16日
    浏览(28)
  • 深度学习-必备的数学知识-概率论3

    概率论 我们将接着上一篇文章继续讲解。 条件概率 大家还记得上一篇文章的提到的联合概率分布吗?定义在一组变量的联合概率分布的子集上的概率分布被称为边缘概率分布(marginal probability distribution)。 对于离散型随机变量x和y,如果我们有 P ( x , y ) P(x,y) P ( x , y ) ,则可

    2024年02月03日
    浏览(37)
  • 【考研数学】概率论与数理统计 | 第一章——随机事件与概率(1)

    若一个试验满足如下条件: 在相同的条件下该试验可重复进行; 试验的结果是多样的且所有可能的结果在试验前都是确定的; 某次试验之前不确定具体发生的结果, 这样的试验称为随机试验,简称试验,一般用字母 E E E 表示。 设 E E E 为随机试验,随机试验 E E E 的 所有

    2024年02月12日
    浏览(40)
  • 概率论--数学期望与方差--协方差(详解)

    目录 数学期望与方差 离散型随机变量的数学期望 注意 连续型随机变量的数学期望          方差 常用随机变量服从的分布  二项分布 正态分布 随机向量与随机变量的独立性 随机向量 随机变量的独立性 协方差 协方差的定义 协方差的意义 协方差矩阵 离散型随机变量的

    2024年02月11日
    浏览(25)
  • 【深度学习】S2 数学基础 P6 概率论

    机器学习本质上,就是做出预测。而概率论提供了一种量化和表达不确定性水平的方法,可以帮助我们量化对某个结果的确定性程度。 在一个简单的图像分类任务中; 如果我们非常确定图像中的对象是一只猫,那么我们可以说标签为 “猫” 的概率是 1,即 P ( y = “猫” )

    2024年02月20日
    浏览(32)
  • 【考研数学】概率论与数理统计 | 第一章——随机事件与概率(2,概率基本公式与事件独立)

    承接上文,继续介绍概率论与数理统计第一章的内容。 P ( A − B ) = P ( A B ‾ ) = P ( A ) − P ( A B ) . P(A-B)=P(A overline{B} )=P(A)-P(AB). P ( A − B ) = P ( A B ) = P ( A ) − P ( A B ) . 证明: A = ( A − B ) + A B A=(A-B)+AB A = ( A − B ) + A B ,且 A − B A-B A − B 与 A B AB A B 互斥,根据概率的有限可加

    2024年02月12日
    浏览(36)
  • 自动编码器的数学基础:概率论与线性代数

    自动编码器(Autoencoders)是一种深度学习模型,它通过学习压缩输入数据的低维表示,然后再将其重新解码为原始数据形式。自动编码器的主要目的是学习数据的特征表示,从而可以用于降维、生成新数据、数据压缩等应用。在这篇文章中,我们将讨论自动编码器的数学基础,

    2024年02月20日
    浏览(39)
  • 【概率论】连续型随机变量的分布函数及数学期望(二)

    如果X的密度函数为 p ( x ) = { x , 0 ≤

    2024年01月18日
    浏览(41)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包