概率论与数理统计第一章概率论的基本概念-Toy模板网

这篇具有很好参考价值的文章主要介绍了概率论与数理统计第一章概率论的基本概念。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

第一章概率论的基本概念

1.1 随机试验

1.1.1 前言

1.研究对象：

确定性现象：必然发生或不发生
随机现象：个别试验结果呈现不确定性，大量试验结果呈现统计规律性

2.概率论与数理统计：

该学科是研究和揭示随机现象统计规律性的学科。

1.1.2 随机试验

1.定义：

可以在相同条件下重复进行；
每次试验的结果可能不止一个，并且能事先明确试验的所有可能结果（明确结果范围也行，如测试灯泡的寿命）；
进行一次试验之前不能确定哪一个结果会出现。

2.随机试验（简称试验）用字母E表示。

1.2 样本空间、随机事件

1.2.1 样本空间

1.Def：随机试验所有可能结果组成的 $\color{red}{集合}$ （确定性、互异性、无序性），记为S或Ω 。

2.样本点：随机试验的每个结果，记为e或ω。

3.求样本空间：

①列举法：有限样本空间，例：S={1，2，3，4}

②描述法：无限样本空间，例：S={1，2，3，4，……}， S={ t|t > 0 }

1.2.2 随机事件

1.Def：样本空间S的子集称为E的随机事件，用A，B，……表示，简称事件。

2.事件发生：在每次试验中，当且仅当随机事件中的一个样本点出现。

3.基本事件：由一个样本点组成的单点集。

4.必然事件：样本空间S包含所有样本点，在每次试验中它总发生。

5.不可能事件：空集∅不包含任何样本点，在每次试验中它总不发生。

1.2.3 事件的关系、事件的运算、运算法则

1.2.3.1 事件的关系

1.包含：A⊂B，事件A发生必然导致事件B发生。

2.相等：A=B，事件A发生必然导致事件B发生，反之亦然。

3.互斥（互不相容）：AB = ∅，事件A和B不可能同时发生。

4.对立：A∪B=S 且 AB = ∅。在一次试验中，事件A和B必然有一个发生且仅有一个发生，这时候我们称事件A和B互为对立事件/逆事件，记作B=Ā。

$\color{blue}{附：}$ ①A和Ā互为逆事件，且Ā = S - A。

②事件组 $A_1,A_2,……,A_n$ 中任意两个事件互不相容，则称这些事件两两互不相容 or 两两互斥（完备事件集）。

（ $A_iA_j$ =∅，i ≠ j，i、j = 1，2，3，……，n）

1.2.3.2 事件的运算

1.和事件（并）：A + B 或 A∪B，两个事件A、B中，至少有一个事件发生。

2.积事件（交）：AB 或 A∩B，当且仅当事件A、B同时发生时，事件AB才会发生。

3.差事件：A - B 或 A $\bar{B}$ ，当且仅当事件A发生，事件B不发生时，事件A - B发生。

$\color{blue}{推广:}$ ①称 $\quad\bigcup\limits_{i=1}^nA_k\quad$ 为n个事件 $A_1,A_2,……,A_n$ 的和事件。

②称 $\quad\bigcap\limits_{i=1}^nA_k$ 为n个事件 $A_1,A_2,……,A_n$ 的积事件。

$\color{blue}{附:}$ 可列事件：可以完全列出 or 可以按照一定规律列出的事件 $\begin{cases} 自然数、整数:&\text{可列}\\ 实数:&\text{不可列(有理可列，无理不可列)} \end{cases}$

1.2.3.3 运算法则

1.吸收律：若A⊂B，则A∪B = B，AB = A， $\bar{B}$ ⊂ $\bar{A}$

2.交换律：A∪B = B∪A，AB = BA

3.结合律：A∪（B∪C）=（A∪B）∪C，A（BC）= （AB）C

4.分配律：A∪（B∩C）=（A∪B）∩（B∪C），A∩（B∪C）=（A∩B）∪（A∩C）

A（B - C）= AB - AC，A - （B∪C）= （A - B）∩（A - C），A - （B∩C）= （A - B） ∪（A - C）

5.德摩根律： $\overline{A∪B} = \bar{A}∩\bar{B}$ ， $\overline{A∩B} = \bar{A}∪\bar{B}$

6.矛盾律：A∩ $\bar{A}=$ ∅ ，排中律：A ∪ $\bar{A}=$ E

7.运算符优先级：先逆，再交，最后并 or 差。

$\color{red}{附:}$ A - B，AB，B - A 为两两互斥事件，所以有A = （A - B）∪AB，B = （B - A）∪AB。

1.3 频率与概率

1.3.1 概率的描述性定义

1.Def：称随机事件A发生的可能性大小的度量（非负值）为事件A发生的概率。

1.3.2 概率的统计性定义——频率

1.Def：在相同条件下进行n次试验，在这n次试验中，事件A发生的次数 $n_A$ ，称为事件A发生的 $\color{blue}{频数}$ ，比值 $\frac{n_A}{n}$ 称为事件A发生的 $\color{blue}{频率}$ ，并记作 $f_n(A)$ 。

2.基本性质：

①0 $\leqslant$ $f_n(A)$ $\leqslant$1；

② $f_n(S)$ = 1；

③若 $A_1，A_2,…,A_n$ 为两两互不相容事件，则有

$f(A_1∪A_2∪…∪A_n) = f(A_1) + f(A_2) + … + f(A_n)$ ；

④当n $\to ∞$ 时， $f_n(A)\to$ 常数。（频率稳定性 or统计规律性）

1.3.3 概率的公理性定义

1.Def：设E是随机试验，S是它的样本空间，对于E的每一事件A赋予一个实数，记为 $P （ A ）$ （A的概率）。它满足以下三个条件：

①非负性：对任意事件A，有P（A）$\geqslant$0;

②规范性：必然事件S，P（S）=1；

③可列可加性：若 $A_1,A_2,…,A_n,…$ 为两两互不相容事件，则

$P(A_1∪A_2∪…∪A_n∪…) = P(A_1) + P(A_2) + … + P(A_n) + …$

2.重要性质：

①P（∅）=0；

②有限可加性：若 $A_1，A_2,…,A_n$ 为两两互不相容事件，则有

$P(A_1∪A_2∪…∪A_n) = P(A_1) + P(A_2) + … + P(A_n)$ ；

③设A、B是两个事件，且A⊂B，则有

P（A） $\leqslant$ P（B），P（B - A）= P（B）- P（A）；（单调性）

$\color{red}{推论:}$ 对任意两个事件A、B，有 $\color{blue}{P(B - A)=P(B)-P(AB)}$

④对任一事件A，有

P（A）$\leqslant$1；

⑤逆事件的概率：对任意事件A，有

$P(\bar{A}) = 1 - P(A)$ ;

⑥加法公式：对任意俩事件A、B，有

P（A ∪ B）=P（A）+ P（B）- P（AB）

$\color{red}{推广:}$ a.半可加性：P（A ∪ B） $\leqslant$ P（A）+ P（B）

b.三个事件：

P（A∪B∪C）=P（A）+P（B）+P（C）- P（AB）- P（AC）- P（BC）+P（ABC）

c.n个事件：
$P(A_1∪A_2∪…∪A_n)=\sum\limits_{i=1}^nP(A_i)-\sum\limits_{1\leqslant{i}<j\leqslant{n}}P(A_iA_j)+\sum\limits_{1\leqslant{i}<j<k\leqslant{n}}P(A_iA_jA_k)+…+(-1)^{n-1}P(A_1A_2…A_n)$

⑦减法公式：设A、B为任意两个事件，则

P（A $\bar{B}$ ） = P（A-B）=P（A）-P（AB）

1.4 古典概型（等可能概型）

1.4.1 中学概率知识

1.加法原理：设完成一件事有n类方法（只需其中一类方法即可完成事情），若第k类方法有 $m_k$ 种方法（1 $\leqslant$ k $\leqslant$ n），则完成这件事总共有 $\color{red}{N = m_1+m_2+…+m_n}$ 种方法。

2.乘法原理：设完成一件事有n个步骤（当且仅当n个步骤全部完成），若第k个步骤有 $m_k$ 种方法（1 $\leqslant$ k $\leqslant$ n），则完成这件事总共有 $\color{red}{N = m_1\times m_2\times …\times m_n}$ 种方法。

3.排列：

①不同元素的选排列：从n个不同元素中任取m（m $\leqslant$ n）个按一定顺序排成一列，称为从n个元素中取出m个元素的选排列，共有 $P{^m_n}$ 种。当m=n时，称为全排列，共有n！种。（0！=1）

$P{^m_n}=n(n-1)(n-2)\cdots\quad(n-m+1)=\dfrac{n!}{(n-m)!}=A{^m_n}$

②不同元素的重复排列：从n个不同元素种又放回的取m（m $\leqslant$ n）个进行排列，其排列总数共有 $\color{red}{n\times n\times …\times n=n^m}$ 种。

③不全相异元素的排列：在n个元素中，有m类元素，每类各有 $k_1,k_2,…,k_m$ 个，将这n个元素做全排列，共有如下种方式：

N= $\dfrac{n!}{k_1!k_2!…k_n!}$

④环排列：从n个不同的元素中，选出m个不同的元素排成一个圈，共有如下种方式：

$\dfrac{n(n-1)(n-2)…(n-m+1)}{m}=C{^m_n}(m-1)!$

4.组合：

①从n个元素中取出m个（ $\color{blue}{不放回抽样}$ ）组成一组，不同的分发方式共有：

$\begin{pmatrix}n\\m\end{pmatrix}=C{^m_n}=\dfrac{n!}{m!(n-m)!}=\dfrac{P{^m_n}}{m!}$

②从n个元素中取出m个（ $\color{blue}{放回抽样}$ ）组成一组，不同的分发方式共有：

$H{^m_n}=\begin{pmatrix}n+m-1\\m\end{pmatrix}$

1.4.2 古典概型

1.Def：若随机试验E满足：

（1）样本空间S只含有限个样本点，S={ $e_1,e_2,…,e_n$ };

（2）每个基本事件（样本点）发生的可能性相同；

则称此随机试验的概率模型为等可能概型，又称古典概型。

2.古典概型中，事件A={ $e_{i1},e_{i2},…,e_{ik}$ }发生的概率为

$P(A)=\dfrac{k}{n}=\dfrac{A包含的基本事件数}{S包含的基本事件总数}$

1.4.3 古典概型基本模型

1.4.3.1 分球模型

1.无放回摸球（不放回抽样）：

概率论与数理统计,概率论,算法,机器学习

2.有放回的摸球（放回抽样）：
概率论与数理统计,概率论,算法,机器学习

1.4.3.2 分球入盒模型

1.盒子容量无限：
概率论与数理统计,概率论,算法,机器学习

2.每个盒子只能装一个球：
概率论与数理统计,概率论,算法,机器学习

3.综合例题：
概率论与数理统计,概率论,算法,机器学习

1.4.3.3 分组问题

概率论与数理统计,概率论,算法,机器学习

1.4.3.4 超几何分布

1.Def：设有N件产品，其中有D件次品，今从中任取n件，问其中恰有k（ $k\leqslant N$ ）件次品的概率为：
$p=\begin{pmatrix}D\\k\end{pmatrix}=\begin{pmatrix}N-D\\n-k\end{pmatrix}/\begin{pmatrix}N\\n\end{pmatrix}$

$\color{blue}{附:实际推断原理:概率很小的事件在一次试验中实际上几乎是不发生的。}$

1.4.4 几何概型（等可能概型）

1.Def：若随机试验E满足：

①样本空间S是 $R^n$ （n=1，2，3）中一个可度量的几何区域；

②每个样本点出现的概率相等，即样本点落入S某一可度量的子区域A的可能性大小与A的几何度量成正比，而与A的位置及形状无关，则事件A={样本点落入区域A}的概率为：
$P(A)=\dfrac{A的几何度量(长度、面积、体积)}{S的几何度量(长度、面积、体积)}$
$\color{red}{注意！}$ ①古典概型：基本事件有限，等可能的随机试验。

②几何概型：基本事件无限，等可能的随机试验。

1.5 条件概率

1.5.1 条件概率

1.Def：设A、B是两个事件，且 $P (A) > 0$ ，称
$P(B|A)=\dfrac{P(AB)}{P(A)}$
为在事件A发生的条件下事件B发生的条件概率。

$\color{red}{注意：这里样本空间已经从S坍塌到A了，样本空间减小。}$

2.条件概率满足条件（也是概率）

已知事件A发生且P（A）>0

非负性：对于每一件事件B，有 $P(B|A)\geqslant0$ 。
规范性：对于必然事件S，有 $P (S ∣ A) = 1$ 。
可列可加性：设 $B_1,B_2,…$ 是两两互不相容事件，则有

$P(\quad\bigcup\limits_{i=1}^∞B_i|A\quad) =\sum\limits_{i=1}^∞P(B_i|A)$

3.条件概率的性质：当P（A）> 0时

$P(B|A)\geqslant 0$
有限可加性： $P(\quad\bigcup\limits_{i=1}^nB_i|A\quad) =\sum\limits_{i=1}^nP(B_i|A)$
$P (S ∣ A) = 0, P (\emptyset∣ A) = 0$
加法公式: $P (B \cup C ∣ A) = P (B ∣ A) + P (C ∣ A) - P (BC ∣ A)$
当B、C互不相容时， $P (B \cup C ∣ A) = P (B ∣ A) + P (C ∣ A)$
可减性： $P (B - C ∣ A) = P (B ∣ A) - P (BC ∣ A)$
$P(\bar{B}|A)=1-P(B|A)$

1.5.2 乘法定理

1.Def：设P（A）> 0，P（B）> 0 ，则有
$P (A B) = P (B ∣ A) P (A) = P (A ∣ B) P (B)$
称为乘法公式。

2.推广

三个事件A、B、C，且P（AB）> 0[ $P(A)\geqslant P(AB) > 0$ ].

$P (A BC) = P (C ∣ A B) P (B ∣ A) P (A)$

n（ $n\geqslant2$ ）个事件 $A_1,A_2,…A_n$ ，且 $P(A_1A_2…A_{n-1}) > 0$ ，则有

$P(A_1A_2…A_n)=P(A_1)P(A_2|A_1)P(A_3|A_2A_1)…P(A_n|A_{n-1}…A_2A_1)$

注意事件发生的先后次序， $A_i$ 先于 $A_{i+1}$ 发生，可用上式。

3.先验概率 & 后验概率

由以往的数据分析得到的概率叫 $\color{red}{先验概率}$ 。
加入新数据后重新修正得到的概率叫 $\color{red}{后验概率}$ 。

1.5.3 全概率公式 & 贝叶斯公式

1.5.3.1 全概率公式（由因求果）

1.样本空间划分：设S为试验E的样本空间， $B_1,B_2,…,B_n$ 为E的一组事件，若

$B_iB_j=$ ∅， $i \neq = j, i, j = 1, 2, \dots, n$
$B_1∪B_2∪…∪B_n=S$

则称 $B_1,B_2,…,B_n$ 为样本空间S的一个划分（也叫完备事件集）。

$\color{red}{注意:}$ ①若 $B_1,B_2,…,B_n$ 为样本空间S的一个划分，则对每次试验，事件 $B_1,B_2,…,B_n$ 中必有一个且仅有一个发生。

②样本空间的划分一般不唯一。

2.全概率公式：设试验E的样本空间为S，A为E的事件， $B_1,B_2,…,B_n$ 为S的一个划分，且 $P(B_i)>0(i=1,2,…,n)$ ，则
$P(A)=P(A|B_1)P(B_1)+P(A|B_2)P(B_2)+…+P(A|B_n)P(B_n)=\sum_{i=1}^nP(A|B_i)P(B_i)$

1.5.3.2 贝叶斯公式（由果导因）

1.Def：设试验E的样本空间为S。A为E的事件， $B_1,B_2,…,B_n$ 为S的一组划分，且P（A）> 0， $P(B_i)>0(i=1,2,…,n)$ ，则
$P(B_i|A)=\dfrac{P(A|B_i)P(B_i)}{\sum\limits_{i=1}^n P(A|B_i)P(B_i)}$
称为贝叶斯公式。

2.全概率 & 贝叶斯

取n=2，并将 $B_1$ 记为 $B$ ， $B_2$ 记为$ \bar{B}$，则全概率公式和贝叶斯公式可以写成：
$P(A)=P(A|B)P(B)+P(A|\bar{B})P(\bar{B})——全概率公式$

$P(B|A)=\dfrac{P(AB)}{P(A)}=\dfrac{P(A|B)P(B)}{P(A|B)P(B)+P(A|\bar{B})P(\bar{B})}——贝叶斯公式$

1.6 独立性

1.6.1 描述性定义

设A、B为两个事件，如果其中任何一个事件发生的概率不受另一个事件发生与否的影响，则称事件A与B相互独立。

$P(B|A)=P(B),P(B|\bar{A})=P(B),P(A|B)=P(A),P(A|\bar{B})=P(A)$

1.6.2 数学定义

1.Def：设A、B是两事件，如果满足等式：
$P (A B) = P (A) P (B)$
则称事件A、B相互独立，简称A、B独立。

2. $\color{red}{注意！}$

与事件中的包含、相等、相容、对立关系不同，独立是从概率角度定义的。
互相独立 & 互不相容之间没有不然联系。特殊地，在 $P (A) > 0, P (B) > 0$ 时，A、B相互独立与A、B互不相容不能同时成立。
- 互相独立： $P (A B) = P (A) P (B) > 0$
- 互不相容： $P(AB)=P(\varnothing)=0$
必然事件及不可能事件与任意事件互相独立。

3.定理

设A、B是两事件，且 $P (A) > 0.$ 若A、B相互独立，则 $P (B ∣ A) = P (B)$ ，反之亦然。
若事件A与B相互独立，则下列各对事件也相互独立：
$A与\bar{B},\bar{A}与B,\bar{A}与\bar{B}$

1.6.3 多个事件的独立性

1.三个事件两两独立

Def：设A、B、C是三个事件，如果满足等式：
$\begin{cases} P(AB)=P(A)P(B)\\ P(BC)=P(B)P(C)\\ P(AC)=P(A)P(C) \end{cases}$
则称事件A、B、C两两独立。

2.三个事件相互独立

Def：设A、B、C是三个事件，如果满足等式：
$\begin{cases} P(AB)=P(A)P(B)\\ P(BC)=P(B)P(C)\\ P(AC)=P(A)P(C)\\ P(ABC)=P(A)P(B)P(C) \end{cases}$
则称事件A、B、C相互独立。

3.联系

相互独立 $\Rightarrow$ 两两独立，反之不成立。

4.推广：n个事件的独立性

Def：一般设 $A_1,A_2,…,A_n$ 是 $n(n\geqslant2)$ 个事件，如果对于其中任意2个，任意3个，…，任意n个事件的积事件的概率，都等于个事件概率之和，则称事件 $A_1,A_2,…,A_n$ 相互独立。
- 共 $C^2_n+C^3_n+…+C^n_n=2^n-n-1$ 个等式成立。
推论：
- 若事件 $A_1,A_2,…,A_n(n\geqslant2)$ 相互独立，则其中任意 $k(2\leqslant k\leqslant n)$ 个事件也是相互独立的。
- 若事件 $A_1,A_2,…,A_n(n\geqslant2)$ 相互独立，则将事件 $A_1,A_2,…,A_n$ 中任意多个事件换成它们各自的对立事件，所得的n个事件仍相互独立。

1.6.4 独立性判断

1.直观性判断：

若试验独立，则其结果必然独立。
根据事件的实际意义取判断。

2.利用上述定义及定理判断。

1.6.5 独立重复试验

1.定义（独立试验序列）

设 ${E_i}(i=1,2,…)$ 是一列随机试验， $E_i$ 的样本空间Ω $_i$ ，设 $A_k$ 是 $E_k$ 中的任一事件， $A_k \subset$ Ω $_k$ ，若 $A_k$ 出现的概率都不依赖于其它各次试验 $E_i(i\neq k)$ 的结果，则称 ${E_i}$ 是 $\color{red}{相互独立}$ 的随机试验序列，简称 $\color{red}{独立试验}$ 序列。

2.n 重贝努里（Bernoulli）试验

若n次重复试验具有下列特点：

每次试验的可能结果只有两个 $A、\bar{A}$ ，且 $P(A)=p,P(\bar{A}=1-p)$ （在各次试验中p是常数，保持不变）；
各次试验的结果相互独立。

则称这n次重复试验为 $\color{blue}{n 重贝努利（Bernoulli）试验}$ ，简称为 $\color{red}{贝努里概型}$ 。

3. $B er n o u ll i$ 定理：

在n 重贝努里试验中，事件A发生的概率为p，则事件A发生k次的概率为：
$b(k;n,p)=C^k_np^k(1-p)^{n-k},k=0,1,2,…,n$
E_i}(i=1,2,…) $是一列随机试验，$ E_i $的样本空间 Ω$ _i $，设$ A_k $是$ E_k $中的任一事件，$ A_k \subset $Ω$ _k $，若$ A_k $出现的概率都不依赖于其它各次试验$ E_i(i\neq k) $的结果，则称$ {E_i} $是$ \color{red}{相互独立} $的随机试验序列，简称$ \color{red}{独立试验}$序列。