【数学建模】马氏链模型（基本概念+正则链+吸收链）-Toy模板网

这篇具有很好参考价值的文章主要介绍了【数学建模】马氏链模型（基本概念+正则链+吸收链）。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

马氏链模型（Markov Chain）

对于有随机因素影响的动态系统，系统从这个时期到下个时期的状态按照一定的概率进行转移，并且下个时期的状态只取决于这个时期的状态和转移概率。
无后效性：已知现在，将来与历史无关。
具有无后效性，时间、状态均为离散的随机转移过程通常用马氏链模型描述。

实例1：健康与疾病

本实例介绍马氏链的基本概念，以及两种主要类型——正则链和吸收链。

人的健康状态随时间的推移会发生转变，人寿保险公司要通过对状态转变的概率做出估计，才能确定出不同年龄、不同健康状况的人的保险金和理赔金数额，下面分两种情况进行讨论：

情况一：

把人的健康状况分为健康和疾病两种，以一年为一个时段研究状态的转变。假定对某一年龄段的人，今年健康，明年转为疾病状态的概率为0.2；今年患病，明年转为健康的概率为0.7。
如果一个人投保时处于健康状态，我们研究以后若干年他分别处于这两种状态的概率。
用随机变量 $X_n$ 表示第 $n$ 年的状态， $X_n=1$ 表示健康， $X_n=2$ 表示疾病， $n = 0, 1, 2, ...$ ，用 $a_i(n)$ 表示第 $n$ 年处于状态 $i$ 的概率， $i = 1, 2$ ，即 $a_i(n)=P(X_n=i)$ 。
用 $p_{ij}$ 表示已知今年状态处于状态 $i$ ，来年状态处于状态 $j$ 的概率， $p_{ij}$ 称为状态转移概率。
显然，第 $n + 1$ 年的状态 $X_{n+1}$ 只取决于第 $n$ 年的状态 $X_n$ 和转移概率 $p_{ij}$ ，而与以前的状态 $X_{n-1},X_{n-2},...$ 无关，即状态转移具有无后效性。
第 $n + 1$ 年的状态概率可由全概率公式得到：
$\left\{\begin{array}{l} a_{1}(n+1)=a_{1}(n) p_{11}+a_{2}(n) p_{21} \\ a_{2}(n+1)=a_{1}(n) p_{12}+a_{2}(n) p_{22} \end{array}\right.$
由前 $p_{11}=0.8, p_{12}=0.2, p_{21}=0.7, p_{22}=0.3$ ，投保人开始时处于健康状态，即 $a_{1}(0)=1, a_{2}(0)=0$ 立即可以算出以后各年他处于两种状态的概率 $a_{1}(n), a_{2}(n), n=1,2, \cdots,$ 如下表：
通过计算可以发现，无论初始状态概率是否相同，对于给定的状态转移概率， $\boldsymbol{n} \rightarrow \infty$ 时，状态概率 $a_{1}(n), a_{2}(n)$ 趋于稳定值，该值与初始状态无关，这是一种主要的马氏链类型的重要性质。

情况二：

把人的死亡作为第3种状态，用 $X_n=3$ 表示，今年健康、明天可能因突发疾病或偶然事故而死亡，今年患病、明年更可能转为死亡，而一旦死亡就不能再转为健康或疾病状态。
用 $a_i(n)$ 表示第 $n$ 年处于状态 $i$ 的概率， $i = 1, 2, 3$ ，用 $p_{ij}$ 表示状态转移概率。特别注意， $p_{31}=p_{32}=0,p_{33}=1$
第 $n + 1$ 年的状态概率可由全概率公式得到：
$\left\{\begin{array}{l} a_{1}(n+1)=a_{1}(n) p_{11}+a_{2}(n) p_{21}+a_{3}(n) p_{31} \\ a_{2}(n+1)=a_{1}(n) p_{12}+a_{2}(n) p_{22}+a_{3}(n) p_{32} \\ a_{3}(n+1)=a_{1}(n) p_{13}+a_{2}(n) p_{23}+a_{3}(n) p_{33} \end{array}\right.$
算得的结果如下表所示：
表中的最后一列时根据计算数值的趋势猜测的，可以看到，不论初始状态如何，最终都要转到状态3.

马氏链的基本概念

马氏链及其基本方程

按照系统的发展，时间离散化为 $n = 0, 1, 2...$ ，对每个 $n$ ，系统的状态用随机变量 $X_n$ 表示，设 $X_n$ 可取 $k$ 个离散值 $X_n=1,2,...,k$ ，且记 $a_i(n)=P(X_n=i)$ ，即状态概率。
如果 $X_{n+1}$ 的取值只取决于 $X_n$ 的取值及转移概率，而与 $X_{n-1},X_{n-2},...$ 的取值无关，那么这种离散状态按照离散时间的随机转移过程称为马氏链。
由状态转移的无后效性和全概率公式可以写出马氏链的基本方程为：
$a_{i}(n+1)=\sum_{j=1}^{k} a_{j}(n) p_{j i}, \quad i=1,2, \cdots, k$
并且满足：
$\begin{array}{ll} \sum_{i=1}^{k} a_{i}(n)=1, & n=0,1,2, \cdots \\ p_{i j} \geqslant 0, & i, j=1,2, \cdots, k \\ \sum_{j=1}^{k} p_{i j}=1, & i=1,2, \cdots, k \end{array}$
引入状态概率向量（行向量）和转移概率矩阵（简称转移矩阵）：
$a(n)=\left(a_{1}(n), a_{2}(n), \cdots, a_{k}(n)\right), P=\left\{p_{i j}\right\}_{k \times k}$
则基本方程可以表示为：
$a (n + 1) = a (n) P$
还可以得到：
$a(n)=a(0) P^{n}$
转移矩阵 $P$ 是非负阵， $P$ 的行和为1，称为 随机矩阵。
马氏链模型最基本的问题是构造状态 $X_n$ 及写出转移矩阵 $P$ ，这里的转移矩阵与时段 $n$ 无关，这种马氏链称为时齐的。

马氏链的两个重要类型

正则链

这类马氏链的特点是，从任意状态出发经过有限次转移都能达到另外的任意状态。文章来源地址https://www.toymoban.com/news/detail-413497.html

定义一个有 $k$ 个状态的马氏链如果存在正整数 $N$ ，使从任意状态 $i$ 经 $N$ 次转移都以大于零的概率到达状态 $j (i, j = 1, 2, ...., k)$ ，则称为正则链。
用下面的定理可以检验一个马氏链是否是正则链：
定理1 若马氏链的转移矩阵是 $P$ ，则它是正则链的充要条件是，存在正整数 $N$ ，使 $P^N>0$
定理2 正则链存在唯一的极限状态概率 $w=(w_1,w_2,...,w_k)$ ，又称稳态概率。
求解稳态概率 $w$ 线性方程租：
$\begin{array}{c} \boldsymbol{w}P=\boldsymbol{w} \\ \sum_{i=1}^{k} w_{i}=1 \end{array}$
从状态 $i$ 出发，第一次到达状态 $j$ 的概率称为 $i$ 到 $j$ 的首达概率，记作 $f_{ij}(n)$ ，于是由状态 $i$ 到达第一次状态 $j$ 的平均转移次数为
$\mu_{i j}=\sum_{n=1}^{\infty} n f_{i j}(n)$

吸收链

定义转移概率 $p_{ii}=1$ 的状态 $i$ 称为吸收状态。如果马氏链至少包含一个吸收状态，并且从每一个非吸收状态出发，能以正的概率经有限次转移到达某个吸收状态，那么这个马氏链称为吸收链。
吸收链的转移矩阵可以写成简单的标准形式。若有 $r$ 个吸收状态， $k - r$ 个非吸收状态，则转移矩阵 $P$ 可表为
$P=\left[\begin{array}{cc} \mathbb{I}_{r \times r} & 0 \\ R & Q \end{array}\right]$