简述马尔可夫链【通俗易懂】

这篇具有很好参考价值的文章主要介绍了简述马尔可夫链【通俗易懂】。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

马尔可夫链

前言

马尔可夫链(Markov Chain)可以说是机器学习和人工智能的基石,在强化学习、自然语言处理、金融领域、天气预测、语音识别方面都有着极其广泛的应用

The future is independent of the past given the present
未来独立于过去,只基于当下。

这句人生哲理的话也代表了马尔科夫链的思想:过去所有的信息都已经被保存到了现在的状态,基于现在就可以预测未来。

虽然这么说可能有些极端,但是却可以大大简化模型的复杂度,因此马尔可夫链在很多时间序列模型中得到广泛的应用,比如循环神经网络 RNN,隐式马尔可夫模型 HMM 等,当然 MCMC 也需要它。

随机过程

马尔可夫链是随机过程 这门课程中的一部分,先来简单了解一下。

简单来说,随机过程就是使用统计模型一些事物的过程进行预测和处理 ,比如股价预测通过今天股票的涨跌,却预测明天后天股票的涨跌;天气预报通过今天是否下雨,预测明天后天是否下雨。这些过程都是可以通过数学公式进行量化计算的。通过下雨、股票涨跌的概率,用公式就可以推导出来 N 天后的状况。

简述马尔可夫链【通俗易懂】

简述马尔可夫链【通俗易懂】

马尔科夫链

简介

俄国数学家 Andrey Andreyevich Markov 研究并提出一个用数学方法就能解释自然变化的一般规律模型,被命名为马尔科夫链(Markov Chain)。马尔科夫链为状态空间中经过从一个状态到另一个状态的转换的随机过程,该过程要求具备“无记忆性 ”,即下一状态的概率分布只能由当前状态决定,在时间序列中它前面的事件均与之无关。这种特定类型的“无记忆性 ”称作马尔可夫性质。

简述马尔可夫链【通俗易懂】

马尔科夫链认为过去所有的信息都被保存在了现在的状态下了 。比如这样一串数列 1 - 2 - 3 - 4 - 5 - 6,在马尔科夫链看来,6 的状态只与 5 有关,与前面的其它过程无关。

数学定义

则假设我们的序列状态是 . . . . X t − 2 , X t − 1 , X t , X t + 1 . . . ....X_{t-2},X_{t-1},X_{t},X_{t+1}... ....Xt2,Xt1,Xt,Xt+1...,那么在 X t + 1 X_{t+1} Xt+1时刻的状态的条件概率仅依赖于前一刻的状态 X t X_{t} Xt,即:

P ( X t + 1 ∣ … X t − 2 , X t − 1 , X t ) = P ( X t + 1 ∣ X t ) P\left(X_{t+1} \mid \ldots X_{t-2}, X_{t-1}, X_{t}\right)=P\left(X_{t+1} \mid X_{t}\right) P(Xt+1Xt2,Xt1,Xt)=P(Xt+1Xt)

既然某一时刻状态转移的概率只依赖于它的前一个状态 ,那么我们只要能求出系统中任意两个状态之间的转换概率,这个马尔科夫链的模型就定了。

转移概率矩阵

通过马尔科夫链的模型转换,我们可以将事件的状态转换成概率矩阵 (又称状态分布矩阵 ),如下例:

简述马尔可夫链【通俗易懂】

上图中有 A 和 B 两个状态,A 到 A 的概率是 0.3,A 到 B 的概率是 0.7;B 到 B 的概率是 0.1,B 到 A 的概率是 0.9。

  • 初始状态在 A,如果我们求 2 次运动后状态还在 A 的概率是多少?非常简单:
    P = A → A → A + A → B → A = 0.3 ∗ 0.3 + 0.7 ∗ 0.9 = 0.72 P = A→A→A + A→B→A = 0.3 * 0.3 + 0.7 * 0.9 = 0.72 P=AAA+ABA=0.30.3+0.70.9=0.72
  • 如果求 2 次运动后的状态概率分别是多少?初始状态和终止状态未知时怎么办呢?这是就要引入转移概率矩阵 ,可以非常直观的描述所有的概率。
    简述马尔可夫链【通俗易懂】
    有了状态矩阵,我们可以轻松得出以下结论:
    • 初始状态 A,2 次运动后状态为 A 的概率是 0.72;
    • 初始状态 A,2 次运动后状态为 B 的概率是 0.28;
    • 初始状态 B,2 次运动后状态为 A 的概率是 0.36;
    • 初始状态 B,2 次运动后状态为 B 的概率是 0.64;
  • 有了概率矩阵,即便求运动 n 次后的各种概率,也能非常方便求出。

来看一个多个状态更复杂的情况:

简述马尔可夫链【通俗易懂】

状态转移矩阵的稳定性

状态转移矩阵有一个非常重要的特性,经过一定有限次数序列的转换,最终一定可以得到一个稳定的概率分布 ,且与初始状态概率分布无关。例如:

假设我们当前股市的概率分布为: [ 0.3 , 0.4 , 0.3 ] [0.3, 0.4, 0.3] [0.30.4,0.3] ,即 30% 概率的牛市,40% 概率的熊盘与 30% 的横盘。然后这个状态作为序列概率分布的初始状态 t 0 t_0 t0,将其带入这个状态转移矩阵计算 t 1 , t 2 , t 3 , . . . t_1,t_2,t_3,... t1,t2,t3,... 的状态。代码如下:

matrix = np.matrix([[0.9, 0.075, 0.025],
                    [0.15, 0.8, 0.05],
                    [0.25, 0.25, 0.5]], dtype=float)
vector1 = np.matrix([[0.3, 0.4, 0.3]], dtype=float)

for i in range(100):
    vector1 = vector1 * matrix
    print('Courrent round: {}'.format(i+1))
    print(vector1)

输出结果:

Current round: 1
[[ 0.405   0.4175  0.1775]]
Current round: 2
[[ 0.4715   0.40875  0.11975]]
Current round: 3
[[ 0.5156  0.3923  0.0921]]
Current round: 4
[[ 0.54591   0.375535  0.078555]]
。。。。。。
Current round: 58
[[ 0.62499999  0.31250001  0.0625    ]]
Current round: 59
[[ 0.62499999  0.3125      0.0625    ]]
Current round: 60
[[ 0.625   0.3125  0.0625]]
。。。。。。
Current round: 99
[[ 0.625   0.3125  0.0625]]
Current round: 100
[[ 0.625   0.3125  0.0625]]

可以发现,从第 60 轮开始,我们的状态概率分布就不变了,一直保持 [ 0.625 , 0.3125 , 0.0625 ] [ 0.625, 0.3125, 0.0625] [0.625,0.3125,0.0625],即 62.5% 的牛市,31.25% 的熊市与 6.25% 的横盘。

这个性质不仅对状态转移矩阵有效,对于绝大多数的其他的马尔可夫链模型的状态转移矩阵也有效。同时不光是离散状态,连续状态时也成立。

详细学习请参见:https://zhuanlan.zhihu.com/p/38764470

非马尔科夫链过程的例子

只有满足马尔科夫链的特性,才属于马尔科夫链过程。例如对于不放回的袋中取球问题:

简述马尔可夫链【通俗易懂】

显然当前取球的概率,不仅和我最后一次取的球的颜色有关,也和我之前每一次取球的颜色有关,所以这个过程不是一个马尔科夫链过程。

如果是放回的袋中取球问题,这就建立了一个马尔科夫随机过程。

马尔科夫链在机器学习中的应用

自然语音处理研究让机器“听懂”人类的语言,马尔科夫模型就解决了:

语言模型:N-Gram 是一种简单有效的语言模型,基于独立输入假设:第 n 个词的出现只与前面 N-1 个词相关,而与其它任何词都不相关 。整句出现的概率就是各个词出现概率的乘积。这些概率可以通过直接从语料中统计 N 个词同时出现的次数得到。

简述马尔可夫链【通俗易懂】

声学模型:利用 HMM 建模(隐马尔可夫模型),HMM 是指这一马尔可夫模型的内部状态外界不可见,外界只能看到各个时刻的输出值。对语音识别系统,输出值通常就是从各个帧计算而得的声学特征。

参考

什么是马尔可夫链?

马尔科夫链(Markov Chain),机器学习和人工智能的基石

马尔可夫链 (Markov Chain)是什么鬼文章来源地址https://www.toymoban.com/news/detail-401442.html

到了这里,关于简述马尔可夫链【通俗易懂】的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 两个状态的马尔可夫链

    手动推导如下公式。 证明: 首先将如下矩阵对角化: { 1 − a a b 1 − b } begin {Bmatrix} 1-a a \\\\ b 1-b end {Bmatrix} { 1 − a b ​ a 1 − b ​ } (1)求如下矩阵的特征值: { 1 − a a b 1 − b } { x 1 x 2 } = λ { x 1 x 2 } = = begin {Bmatrix} 1-a a \\\\ b 1-b end {Bmatrix} begin {Bmatrix} x_1 \\\\x_2 end {Bmatrix} = la

    2024年02月13日
    浏览(39)
  • 马尔可夫预测(Python)

    从一个例子入手:假设某餐厅有A,B,C三种套餐供应,每天只会是这三种中的一种, 而具体是哪一种,仅取决于昨天供应的哪一种, 换言之,如果知道今天供应了什么,就可以用某种方式预测明天将会供应什么。         例如,今天供应的是A,那么明天有60%概率供应B,我

    2024年01月25日
    浏览(48)
  • 学习笔记:马尔可夫模型

    安德雷·马尔可夫(Andrey Markov),俄国数学家,在概率论、数理统计和随机过程等领域做出了重要贡献,20世纪初期提出了一种数学模型,即马尔可夫过程Markov Process),用于描述具有“无记忆性”的随机过程。 马尔可夫性质(Markov Property)是概率论中的一个概念,它是指一个随

    2024年02月04日
    浏览(46)
  • 机器学习算法 - 马尔可夫链

    马尔可夫链(Markov Chain)可以说是机器学习和人工智能的基石,在强化学习、自然语言处理、金融领域、天气预测、语音识别方面都有着极其广泛的应用 The future is independent of the past given the present   未来独立于过去,只基于当下。 这句人生哲理的话也代表了马尔科夫链的思想

    2024年01月17日
    浏览(37)
  • 灰色-马尔可夫预测模型

            在实际生活中,我们经常遇到很多要预测的事情,其中很常见的就是对产品销量的预测,这对于防止产品供应不足或者产品滞销的情况是很有用的。我们要介绍的灰色-马尔可夫模型就是一个比较热门的预测模型,它的特点是: 信息量较小,需要预测的信息较少,指

    2024年02月09日
    浏览(49)
  • 机器学习:马尔可夫模型

    后续遇到合适的案例会再补充   马尔可夫模型(Markov Model, MM)是一种统计模型,广泛应用在自然语言处理等领域中。 1.1 数学定义   考虑一组随机变量序列 X = { X 0 , X 1 , … , X t , …   } X={X_{0},X_{1},dots,X_{t},dots} X = { X 0 ​ , X 1 ​ , … , X t ​ , … } ,其中 X t X_{t} X t ​ 表

    2024年02月13日
    浏览(41)
  • 【强化学习】03 ——马尔可夫决策过程

    在此推荐另一篇文章【自动驾驶决策规划】POMDP之Introduction 提供了一套在结果 部分随机 、 部分在决策者的控制下的决策过程建模 的数学框架。 MDP形式化地描述了一种强化学习的环境 环境完全可观测 当前状态可以完全表征过程(马尔科夫性质) 几乎所有的RL问题都可以转换到

    2024年02月07日
    浏览(46)
  • 隐马尔可夫模型HMM学习备忘

    隐马尔可夫模型示意图如图[1]: 隐含状态转换关系示意图: 1、马尔可夫模型的理解 包含 N N N 个状态的系统,马尔可夫过程是状态 S i S_i S i ​ (在此 q t q_t q t ​ 为状态 S i S_i S i ​ 在时间 t t t 的状态变量)变化转移过程,状态转移依赖前 p 个状态,与其他时刻状态无关,称

    2024年02月10日
    浏览(39)
  • 数学建模常用算法—马尔可夫预测

    今天数模君带大家学习一下数学建模中的预测算法之马尔科夫预测。 目录 模型的含义 实例分析 马尔可夫(Markov)预测法,就是一种关于事件发生的概率预测方法。它是根据事件的目前状况来预测其将来各个时刻(或时期)变动状况的一种预测方法。马尔可夫预测法是地理预测

    2024年02月09日
    浏览(48)
  • 数学建模系列-预测模型(四)马尔可夫预测

    目录 1 Markov模型含义 2 模型分析 3 应用题型  3.1 问题分析 3.2 模型建立 4 Markov模型优缺点         马尔可夫(Markov)预测法,就是一种关于事件发生的概率预测方法。它是根据事件的目前状况来预测其将来各个时刻(或时期)变动状况的一种预测方法。马尔可夫预测法是地

    2024年02月07日
    浏览(40)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包