NLP之LSTM原理剖析

这篇具有很好参考价值的文章主要介绍了NLP之LSTM原理剖析。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

背景

SimpleRNN有一定局限性,
NLP之LSTM原理剖析,# 1. 自然语言处理&知识图谱,自然语言处理,lstm,人工智能

  1. 图片上的文字内容:

    • 图片标题提到“SimpleRNN是一种基础模型。它用于解决序列型问题,其中的每一步的输出会影响到下一步的结果。图中的公式和结构图都展示了这种关系。”
    • 下面给出了四行伪代码,描述了SimpleRNN的计算方式。简化为以下形式:
      1. out1和ht1是通过输入x1、前一时刻的状态h(t-1)、权重w1、u1以及偏置项bias进行某种激活函数的计算得到的。
      2. out2和ht2是通过输入x2、前一时刻的状态ht1、权重w2、u2以及偏置项bias进行计算得到的。
      3. out3和ht3是通过输入x3、前一时刻的状态ht2、权重w3、u3以及偏置项bias进行计算得到的。
      4. out4和ht4的计算方式未完整给出,但可以推测其与之前的计算方式类似。
  2. 图片中的图示内容:

    • 图中展示了一个序列型的网络结构,其中每个时间步都有一个输入和一个输出。
    • 从左到右,我们可以看到数据是如何流动的。每个时间步的输入都被标记为“输入”,每个时间步的输出被标记为“输出”,并且每个时间步之间都有一个状态“状态”。
    • 图中还展示了这些状态是如何从一个时间步传递到下一个时间步的,表现了RNN的“记忆”特性。
  3. 解读SimpleRNN的工作机制:

    • SimpleRNN在每个时间步都接受一个输入,并产生一个输出。但与一般的神经网络不同,SimpleRNN还维护一个“状态”,这个状态从一个时间步传递到下一个时间步。
    • 这个状态可以被视为网络的“记忆”,它携带了过去的信息,并用于影响当前时间步的计算。
    • 伪代码展示了每个时间步输出和状态的计算方法,这两者都依赖于当前的输入、前一时间步的状态、权重和偏置。
  4. 识别图中的位置:

    • 在图中,“我、爱、祖国”被分别标注在每一个时间步的上方。它们与每个时间步的“计算”模块相连接。
    • “记忆”则被标注在每个时间步的中心,并在时间步之间传递。
  5. 解释它们在SimpleRNN中的角色:

    • “我、爱、祖国”:这些词分别代表每个时间步的输入。在这个例子中,我们可以认为是在处理一个文本序列,即“我 爱 祖国”。在每一个时间步,“计算”模块会接收这些词作为输入。
    • “记忆”:这代表SimpleRNN的内部状态或“隐藏状态”。它会在时间步之间传递,并保存之前时间步的信息。在每一个时间步,“记忆”会被更新,并用于下一个时间步的计算。

所以,答案是“我、爱、祖国”是输入,而“记忆”代表SimpleRNN的内部状态。如果您有其他问题或需要进一步的澄清,请随时告诉我。

简而言之,图片展示了SimpleRNN如何在每个时间步接受输入,并根据前一时间步的“记忆”产生输出的过程。

simpleRNN的局限性

  1. 什么是神经网络和simpleRNN?

    • 神经网络是一种用于数据处理和模式识别的计算模型。它们通常用于诸如图像识别、自然语言处理等任务。
    • simpleRNN(简单循环神经网络)是一种特殊类型的神经网络,用于处理序列数据,比如文本或时间序列数据。
  2. simpleRNN的主要局限性以及简短解释

    • 梯度消失和梯度爆炸问题: 在处理长序列时,simpleRNN很难学习到早期信息的重要性,这主要是因为梯度(即用于更新模型权重的信号)会随时间减小(消失)或增大(爆炸)。

    • 短期记忆: simpleRNN通常只能记住短期的信息,这意味着它不擅长处理具有长期依赖关系的任务。

    • 计算效率: 尽管结构相对简单,但simpleRNN在处理非常长的序列时可能会变得计算密集和低效。

    • 过拟合: 因为模型较简单,所以它容易过拟合,即在训练数据上表现很好,但在未见过的数据上表现差。

这些是简单循环神经网络(simpleRNN)的主要局限性。

LSTM

手写一下sigmoid例子

import numpy as np
import matplotlib.pyplot as plt

x = np.arange(-5.0, 5.0, 0.1)
print(x)
y = 1 / (1 + np.exp(-x))
print(y)
plt.plot(x, y)
plt.show()

NLP之LSTM原理剖析,# 1. 自然语言处理&知识图谱,自然语言处理,lstm,人工智能

支持长记忆的神经网络

NLP之LSTM原理剖析,# 1. 自然语言处理&知识图谱,自然语言处理,lstm,人工智能
NLP之LSTM原理剖析,# 1. 自然语言处理&知识图谱,自然语言处理,lstm,人工智能
解读并给出图片中所示网络结构的流程解释。

  1. 识别图中的关键部分:

    • A: 网络的核心计算单元。
    • X t − 1 X_{t-1} Xt1, X t X_t Xt, X t + 1 X_{t+1} Xt+1: 输入序列中的各个时间步。
    • h t − 1 h_{t-1} ht1, h t h_t ht, h t + 1 h_{t+1} ht+1: 对应时间步的输出或隐藏状态。
    • “tanh”激活函数,加法和乘法运算。
  2. 为每一部分提供描述:

    • A: 它是网络的核心部分,负责进行所有的计算。接收输入和前一个时间步的隐藏状态,输出当前时间步的隐藏状态。
    • X t − 1 X_{t-1} Xt1, X t X_t Xt, X t + 1 X_{t+1} Xt+1: 这些是顺序输入到网络中的数据,分别对应于连续的时间步。
    • h t − 1 h_{t-1} ht1, h t h_t ht, h t + 1 h_{t+1} ht+1: 这些是网络在各个时间步的输出或隐藏状态。它们包含了之前时间步的信息,并在连续的时间步中传递。
    • “tanh”是一种激活函数,用于非线性转换。
  3. 描述整个流程:

    • 开始于时间步t-1,输入 X t − 1 X_{t-1} Xt1和隐藏状态 h t − 2 h_{t-2} ht2被提供给单元A。
    • 在单元A内,进行了乘法、加法和“tanh”激活函数的计算。
    • 输出结果为隐藏状态 h t − 1 h_{t-1} ht1,这个状态同时也是这一时间步的输出,并且会被传递到下一个时间步。
    • 对于时间步t,该过程重复,输入 X t X_t Xt和隐藏状态 h t − 1 h_{t-1} ht1被提供给单元A,输出为 h t h_t ht
    • 同样的流程继续进行,对于时间步t+1,输入为 X t + 1 X_{t+1} Xt+1和隐藏状态 h t h_t ht,输出为 h t + 1 h_{t+1} ht+1

整体而言,这是一个循环神经网络(RNN)的简化表示,用于处理序列数据。每个时间步接收一个输入和前一个时间步的隐藏状态,产生一个输出,并将该输出传递到下一个时间步。

解读3重门

NLP之LSTM原理剖析,# 1. 自然语言处理&知识图谱,自然语言处理,lstm,人工智能
上图中,i=input o=output f=forget

这是一个展示长短时记忆(Long Short-Term Memory, LSTM)网络中某一单元的计算过程的图片。

1. 描述图片的主要部分

  • 图片标题:“三重门机制”。
  • 图中给出了几个公式,描述了LSTM中的输入门(i)、遗忘门(f)和输出门(o)的计算,以及记忆细胞的更新方式。
  • 图片下方展示了LSTM单元中数据流的方向。

2. 解释LSTM的工作原理

  • LSTM设计用于解决梯度消失和梯度爆炸的问题,这在传统的RNN中是一个挑战。
  • LSTM通过三个门(输入门、遗忘门和输出门)和一个记忆细胞来工作,从而实现长期记忆。

3. 根据图片内容提供额外的补充和解读

  • 输入门(i): 控制新输入信息的量。计算公式为 i = sigmoid(wt * xt + ut * ht-1 + b)
  • 遗忘门(f): 决定哪些信息从记忆细胞中被抛弃或遗忘。计算公式为 f = sigmoid(wt * xt + ut * ht-1 + b)
  • 输出门(o): 控制从记忆细胞到隐藏状态的输出信息量。计算公式为 o = sigmoid(wt * xt + ut * ht-1 + b)
  • ˜C:当前输入信息的候选值。计算公式为 ˜C = tanh(wt@xt + ht-1@wh + b)
  • Ct: 更新的记忆细胞。计算公式为 Ct = f * Ct-1 + i * ˜C,表示遗忘门选择遗忘的信息和输入门选择的新信息的结合。
  • ht: 当前的隐藏状态。计算公式为 ht = o * tanh(Ct)

这些门的作用使LSTM能够学习和记住长期的依赖关系,从而在各种序列预测任务中取得了成功。

让我们先逐步解读LSTM的计算过程,然后将其与传统RNN进行比较。

1. LSTM的计算过程

a. 输入:

  • x t xt xt:当前时间步的输入。
  • $ht-1$:前一时间步的隐藏状态。
  • C t − 1 Ct-1 Ct1:前一时间步的记忆细胞。

b. 遗忘门(f):
计算哪些先前的记忆需要被保留或遗忘。
f = s i g m o i d ( w t ∗ x t + u t ∗ h t − 1 + b ) f = sigmoid(wt * xt + ut * ht-1 + b) f=sigmoid(wtxt+utht1+b)

c. 输入门(i)记忆候选值(˜C):
决定更新哪些新的记忆。
i = s i g m o i d ( w t ∗ x t + u t ∗ h t − 1 + b ) i = sigmoid(wt * xt + ut * ht-1 + b) i=sigmoid(wtxt+utht1+b)
˜ C = t a n h ( w t @ x t + h t − 1 @ w h + b ) ˜C = tanh(wt@xt + ht-1@wh + b) ˜C=tanh(wt@xt+ht1@wh+b)

d. 更新记忆细胞(Ct):
结合遗忘门的输出和输入门的输出,更新记忆细胞。
C t = f ∗ C t − 1 + i ∗ ˜ C Ct = f * Ct-1 + i * ˜C Ct=fCt1+i˜C

e. 输出门(o):
计算下一个隐藏状态应该是什么。
o = s i g m o i d ( w t ∗ x t + u t ∗ h t − 1 + b ) o = sigmoid(wt * xt + ut * ht-1 + b) o=sigmoid(wtxt+utht1+b)

f. 计算隐藏状态(ht):
h t = o ∗ t a n h ( C t ) ht = o * tanh(Ct) ht=otanh(Ct)

2. LSTM与传统RNN的区别

a. 记忆细胞与隐藏状态:

  • LSTM: 有一个称为“记忆细胞”的附加状态,它可以存储跨多个时间步的信息。
  • RNN: 只有一个隐藏状态。

b. 门机制:

  • LSTM: 使用三个门(输入、输出和遗忘门)来控制信息的流动。
  • RNN: 没有这些门,信息简单地在每个时间步被传递和变换。

c. 长期依赖:

  • LSTM: 由于其门机制和记忆细胞,LSTM可以处理长期依赖,记住信息超过数百个时间步。
  • RNN: 很难处理长期依赖,因为信息在每个时间步都会逐渐丢失或被稀释。

d. 梯度问题:

  • LSTM: 设计来缓解梯度消失和爆炸问题。
  • RNN: 更容易遭受梯度消失或梯度爆炸问题。

总结: 虽然LSTM和RNN都是递归神经网络的变体,但LSTM通过其门机制和记忆细胞设计,使其能够更好地处理长期依赖,而不受梯度消失或梯度爆炸问题的困扰。

NLP之LSTM原理剖析,# 1. 自然语言处理&知识图谱,自然语言处理,lstm,人工智能

内部结构:
NLP之LSTM原理剖析,# 1. 自然语言处理&知识图谱,自然语言处理,lstm,人工智能

NLP之LSTM原理剖析,# 1. 自然语言处理&知识图谱,自然语言处理,lstm,人工智能文章来源地址https://www.toymoban.com/news/detail-736392.html

到了这里,关于NLP之LSTM原理剖析的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【自然语言处理】自然语言处理 --- NLP入门指南

    NLP的全称是 Natuarl Language Processing ,中文意思是自然语言处理,是人工智能领域的一个重要方向 自然语言处理(NLP)的一个最伟大的方面是跨越多个领域的计算研究,从人工智能到计算语言学的多个计算研究领域都在研究计算机与人类语言之间的相互作用。它主要关注计算机

    2024年02月03日
    浏览(62)
  • 自然语言处理-NLP

    目录 自然语言处理-NLP 致命密码:一场关于语言的较量 自然语言处理的发展历程 兴起时期 符号主义时期 连接主义时期 深度学习时期 自然语言处理技术面临的挑战 语言学角度 同义词问题 情感倾向问题 歧义性问题 对话/篇章等长文本处理问题 探索自然语言理解的本质问题

    2024年02月11日
    浏览(78)
  • NLP(自然语言处理)

     一、NLP是什么 自然语言处理( Natural Language Processing, NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此,这一领域的研究

    2024年02月02日
    浏览(66)
  • 自然语言处理(NLP)

    基础 自然语言处理(NLP) 自然语言处理PaddleNLP-词向量应用展示 自然语言处理(NLP)-前预训练时代的自监督学习 自然语言处理PaddleNLP-预训练语言模型及应用 自然语言处理PaddleNLP-文本语义相似度计算(ERNIE-Gram) 自然语言处理PaddleNLP-词法分析技术及其应用 自然语言处理Pa

    2024年02月08日
    浏览(50)
  • 自然语言处理NLP介绍——NLP简介

    2024年02月15日
    浏览(71)
  • NLP自然语言处理介绍

    自然语言处理(NLP,Natural Language Processing)是一门涉及计算机与人类语言之间交互的学科。它的目标是使计算机能够理解和生成人类语言,从而更好地处理和解析大量的文本数据。NLP不仅是人工智能领域中一个重要的分支,也是当今社会应用广泛的领域之一。 在NLP中,一个基

    2024年01月21日
    浏览(64)
  • 自然语言处理2-NLP

    目录 自然语言处理2-NLP 如何把词转换为向量 如何让向量具有语义信息 在CBOW中 在Skip-gram中 skip-gram比CBOW效果更好 CBOW和Skip-gram的算法实现 Skip-gram的理想实现 Skip-gram的实际实现 在自然语言处理任务中, 词向量(Word Embedding)是表示自然语言里单词的一种方法 ,即把每个词都表

    2024年02月11日
    浏览(66)
  • 自然语言处理(NLP)技术

            自然语言处理技术是一种人工智能技术,它的目标是使计算机能够理解、分析、处理和生成自然语言(人类使用的语言)。NLP技术包括文本分类、情感分析、机器翻译、语音识别、语音合成、信息检索、信息抽取、问答系统等。NLP技术的应用非常广泛,例如智能客

    2024年02月14日
    浏览(55)
  • 聊聊自然语言处理NLP

    自然语言处理(NLP)的正式定义:是一个使用计算机科学、人工智能(AI)和形式语言学概念来分析自然语言的研究领域。不太正式的定义表明:它是一组工具,用于从自然语言源(如web页面和文本文档)获取有意义和有用的信息。 NLP工具的实现一般是基于机器学习与深度学习、其它

    2024年02月14日
    浏览(66)
  • 自然语言处理NLP:一文了解NLP自然语言处理技术,NLP在生活中的应用,图导加深了解,NLP语料库,NLP开源工具

    目录 1.自然语言处理NLP 1.1 NLP中英对照(双份) 1.2 相关文章  2.NLP语料库

    2024年02月09日
    浏览(61)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包