NLP——Translation 机器翻译

这篇具有很好参考价值的文章主要介绍了NLP——Translation 机器翻译。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

为什么翻译任务困难

NLP——Translation 机器翻译
NLP——Translation 机器翻译

Statistical Machine Translation

NLP——Translation 机器翻译
基于统计的机器翻译任务通常通过翻译模型(Translation Model)和语言模型(Language Model)的结合来学习更强大的翻译模型。这种结合被称为统计机器翻译(SMT)。

  • 翻译模型(Translation Model):翻译模型主要关注如何将源语言句子翻译成目标语言句子。它使用双语语料库进行训练,学习源语言和目标语言之间的翻译概率。基于短语的翻译模型是SMT中常用的模型之一,它将源语言和目标语言的句子划分为短语,并建立短语对之间的翻译概率。基于句法的翻译模型则利用语法结构信息来进行翻译。

  • 语言模型(Language Model):语言模型主要关注目标语言句子的流畅性和合理性。它利用目标语言的单语语料库,学习目标语言中句子的概率分布。语言模型可以帮助翻译模型选择更合理的翻译候选,提高翻译的质量。

在SMT中,翻译模型和语言模型的结合通过联合概率来进行建模。给定一个源语言句子,翻译模型计算源语言句子到目标语言句子的翻译概率,语言模型计算目标语言句子的概率,然后将两者结合起来,得到最终的翻译结果。 通常使用最大似然估计或最大后验概率估计来训练这些模型参数。
NLP——Translation 机器翻译
NLP——Translation 机器翻译
NLP——Translation 机器翻译
NLP——Translation 机器翻译

  • 那么如何从 corpora 中学习 P ( f ∣ e ) P(f|e) P(fe) 呢?
    NLP——Translation 机器翻译
    • 这些给定的 sentence pair 并没有进行对齐

Alignment 对齐

NLP——Translation 机器翻译

  • 并行语料库(Parallel Corpora):并行语料库是指在源语言和目标语言之间具有对应关系的句子或短语集合。这种语料库通常是由人工翻译或对齐得到的,是进行机器翻译的理想数据。通过使用已有的并行语料库,可以直接将源语言和目标语言之间的句子或短语进行对齐。

  • 基于词对齐(Word Alignment):基于词对齐的方法尝试将源语言和目标语言中的单词进行对应,以实现句子或短语的对齐。常见的词对齐算法包括IBM模型和统计短语对齐模型。这些模型使用统计方法来学习源语言和目标语言之间的单词对齐概率,从而实现对齐。

  • 基于短语对齐(Phrase Alignment):基于短语对齐的方法将源语言和目标语言的短语进行对应,以实现句子或段落级别的对齐。常见的基于短语对齐的方法包括IBM模型和统计短语对齐模型。这些模型基于统计和概率模型,利用双语语料库来学习源语言和目标语言之间的短语对齐概率。

  • 基于句法对齐(Syntax-based Alignment):基于句法对齐的方法尝试利用源语言和目标语言之间的句法结构进行对齐。这种方法通常使用句法分析工具来分析源语言和目标语言的句法结构,并基于句法结构之间的对应关系来进行对齐。

  • 基于神经网络的对齐方法:近年来,随着神经网络的发展,基于神经网络的方法在对齐任务中取得了一些进展。这些方法使用神经网络模型来学习源语言和目标语言之间的对应关系,可以使用注意力机制或编码器-解码器模型来实现对齐。

在对齐的时候可能出现下述情况:
NLP——Translation 机器翻译NLP——Translation 机器翻译
NLP——Translation 机器翻译
NLP——Translation 机器翻译

summary

NLP——Translation 机器翻译

Neural Machine Translation

NLP——Translation 机器翻译
编码器-解码器结构: 基于神经网络的翻译模型通常采用编码器-解码器结构。编码器负责将源语言句子编码为一个固定长度的向量(语义表示),解码器则使用该向量生成目标语言的翻译结果。 编码器和解码器通常使用循环神经网络(RNN)或Transformer等模型来建模上下文和序列信息。

NLP——Translation 机器翻译

  • 首先使用一个 encoder 将信息编码成一个 hidden vector 你可以认为这个 vector 包含了原句子的所有语义信息

  • 构建一个 decoder 网络对这个 hidden vector 进行解码
    NLP——Translation 机器翻译

  • 负责进行 decoder 的模型可以被称为 conditional language model

  • 条件语言模型(Conditional Language Model)是一种语言模型的变体,它在生成文本时不仅仅考虑上下文,还考虑一个给定的条件。

  • 传统的语言模型(如n-gram模型)是基于给定前面的 n-1个词来预测下一个词的概率分布。而条件语言模型引入了额外的条件信息,使得生成的文本能够与条件相关。条件可以是多样的,例如上下文句子、特定的主题或指定的输入。

    NLP——Translation 机器翻译

如何训练 Neural MT

NLP——Translation 机器翻译

  • 依然需要平行的数据集
  • 按照训练语言模型的方式来训练

loss 设定

  • 在解码的时候,我们可以根据每个时间步的输出与 label 之间的差距来计算每一步的损失,然后得到 decoder 端的总损失
    NLP——Translation 机器翻译

Training

NLP——Translation 机器翻译

  • 训练的过程非常简单,因为我们有 target sentence,按部就班执行即可

decoding at Test Time

  • 但是在进行 evaluation 的时候,由于没有 target sentence,所以情况有些复杂
    NLP——Translation 机器翻译
  • 因此在预测的时候,我们只能按照更高的概率值来确定每一个时间步的输出
    NLP——Translation 机器翻译
  • 这种贪婪的算法会导致一个问题 exposure bias

Exposure Bias

自我评估偏差(Exposure Bias):训练过程中,神经网络模型是通过自回归方式生成目标语言句子的,即每个时间步都使用了前面生成的词作为输入。 然而,在评估阶段,模型必须依赖先前生成的词来生成后续的词,这导致了自我评估偏差。自我评估偏差会使得在训练过程中模型与评估过程中的生成结果之间存在差距,当解码器依赖于之前生成的词来生成下一个词时,模型的错误可能会逐渐累积并导致不准确的生成。 即使模型在训练阶段能够很好地利用真实目标词进行预测,但在推断阶段却不能保证同样的质量。

NLP——Translation 机器翻译

  • 这个问题出现的一个重要原因在于:模型在解码的时候采用了 greedy 的方式
  • 要解决这个问题可以采用从全局角度更好的 decoding 方法

Exhaustive Search Decoding

NLP——Translation 机器翻译

  • 但是穷举法在实现上显然不可接受
  • 假设一个句子的长度是 n,那么解码过程中需要考虑的复杂度是 O ( V n ) O(V^n) O(Vn) 其中 V V V 是词表的规模

Beam Search Decoding

NLP——Translation 机器翻译
在序列生成任务中,神经网络模型生成一个输出序列,例如目标语言句子。Beam Search Decoding通过在每个时间步保留前k个最有可能的候选序列,逐步扩展和搜索最优序列

  • k=1 的时候就是贪婪算法
  • k=V 的时候就是穷举法

下面是一个实例展示:

NLP——Translation 机器翻译

  • 假设我们的模型已经完成了训练,现在是在 evaluation 的 decoding 阶段

  • 首先在第一个时间步,cowtigerlogits 值分别如图所示

  • 第二个时间步,我们会将 cowtiger 分别计算,当他们作为第一步解码结果的时候,后面的概率值
    NLP——Translation 机器翻译

  • 我们会在第二个时间步结束的时候来选择概率最高的 k 条路径作为全局的最优解码结果,因为这里 k=2 因此我们只选择 cow eatstiger bites 来进行后续的 decoding 任务

  • 同样的过程重复:
    NLP——Translation 机器翻译

  • 在第三步的时候,cow eats grasscow eats carrot 成为两个最高的路径

  • 接下来继续生成:
    NLP——Translation 机器翻译

  • 直到遇到了 <end> 符号,生成过程结束,最终的 decoding 结果选最高的

什么时候解码停止

  • 生成 end 的时候
  • 或者设置最大的生成数量
    NLP——Translation 机器翻译

summary

NLP——Translation 机器翻译

Attention Mechanism

NLP——Translation 机器翻译

  • 由于 rnn 这里模型构成的 encoder 最终编码的这个 vector 的质量并不特别好(比较长距离的关系捕捉不太好)
  • 而编码段的质量直接影响了解码端的结果,因此我们讲这种现象称为 information bottleneck 信息瓶颈
  • 因此通过 attention mechanism 来解决这个问题

attention

NLP——Translation 机器翻译
注意力机制通过动态地对编码器的隐藏状态进行加权汇总,为解码器提供更全面的上下文信息, 从而解决了这个问题。它允许解码器在生成每个目标语言词时,根据输入序列的不同部分进行自适应地关注。

以下是使用注意力机制的编码器-解码器结构的基本步骤:

  • 编码器:将输入序列(源语言句子)通过编码器的循环神经网络(RNN)或Transformer 等模型进行编码,得到一系列的隐藏状态。

  • 注意力计算:在解码器的每个时间步,根据解码器当前的隐藏状态和编码器的隐藏状态,计算注意力权重。这个注意力权重表示解码器对于编码器各个隐藏状态的关注程度。

  • 上下文向量:使用注意力权重对编码器的隐藏状态进行加权汇总,得到一个上下文向量。该上下文向量包含了根据注意力权重对编码器隐藏状态进行加权后的综合信息。

  • 解码器生成:将上下文向量与解码器当前的输入(通常是之前生成的目标语言词)一起输入解码器,生成下一个目标语言词的概率分布。

重复步骤2到步骤4,直到生成完整的目标语言序列。

通过注意力机制,解码器可以根据输入序列的不同部分进行自适应地关注,从而更好地捕捉输入序列的相关信息。注意力机制在翻译任务中的应用可以改善翻译的质量和处理长距离依赖关系的能力。

NLP——Translation 机器翻译
NLP——Translation 机器翻译
NLP——Translation 机器翻译

  • 通过 attention 进行解码的核心步骤就是,将 decoding 中每个时间步的 hidden stateencoding 端的每一个时间步的 hidden state 进行相似度计算并加权得到一个动态的向量用于解码(代替了最初版本的只在最后一个时间步生成一个 vector 的方式)
    NLP——Translation 机器翻译

attention summary

NLP——Translation 机器翻译

Evaluation

BLEU(Bilingual Evaluation Understudy):BLEU是一种常用的自动评估指标,用于衡量机器翻译结果与参考翻译之间的相似程度。它通过比较候选翻译与多个参考翻译之间的n-gram重叠来计算得分。
NLP——Translation 机器翻译文章来源地址https://www.toymoban.com/news/detail-492389.html

到了这里,关于NLP——Translation 机器翻译的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 机器学习&&深度学习——机器翻译(序列生成策略)

    👨‍🎓作者简介:一位即将上大四,正专攻机器学习的保研er 🌌上期文章:机器学习深度学习——seq2seq实现机器翻译(详细实现与原理推导) 📚订阅专栏:机器学习深度学习 希望文章对你们有所帮助 上一节已经实现了机器翻译的模型训练和预测,逐个预测输出序列, 直

    2024年02月12日
    浏览(42)
  • 【如何训练一个中英翻译模型】LSTM机器翻译模型部署(三)

    【如何训练一个中英翻译模型】LSTM机器翻译seq2seq字符编码(一) 【如何训练一个中英翻译模型】LSTM机器翻译模型训练与保存(二) 【如何训练一个中英翻译模型】LSTM机器翻译模型部署(三) 【如何训练一个中英翻译模型】LSTM机器翻译模型部署之onnx(python)(四) 模型部

    2024年02月15日
    浏览(40)
  • OJ# 376 机器翻译

    题目描述 ​ 小李的电脑上安装了一个机器翻译软件,他经常用这个软件来翻译英语文章。 ​这个翻译软件的原理很简单,它只是从头到尾,依次将每个英文单词用对应的中文含义来替换。对于每个英文单词,软件会先在内存中查找这个单词的中文含义, 如果内存中有,软件

    2024年02月11日
    浏览(246)
  • 【如何训练一个中英翻译模型】LSTM机器翻译模型训练与保存(二)

    【如何训练一个中英翻译模型】LSTM机器翻译seq2seq字符编码(一) 【如何训练一个中英翻译模型】LSTM机器翻译模型训练与保存(二) 【如何训练一个中英翻译模型】LSTM机器翻译模型部署(三) 【如何训练一个中英翻译模型】LSTM机器翻译模型部署之onnx(python)(四) 基于

    2024年02月15日
    浏览(39)
  • 【如何训练一个中英翻译模型】LSTM机器翻译模型部署之onnx(python)(四)

    系列文章 【如何训练一个中英翻译模型】LSTM机器翻译seq2seq字符编码(一) 【如何训练一个中英翻译模型】LSTM机器翻译模型训练与保存(二) 【如何训练一个中英翻译模型】LSTM机器翻译模型部署(三) 【如何训练一个中英翻译模型】LSTM机器翻译模型部署之onnx(python)(四

    2024年02月15日
    浏览(38)
  • 【如何训练一个中英翻译模型】LSTM机器翻译模型部署之ncnn(python)(五)

    系列文章 【如何训练一个中英翻译模型】LSTM机器翻译seq2seq字符编码(一) 【如何训练一个中英翻译模型】LSTM机器翻译模型训练与保存(二) 【如何训练一个中英翻译模型】LSTM机器翻译模型部署(三) 【如何训练一个中英翻译模型】LSTM机器翻译模型部署之onnx(python)(四

    2024年02月15日
    浏览(61)
  • 【动手学深度学习】--机器翻译与数据集

    学习视频:机器翻译数据集【动手学深度学习v2】 官方笔记:机器翻译与数据集 机器翻译 (machine translation)指的是 将序列从一种语言自动翻译成另一种语言。 事实上,这个研究领域可以追溯到数字计算机发明后不久的20世纪40年代, 特别是在第二次世界大战中使用计算机破

    2024年02月09日
    浏览(41)
  • 人工智能-机器翻译:技术发展与代码实战

    在本文中,我们深入探讨了机器翻译的历史、核心技术、特别是神经机器翻译(NMT)的发展,分析了模型的优化、挑战及其在不同领域的应用案例。同时,我们还提出了对未来机器翻译技术发展的展望和潜在的社会影响。 关注TechLead,分享AI全维度知识。作者拥有10+年互联网

    2024年02月05日
    浏览(43)
  • Transformer(四)--实现验证:transformer 机器翻译实践

    转载请注明出处:https://blog.csdn.net/nocml/article/details/125711025 本系列传送门: Transformer(一)–论文翻译:Attention Is All You Need 中文版 Transformer(二)–论文理解:transformer 结构详解 Transformer(三)–论文实现:transformer pytorch 代码实现 Transformer(四)–实现验证:transformer 机器翻译实践

    2024年02月11日
    浏览(264)
  • 机器翻译的大数据挑战:数据清洗与处理

    机器翻译是人工智能领域的一个重要研究方向,其目标是让计算机能够自动地将一种自然语言翻译成另一种自然语言。随着大数据时代的到来,机器翻译面临着巨大的数据挑战。这篇文章将从数据清洗和处理的角度探讨机器翻译的大数据挑战。 机器翻译具有广泛的应用,例如

    2024年04月15日
    浏览(56)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包