Bert基础(一)--自注意力机制

这篇具有很好参考价值的文章主要介绍了Bert基础(一)--自注意力机制。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

1、简介

当下最先进的深度学习架构之一,Transformer被广泛应用于自然语言处理领域。它不单替代了以前流行的循环神经网络(recurrent neural network, RNN)和长短期记忆(long short-term memory, LSTM)网络,并且以它为基础衍生出了诸如BERT、GPT-3、T5等知名架构。

本文将带领你深入了解Transformer的实现细节及工作原理。本章首先介绍Transformer的基本概念,然后通过一个文本翻译实例进一步讲解Transformer如何将编码器−解码器架构用于语言翻译任务。我们将通过探讨编码器(encoder)的组成部分了解它的工作原理。之后,我们将深入了解解码器(decoder)的组成部分。最后,我们将整合编码器和解码器,进而理解Transformer的整体工作原理。

2、Transformer简介

循环神经网络和长短期记忆网络已经广泛应用于时序任务,比如文本预测、机器翻译、文章生成等。然而,它们面临的一大问题就是如何记录长期依赖。

为了解决这个问题,一个名为Transformer的新架构应运而生。从那以后,Transformer被应用到多个自然语言处理方向,到目前为止还未有新的架构能够将其替代。可以说,它的出现是自然语言处理领域的突破,并为新的革命性架构(BERT、GPT-3、T5等)打下了理论基础。

Transformer完全依赖于注意力机制,并摒弃了循环。它使用的是一种特殊的注意力机制,称为自注意力(self-attention)。我们将在后面介绍具体细节。

让我们通过一个文本翻译实例来了解Transformer是如何工作的。Transformer由编码器和解码器两部分组成。首先,向编码器输入一句话(原句),让其学习这句话的特征[插图],再将特征作为输入传输给解码器。最后,此特征会通过解码器生成输出句(目标句)。

假设我们需要将一个句子从英文翻译为法文。如图所示,首先,我们需要将这个英文句子(原句)输进编码器。编码器将提取英文句子的特征并提供给解码器。最后,解码器通过特征完成法文句子(目标句)的翻译。
Bert基础(一)--自注意力机制,Deep Learing & pytorch,NLP,bert,transformer,人工智能
此方法看起来很简单,但是如何实现呢?Transformer中的编码器和解码器是如何将英文(原句)转换为法文(目标句)的呢?编码器和解码器的内部又是怎样工作的呢?接下来,我们将按照数据处理的顺序,依次讲解编码器和解码器.

2.1 理解编码器

Transformer中的编码器不止一个,而是由一组N 个编码器串联而成。一个编码器的输出作为下一个编码器的输入。在图中有N 个编码器,每一个编码器都从下方接收数据,再输出给上方。以此类推,原句中的特征会由最后一个编码器输出。编码器模块的主要功能就是提取原句中的特征。
Bert基础(一)--自注意力机制,Deep Learing & pytorch,NLP,bert,transformer,人工智能
需要注意的是,在Transformer原论文“Attention Is All You Need”中,作者使用了N = 6,也就是说,一共有6个编码器叠加在一起。当然,我们可以尝试使用不同的N 值。这里为了方便理解,我们使用N=2,如图所示。
Bert基础(一)--自注意力机制,Deep Learing & pytorch,NLP,bert,transformer,人工智能
编码器到底是如何工作的呢?它又是如何提取出原句(输入句)的特征的呢?要进一步理解,我们可以将编码器再次分解。下图展示了编码器的组成部分。
Bert基础(一)--自注意力机制,Deep Learing & pytorch,NLP,bert,transformer,人工智能
从上图中可知,每一个编码器的构造都是相同的,并且包含两个部分:

  • 多头注意力层
  • 前馈网络层

现在我们来学习这两部分是如何工作的。要了解多头注意力机制的工作原理,我们首先需要理解什么是自注意力机制。

2.2 自注意力机制

让我们通过一个例子来快速理解自注意力机制。请看下面的例句:
A dog ate the food because it was hungry(一只狗吃了食物,因为它很饿)

例句中的代词it(它)可以指代dog(狗)或者food(食物)。当读这段文字的时候,我们自然而然地认为it指代的是dog,而不是food。但是当计算机模型在面对这两种选择时该如何决定呢?这时,自注意力机制有助于解决这个问题。

还是以上句为例,我们的模型首先需要计算出单词A的特征值,其次计算dog的特征值,然后计算ate的特征值,以此类推。当计算每个词的特征值时,模型都需要遍历每个词与句子中其他词的关系。模型可以通过词与词之间的关系来更好地理解当前词的意思。

比如,当计算it的特征值时,模型会将it与句子中的其他词一一关联,以便更好地理解它的意思。如下图所示,it的特征值由它本身与句子中其他词的关系计算所得。通过关系连线,模型可以明确知道原句中it所指代的是dog而不是food,这是因为it与dog的关系更紧密,关系连线相较于其他词也更粗。
Bert基础(一)--自注意力机制,Deep Learing & pytorch,NLP,bert,transformer,人工智能
我们已经初步了解了什么是自注意力机制,下面我们将关注它具体是如何实现的。

为简单起见,我们假设输入句(原句)为I am good(我很好)。首先,我们将每个词转化为其对应的词嵌入向量。需要注意的是,嵌入只是词的特征向量,这个特征向量也是需要通过训练获得的。
单词I的词嵌入向量可以用x1来表示,相应地,am为x2,good为x3,即:

  • 单词I的词嵌入向量 x 1 = [ 1.76 , 2.22 , … … , 6.66 ] x_1 = [1.76, 2.22 ,……, 6.66] x1=[1.76,2.22,……,6.66]
  • 单词am的词嵌入向量 x 2 = [ 7.77 , 0.631 , … … , 5.35 ] x_2 = [7.77, 0.631 ,……, 5.35] x2=[7.77,0.631,……,5.35]
  • 单词good的词嵌入向量 x 3 = [ 11.44 , 10.10 , … … , 3.33 ] x_3 = [11.44, 10.10 ,……, 3.33] x3=[11.44,10.10,……,3.33]

这样一来,原句I am good就可以用一个矩阵[插图](输入矩阵或嵌入矩阵)来表示,如下图所示。
Bert基础(一)--自注意力机制,Deep Learing & pytorch,NLP,bert,transformer,人工智能

图1-6中的值为随意设定,只是为了让我们更好地理解其背后的数学原理。

通过输入矩阵X,我们可以看出,矩阵的第一行表示单词I的词嵌入向量。以此类推,第二行对应单词am的词嵌入向量,第三行对应单词good的词嵌入向量。所以矩阵X的维度为[句子的长度×词嵌入向量维度]。原句的长度为3,假设词嵌入向量维度为512,那么输入矩阵的维度就是[3×512]。

现在通过矩阵X,我们再创建三个新的矩阵:查询(query)矩阵Q、键(key)矩阵K,以及值(value)矩阵V。等一下,怎么又多了三个矩阵?为何需要创建它们?接下来,我们将继续了解在自注意力机制中如何使用这三个矩阵。

为了创建查询矩阵、键矩阵和值矩阵,我们需要先创建另外三个权重矩阵,分别为 W Q 、 W K 、 W V W^Q 、W^K、W^V WQWKWV。用矩阵X分别乘以矩阵 W Q 、 W K 、 W V W^Q 、W^K、W^V WQWKWV,就可以依次创建出查询矩阵Q、键矩阵K和值矩阵V。

值得注意的是,权重矩阵 W Q 、 W K 、 W V W^Q 、W^K、W^V WQWKWV的初始值完全是随机的,但最优值则需要通过训练获得。我们取得的权值越优,通过计算所得的查询矩阵、键矩阵和值矩阵也会越精确。

如图所示,将输入矩阵X分别乘以 W Q 、 W K 、 W V W^Q 、W^K、W^V WQWKWV后,我们就可以得出对应的查询矩阵、键矩阵和值矩阵。

Bert基础(一)--自注意力机制,Deep Learing & pytorch,NLP,bert,transformer,人工智能
根据上图,我们可以总结出以下三点。

  • 三个矩阵的第一行 q 1 , k 1 , v 1 q_1,k_1,v_1 q1,k1,v1分别代表单词I的查询向量、键向量和值向量。
  • 三个矩阵的第二行 q 2 , k 2 , v 2 q_2,k_2,v_2 q2,k2,v2分别代表单词am的查询向量、键向量和值向量。
  • 三个矩阵的第三行 q 3 , k 3 , v 3 q_3,k_3,v_3 q3,k3,v3分别代表单词good的查询向量、键向量和值向量。

因为每个向量的维度均为64,所以对应的矩阵维度为[句子长度×64]。因为我们的句子长度为3,所以代入后可得维度为[3×64]。至此,我们还是不明白为什么要计算这些值。该如何使用查询矩阵、键矩阵和值矩阵呢?它们怎样才能用于自注意力模型呢?这些问题将在下面进行解答。

2.3 理解自注意力机制

目前,我们学习了如何计算查询矩阵Q、键矩阵K和值矩阵V,并知道它们是基于输入矩阵X计算而来的。现在,让我们学习查询矩阵、键矩阵和值矩阵如何应用于自注意力机制。

要计算一个词的特征值,自注意力机制会使该词与给定句子中的所有词联系起来。还是以I am good这句话为例。为了计算单词I的特征值,我们将单词I与句子中的所有单词一一关联,如图所示。
Bert基础(一)--自注意力机制,Deep Learing & pytorch,NLP,bert,transformer,人工智能
了解一个词与句子中所有词的相关程度有助于更精确地计算特征值。现在,让我们学习自注意力机制如何利用查询矩阵、键矩阵和值矩阵将一个词与句子中的所有词联系起来。自注意力机制包括4个步骤,我们来逐一学习。

第1步

自注意力机制首先要计算查询矩阵Q与键矩阵V的点积,两个矩阵如图所示。
Bert基础(一)--自注意力机制,Deep Learing & pytorch,NLP,bert,transformer,人工智能
下图显示了查询矩阵Q与键矩阵 K T K^T KT的点积结果
Bert基础(一)--自注意力机制,Deep Learing & pytorch,NLP,bert,transformer,人工智能
但为何需要计算查询矩阵与键矩阵的点积呢? Q ⋅ K T Q · K^T QKT到底是什么意思?下面,我们将通过细看 Q ⋅ K T Q · K^T QKT的结果来理解以上问题。

首先,来看[插图]矩阵的第一行,如下图所示。可以看到,这一行计算的是查询向量 q 1 q_1 q1(I)与所有的键向量 k 1 k_1 k1(I)、 k 2 k_2 k2(am)和 k 3 ( g o o d ) k_3(good) k3(good)的点积。通过计算两个向量的点积可以知道它们之间的相似度。

因此,通过计算查询向量( q 1 q_1 q1)和键向量( k 1 , k 2 , k 3 k_1, k_2, k_3 k1,k2,k3)的点积,可以了解单词I与句子中的所有单词的相似度。我们了解到,I这个词与自己的关系比与am和good这两个词的关系更紧密,因为点积值 q 1 ⋅ k 1 q_1·k_1 q1k1大于 q 1 ⋅ k 2 q_1·k_2 q1k2 q 1 ⋅ k 3 q_1·k_3 q1k3
Bert基础(一)--自注意力机制,Deep Learing & pytorch,NLP,bert,transformer,人工智能

注意,这里使用的数值是任意选择的,只是为了让我们更好地理解背后的数学原理。

现在来看 Q ⋅ K T Q · K^T QKT矩阵的第二行,如下图所示。现在需要计算查询向量 q 2 q_2 q2(am)与所有的键向量 k 1 k_1 k1(I)、 k 2 k_2 k2(am)和 k 3 ( g o o d ) k_3(good) k3(good)的点积。这样一来,我们就可以知道am与句中所有词的相似度。通过查看 Q ⋅ K T Q · K^T QKT矩阵的第二行可以知道,单词am与自己的关系最为密切,因为点积值最大。

Bert基础(一)--自注意力机制,Deep Learing & pytorch,NLP,bert,transformer,人工智能
同理,来看 Q ⋅ K T Q · K^T QKT矩阵的第三行。如下图所示,计算查询向量 q 3 q_3 q3(good)与所有键向量 k 1 k_1 k1(I)、 k 2 k_2 k2(am)和 k 3 ( g o o d ) k_3(good) k3(good)的点积。
从结果可知,good与自己的关系更密切,因为点积值 q 3 ⋅ k 3 q_3·k_3 q3k3大于 q 3 ⋅ k 1 q_3·k_1 q3k1 q 3 ⋅ k 2 q_3·k_2 q3k2

Bert基础(一)--自注意力机制,Deep Learing & pytorch,NLP,bert,transformer,人工智能
综上所述,计算查询矩阵Q与键矩阵 K V K^V KV的点积,从而得到相似度分数。这有助于我们了解句子中每个词与所有其他词的相似度。

第2步

自注意力机制的第2步是将 Q ⋅ K T Q · K^T QKT矩阵除以键向量维度的平方根。这样做的目的主要是获得稳定的梯度。

我们用 d k d_k dk来表示键向量维度。然后,将 Q ⋅ K T Q · K^T QKT除以 d k \sqrt{d_k} dk 。在本例中,键向量维度是64。取64的平方根,我们得到8。将第1步中算出的 Q ⋅ K T Q · K^T QKT除以8,如下图所示。

Bert基础(一)--自注意力机制,Deep Learing & pytorch,NLP,bert,transformer,人工智能

第3步

目前所得的相似度分数尚未被归一化,我们需要使用softmax函数对其进行归一化处理。如下图所示,应用softmax函数将使数值分布在0到1的范围内,且每一行的所有数之和等于1。

Bert基础(一)--自注意力机制,Deep Learing & pytorch,NLP,bert,transformer,人工智能
我们将上图中的矩阵称为分数矩阵。通过这些分数,我们可以了解句子中的每个词与所有词的相关程度。以图中的分数矩阵的第一行为例,它告诉我们,I这个词与它本身的相关程度是90%,与am这个词的相关程度是7%,与good这个词的相关程度是3%。

第4步

至此,我们计算了查询矩阵与键矩阵的点积,得到了分数,然后用softmax函数将分数归一化。自注意力机制的最后一步是计算注意力矩阵Z。注意力矩阵包含句子中每个单词的注意力值。它可以通过将分数矩阵softmax ( Q ⋅ K T / d k Q · K^T/\sqrt{d_k} QKT/dk )乘以值矩阵V得出,如图所示。
Bert基础(一)--自注意力机制,Deep Learing & pytorch,NLP,bert,transformer,人工智能
假设计算结果如下图所示。
Bert基础(一)--自注意力机制,Deep Learing & pytorch,NLP,bert,transformer,人工智能注意力矩阵Z就是值向量与分数加权之后求和所得到的结果。让我们逐行理解这个计算过程。首先,第一行 z 1 z_1 z1对应I这个词的自注意力值,它通过下图所示的方法计算所得。
Bert基础(一)--自注意力机制,Deep Learing & pytorch,NLP,bert,transformer,人工智能
从上图中可以看出,单词I的自注意力值 z 1 z_1 z1是分数加权的值向量之和。所以, z 1 z_1 z1的值将包含90%的值向量 v 1 v_1 v1(I)、7%的值向量 v 2 v_2 v2(am),以及3%的值向量 v 3 v_3 v3(good)。

这有什么用呢?为了回答这个问题,让我们回过头去看之前的例句:A dog ate the food because it was hungry(一只狗吃了食物,因为它很饿)。在这里,it这个词表示dog。我们将按照前面的步骤来计算it这个词的自注意力值。假设计算过程如图所示。
Bert基础(一)--自注意力机制,Deep Learing & pytorch,NLP,bert,transformer,人工智能
从图中可以看出,it这个词的自注意力值包含100%的值向量 v 2 v_2 v2(dog)。这有助于模型理解it这个词实际上指的是dog而不是food。这也再次说明,通过自注意力机制,我们可以了解一个词与句子中所有词的相关程度。回到I am good这个例子,单词am的自注意力值 v 2 v_2 v2也是分数加权的值向量之和,如图所示。
Bert基础(一)--自注意力机制,Deep Learing & pytorch,NLP,bert,transformer,人工智能
从上图中可以看出, z 2 z_2 z2的值包含2.5%的值向量 v 1 v_1 v1(I)、95%的值向量 v 2 v_2 v2(am),以及2.5%的值向量 v 3 v_3 v3(good)。

同样,单词good的自注意力值 z 3 z_3 z3也是分数加权的值向量之和,如图所示。
Bert基础(一)--自注意力机制,Deep Learing & pytorch,NLP,bert,transformer,人工智能
可见, z 3 z_3 z3的值包含21%的值向量 v 1 v_1 v1(I)、3%的值向量 v 2 v_2 v2(am),以及76%的值向量 v 3 v_3 v3(good)。

综上所述,注意力矩阵Z由句子中所有单词的自注意力值组成,它的计算公式如下。

Z = s o f t m a x ( Q ⋅ K T d k ) V Z = softmax(\frac{Q·K^T}{\sqrt{d_k}})V Z=softmax(dk QKT)V

现将自注意力机制的计算步骤总结如下:
(1) 计算查询矩阵与键矩阵的点积 Q ⋅ K T Q·K^T QKT,求得相似值,称为分数;
(2) 将[插图]除以键向量维度的平方根 d k \sqrt{d_k} dk
(3) 用softmax函数对分数进行归一化处理,得到分数矩阵 s o f t m a x ( Q ⋅ K T d k ) softmax(\frac{Q·K^T}{\sqrt{d_k}}) softmax(dk QKT)
(4) 通过将分数矩阵与值矩阵 V V V相乘,计算出注意力矩阵 Z Z Z
自注意力机制的计算流程图如图所示。

Bert基础(一)--自注意力机制,Deep Learing & pytorch,NLP,bert,transformer,人工智能
自注意力机制也被称为缩放点积注意力机制,这是因为其计算过程是先求查询矩阵与键矩阵的点积,再用 d k \sqrt{d_k} dk 对结果进行缩放。

我们已经了解了自注意力机制的工作原理。在下节中,我们将了解多头注意力层。文章来源地址https://www.toymoban.com/news/detail-831348.html

到了这里,关于Bert基础(一)--自注意力机制的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【Transformer系列(2)】注意力机制、自注意力机制、多头注意力机制、通道注意力机制、空间注意力机制超详细讲解

    注意力机制一直是一个比较热的话题,其实在很早之前就提出了,我们在学习图像分类时在SENet就见到过(直通车:经典神经网络论文超详细解读(七)——SENet(注意力机制)学习笔记(翻译+精读+代码复现))自从谷歌发表了《Attention Is All You Need》这篇论文后,注意力

    2024年02月06日
    浏览(63)
  • 自注意力机制与注意力机制

    基本内容理解的话推荐看一下这篇博客Transformer:注意力机制(attention)和自注意力机制(self-attention)的学习总结,这个博主讲的很细致,比较容易理解。 这里借用一下上述博客的总结: 注意力可以分为两种方式分别是 自主提示 和 非自主提示 。其中非自主提示是键,自主

    2023年04月08日
    浏览(43)
  • 注意力机制详解系列(三):空间注意力机制

    👨‍💻 作者简介: 大数据专业硕士在读,CSDN人工智能领域博客专家,阿里云专家博主,专注大数据与人工智能知识分享。 🎉 专栏推荐: 目前在写CV方向专栏,更新不限于目标检测、OCR、图像分类、图像分割等方向,目前活动仅19.9,虽然付费但会长期更新,感兴趣的小伙

    2024年02月02日
    浏览(42)
  • 注意力机制详解系列(一):注意力机制概述

    👨‍💻 作者简介: 大数据专业硕士在读,CSDN人工智能领域博客专家,阿里云专家博主,专注大数据与人工智能知识分享。 公众号: GoAI的学习小屋,免费分享书籍、简历、导图等资料,更有交流群分享AI和大数据,加群方式公众号回复“加群”或➡️点击链接。 🎉 专栏推

    2024年01月25日
    浏览(42)
  • 什么是注意力机制?注意力机制的计算规则

    我们观察事物时,之所以能够快速判断一种事物(当然允许判断是错误的),是因为我们大脑能够很快把注意力放在事物最具有辨识度的部分从而作出判断,而并非是从头到尾的观察一遍事物后,才能有判断结果,正是基于这样的理论,就产生了注意力机制。 它需要三个指定的

    2024年02月14日
    浏览(41)
  • 注意力机制(四):多头注意力

    专栏:神经网络复现目录 注意力机制(Attention Mechanism)是一种人工智能技术,它可以让神经网络在处理序列数据时,专注于关键信息的部分,同时忽略不重要的部分。在自然语言处理、计算机视觉、语音识别等领域,注意力机制已经得到了广泛的应用。 注意力机制的主要思

    2024年02月06日
    浏览(45)
  • 大白话分析注意力机制和空间和通道注意力机制

    深度学习小白,个人理解,有错误请友友们纠正QAQ 官方解释:注意力机制(Attention Mechanism)源于对人类视觉的研究。在认知科学中,由于信息处理的瓶颈,人类会选择性地关注所有信息的一部分,同时忽略其他可见的信息。上述机制通常被称为注意力机制。 假设你正在准备

    2024年04月17日
    浏览(41)
  • 【深度学习注意力机制系列】—— SKNet注意力机制(附pytorch实现)

    SKNet(Selective Kernel Network) 是一种用于图像分类和目标检测任务的深度神经网络架构,其核心创新是 引入了选择性的多尺度卷积核(Selective Kernel)以及一种新颖的注意力机制 ,从而在不增加网络复杂性的情况下提升了特征提取的能力。SKNet的设计旨在 解决多尺度信息融合的

    2024年02月13日
    浏览(48)
  • 【深度学习注意力机制系列】—— ECANet注意力机制(附pytorch实现)

    ECANet(Efficient Channel Attention Network) 是一种 用于图像处理任务的神经网络架构,它在保持高效性的同时,有效地捕捉图像中的通道间关系,从而提升了特征表示的能力 。ECANet通过引入通道注意力机制,以及在卷积层中嵌入该机制,取得了优越的性能。本文将对ECANet的核心思

    2024年02月13日
    浏览(43)
  • 【深度学习注意力机制系列】—— SCSE注意力机制(附pytorch实现)

    SCSE注意力模块 (来自论文[1803.02579] Concurrent Spatial and Channel Squeeze Excitation in Fully Convolutional Networks (arxiv.org))。其对SE注意力模块进行了改进,提出了 cSE、sSE、scSE 三个模块变体,这些模块可以 增强有意义的特征,抑制无用特征 。今天我们就分别讲解一下这三个注意力模块。

    2024年02月13日
    浏览(53)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包