1. Toy模板网首页
  2. > Toy博客

深度学习——Transformer的理解整理

5月前 作者：William.csj 分类：Toy博客 阅读(29) 违法举报

这篇具有很好参考价值的文章主要介绍了深度学习——Transformer的理解整理。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

一、答主1

机器翻译

transformer刚被提出的时候就是被用于处理机器翻译的。在transformer架构中的不同位置Q，K，V指代的变量是不一样的。
假设现在处理的是英文->德文的翻译任务。

  • 在encoder的输入端，这里执行的是self-attention，Q、K、V 都是指代英文的embedding。
  • 在decoder的输入端，这里执行的是masked self-attention，Q、K、V 都是指代德文的embedding。
  • 在encoder的输出端和decoder的某个layer的输出进行交互的时候，也就是执行cross-attention的时候，Q指代的是德文的embedding，K、V指代英文的embedding。

车道线检测

在CLRNet中也用到了transformer的结构，这里的QKV就可以指代不同的东西了。Q指代了车道线的特征，K、V指代的是图像的feature map，来计算车道线特征对图像全局特征的注意力情况。

目标检测

用DETR做检测，Q就指代了object query，它是模型权重的一部分，也就是可学习的参数。K、V同样指代了图像的feature map。

从以上3个不同的任务可以更加直观的去理解Q、K、V根据不同任务，指代的物理量是不一样的，也可以更加深入的去理解它的计算过程，和其背后的注意力机制的思想。所以Q这个变量一般同具体的任务有关，而K、V两个变量是Q想要关注的物理量。transformer这种结构能够在不同领域都能使用，可见它的通用性。

二、答主2

问题搜答案

你有一个问题Q，然后去搜索引擎里面搜，搜索引擎里面有好多文章，每个文章V有一个能代表其正文内容的标题K，然后搜索引擎用你的问题Q和那些文章V的标题K进行一个匹配，看看相关度（QK —>attention值），然后你想用这些检索到的不同相关度的文章V来表示你的问题，就用这些相关度将检索的文章V做一个加权和，那么你就得到了一个新的Q’，这个Q’融合了相关性强的文章V更多信息，而融合了相关性弱的文章V较少的信息。这就是注意力机制，注意力度不同，重点关注（权值大）与你想要的东西相关性强的部分，稍微关注（权值小）相关性弱的部分。

三、答主3

查字典

假想你有一个map/dict或者其他名字，一个key对应一个value，在检索的时候，给定query，如果query in map，就是query等于其中一个key，就返回对应的value。这个方法太hard了，有就是有，没有就是没有。对于qkv都是向量的情况，这种方法不可行，只能让它变soft，那就是算一算query和key的关系，按照比例对value加和，这和max变成softmax有异曲同工之妙。

可能更类似于插值，比如你去爬山，半山腰想知道自己的海拔，周围有远有近有高有低好几个海拔参考点，你通过它们来估计自己的海拔，当然是越近越有参考作用，也就是注意力系数越大。要是估算错了怎么办？幸好你爬到山顶有真实海拔，估算错误就修正，顺便把之前你参考的那些值也修正了。爬山的人越多，修正的次数越多，那些参考值越准确。文章来源地址https://www.toymoban.com/news/detail-860573.html

四、答主4

  • 查询（Q）：代表我们想要理解的词（例如，“machines”）的向量表示。
  • 键（K）：代表句子中所有词（包括“Thinking”和“machines”）的向量表示，用于与Q进行比较。
  • 值（V）：同样代表句子中所有词的向量表示，但是当计算出Q和K的相似度后，将用于加权求和，生成输出。

五、简易代码实现

  • https://github.com/karpathy/makemore

参考文章

  1. 知乎讨论——transformer中的Q,K,V到底是什么？
  2. 一系列文章：ChatGPT背后强大而神秘的力量：用最简单的语言讲解Transformer架构之概览
  3. 外国人专业文章讲解
  4. 图解 transformer——注意力计算原理
  5. Transformer 01：自注意力机制Q，K，V详解

到了这里，关于深度学习——Transformer的理解整理的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处： 如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：
领支付宝红包 赞助服务器费用

相关文章

  • 深入理解深度学习——GPT（Generative Pre-Trained Transformer）：基础知识

    深入理解深度学习——GPT（Generative Pre-Trained Transformer）：基础知识

    分类目录：《深入理解深度学习》总目录 相关文章： · GPT（Generative Pre-Trained Transformer）：基础知识 · GPT（Generative Pre-Trained Transformer）：在不同任务中使用GPT · GPT（Generative Pre-Trained Transformer）：GPT-2与Zero-shot Learning · GPT（Generative Pre-Trained Transformer）：GPT-3与Few-shot Learning

    2024年02月10日
    浏览(47)
  • 深入理解深度学习——BERT派生模型：T5（Text to Text Transfer Transformer）

    深入理解深度学习——BERT派生模型：T5（Text to Text Transfer Transformer）

    分类目录：《深入理解深度学习》总目录 T5的全称为Text to Text Transfer Transformer，是谷歌提出的预训练语言模型领域的通用模型，该模型将所有自然语言问题都转化成文本到文本的形式，并用一个统一的模型解决。为了得到大一统的高质量预训练语言模型，T5不可避免地走上了

    2024年02月10日
    浏览(31)
  • 深入理解深度学习——Transformer：解码器（Decoder）的多头注意力层（Multi-headAttention）

    深入理解深度学习——Transformer：解码器（Decoder）的多头注意力层（Multi-headAttention）

    分类目录：《深入理解深度学习》总目录 相关文章： ·注意力机制（Attention Mechanism）：基础知识 ·注意力机制（Attention Mechanism）：注意力汇聚与Nadaraya-Watson核回归 ·注意力机制（Attention Mechanism）：注意力评分函数（Attention Scoring Function） ·注意力机制（Attention Mechanism）：

    2024年02月09日
    浏览(31)
  • 深入理解深度学习——GPT（Generative Pre-Trained Transformer）：在不同任务中使用GPT

    深入理解深度学习——GPT（Generative Pre-Trained Transformer）：在不同任务中使用GPT

    分类目录：《自然语言处理从入门到应用》总目录 相关文章： · GPT（Generative Pre-Trained Transformer）：基础知识 · GPT（Generative Pre-Trained Transformer）：在不同任务中使用GPT · GPT（Generative Pre-Trained Transformer）：GPT-2与Zero-shot Learning · GPT（Generative Pre-Trained Transformer）：GPT-3与Few-s

    2024年02月10日
    浏览(35)
  • 深入理解深度学习——GPT（Generative Pre-Trained Transformer）：GPT-2与Zero-shot Learning

    深入理解深度学习——GPT（Generative Pre-Trained Transformer）：GPT-2与Zero-shot Learning

    分类目录：《深入理解深度学习》总目录 相关文章： · GPT（Generative Pre-Trained Transformer）：基础知识 · GPT（Generative Pre-Trained Transformer）：在不同任务中使用GPT · GPT（Generative Pre-Trained Transformer）：GPT-2与Zero-shot Learning · GPT（Generative Pre-Trained Transformer）：GPT-3与Few-shot Learning

    2024年02月10日
    浏览(34)
  • 深入理解深度学习——GPT（Generative Pre-Trained Transformer）：GPT-3与Few-shot Learning

    深入理解深度学习——GPT（Generative Pre-Trained Transformer）：GPT-3与Few-shot Learning

    分类目录：《深入理解深度学习》总目录 相关文章： · GPT（Generative Pre-Trained Transformer）：基础知识 · GPT（Generative Pre-Trained Transformer）：在不同任务中使用GPT · GPT（Generative Pre-Trained Transformer）：GPT-2与Zero-shot Learning · GPT（Generative Pre-Trained Transformer）：GPT-3与Few-shot Learning

    2024年02月10日
    浏览(34)
  • 了解Transformer架构的前奏_什么是预训练_理解预训练---人工智能工作笔记0034

    了解Transformer架构的前奏_什么是预训练_理解预训练---人工智能工作笔记0034

    我们会先来说预训练有什么用,其实    之前说的机器学习,其实都是跟数学相关性很大的,比如,支持向量机,回归算法, 1.最早的时候,做机器学习,就是偏数学的,比如用的决策树,支持向量机,线性回归,逻辑回归等算法. 这种是偏向数学的,偏向统计的. 然后这个深度学习,其实就是偏

    2023年04月22日
    浏览(27)
  • 深度学习11：Transformer

    深度学习11：Transformer

    目录 什么是 Transformer？ Encoder Decoder Attention Self-Attention Context-Attention 什么是 Transformer（微软研究院笨笨） RNN和Transformer区别 Universal Transformer和Transformer 区别   ​ 和经典的 seq2seq 模型一样，Transformer 模型中也采用了 encoer-decoder  架构。上图的左半边用 NX 框出来的，就代表

    2024年02月11日
    浏览(27)

  • 【深度学习 | Transformer】Transformers 教程：pipeline一键预测

    Transformers 是用于自然语言处理 (NLP)、计算机视觉以及音频和语音处理任务的预训练最先进模型库。该库不仅包含 Transformer 模型，还包含非 Transformer 模型，例如用于计算机视觉任务的现代卷积网络。 pipeline() 可以加载多个模型让进行推理变得简单，即使没有使用特定模态的经

    2024年02月05日
    浏览(31)
  • 深度学习从入门到精通—Transformer

    深度学习从入门到精通—Transformer

    1.1 传统的RNN网络 传统的RNN（递归神经网络）主要存在以下几个问题： 梯度消失和梯度爆炸 ：这是RNN最主要的问题。由于序列的长距离依赖，当错误通过层传播时，梯度可以变得非常小（消失）或非常大（爆炸），这使得网络难以学习。 计算效率低 ：RNN由于其递归性质，必

    2024年04月26日
    浏览(36)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包，优惠每天领

二维码1

领取红包

二维码2

领红包