1. Toy模板网首页
  2. > Toy博客

【科研】浅学Cross-attention？

9月前 作者：MengYa_DreamZ 分类：Toy博客 阅读(49) 违法举报

这篇具有很好参考价值的文章主要介绍了【科研】浅学Cross-attention？。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

Cross-Attention in Transformer Architecture 

最近，CrossViT让我所有思考，这种能过够跨膜态的模型构建？浅学一下吧!

目录

1.Cross attention概念

2.Cross-attention vs Self-attention 

3.Cross-attention算法 

4.Cross-Attention 案例-感知器IO

1.Cross attention概念

  • Transformer架构中混合两种不同嵌入序列的注意机制
  • 两个序列必须具有相同的维度
  • 两个序列可以是不同的模式形态（如：文本、声音、图像）
  • 一个序列作为输入的Q，定义了输出的序列长度，另一个序列提供输入的K&V
  • ps:不知道QKV的先去普及一下Attention的基础、更专业的学习资源here吧！

2.Cross-attention vs Self-attention 

Cross-attention的输入来自不同的序列，Self-attention的输入来自同序列，也就是所谓的输入不同，但是除此之外，基本一致。

具体而言，

self-attention输入则是一个单一的嵌入序列。

Cross-attention将两个相同维度的嵌入序列不对称地组合在一起，而其中一个序列用作查询Q输入，而另一个序列用作键K和值V输入。当然也存在个别情况，在SelfDoc的cross-attention，使用一个序列的查询和值，另一个序列的键。总而言之，QKV是由两序列拼凑的，不单一。

3.Cross-attention算法 

  • 拥有两个序列S1、S2
  • 计算S1的K、V
  • 计算S2的Q
  • 根据K和Q计算注意力矩阵
  • 将V应用于注意力矩阵
  • 输出的序列长度与S2一致

4.Cross-Attention 案例-感知器IO

【科研】浅学Cross-attention？

 感知器IO是一个通用的跨域架构，可以处理各种输入和输出，广泛使用交叉注意:

  • 将非常长的输入序列(如图像、音频)合并到低维潜在嵌入序列中
  • 合并“输出查询”或“命令”来解码输出值，例如我们可以让模型询问一个掩码词

这样做的好处是，通常可以处理很长的序列。层次感知器能够处理更长的序列，将它们分解成子序列，然后合并它们。层次感知器也学习位置编码与一个单独的训练步骤，重建的损失。文章来源地址https://www.toymoban.com/news/detail-443659.html

到了这里，关于【科研】浅学Cross-attention？的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处： 如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：
领支付宝红包 赞助服务器费用

相关文章

  • cross attention输入不同维度的矩阵

    在学习使用cross attention的时候我查阅了很多资料，发现里面说的都是cross attention的输入需要是相同维度的矩阵，但是我所需要的是可以处理不同维度数据的cross attention。 cross attention 看了关于cross attention的一些介绍和代码，发现大多都是这样 这里的x和y所输入的维度需要一致

    2024年02月04日
    浏览(37)
  • What the DAAM: Interpreting Stable Diffusion Using Cross Attention

    What the DAAM: Interpreting Stable Diffusion Using Cross Attention

    论文链接：https://arxiv.org/pdf/2210.04885.pdf Background 在读本篇文章之前先来了解深度学习的可解释性，可解释性方法有类激活映射CAM、基于梯度的方法、反卷积等，在diffusion模型出来之后，本篇文章就对扩散模型中的交叉注意力做了探究，主要做的工作是用交叉注意力来解释扩散

    2024年02月09日
    浏览(40)
  • Cross-Modal Learning with 3D Deformable Attention for Action Recognition

    Cross-Modal Learning with 3D Deformable Attention for Action Recognition

    标题：基于三维可变形注意力的跨模态学习用于动作识别 发表：ICCV2023 在基于视觉的动作识别中，一个重要的挑战是将具有两个或多个异构模态的时空特征嵌入到单个特征中。在这项研究中，我们提出了一种 新的三维变形变压器 ，用于动作识别， 具有自适应时空感受野和跨

    2024年03月24日
    浏览(58)
  • ​目标检测算法——YOLOv5/YOLOv7改进之结合Criss-Cross Attention

    ​目标检测算法——YOLOv5/YOLOv7改进之结合Criss-Cross Attention

    论文题目： CCNet: Criss-Cross Attention for Semantic Segmentation 论文地址： https://arxiv.org/pdf/1811.11721.pdf 代码地址：https://github.com/shanglianlm0525/CvPytorch 本文是ICCV2019的语义分割领域的文章，旨在解决long-range dependencies问题，提出了基于十字交叉注意力机制（Criss-Cross Attention）的模块，利

    2024年02月02日
    浏览(54)
  • 第二十一章：CCNet:Criss-Cross Attention for Semantic Segmentation ——用于语义分割的交叉注意力

    第二十一章：CCNet:Criss-Cross Attention for Semantic Segmentation ——用于语义分割的交叉注意力

    原文题目：《CCNet:Criss-Cross Attention for Semantic Segmentation 》 原文引用：Huang Z, Wang X, Huang L, et al. Ccnet: Criss-cross attention for semantic segmentation[C]//Proceedings of the IEEE/CVF international conference on computer vision. 2019: 603-612. 原文链接： https://openaccess.thecvf.com/content_ICCV_2019/papers/Huang_CCNet_Criss

    2024年02月16日
    浏览(42)
  • 层层剖析，让你彻底搞懂Self-Attention、MultiHead-Attention和Masked-Attention的机制和原理

    层层剖析，让你彻底搞懂Self-Attention、MultiHead-Attention和Masked-Attention的机制和原理

    本文基于李宏毅老师对 Self-Attention 的讲解，进行理解和补充，并结合Pytorch代码，最终目的是使得自己和各位读者更好的理解 Self-Attention 李宏毅Self-Attention链接: https://www.youtube.com/watch?v=hYdO9CscNes PPT链接见视频下方 通过本文的阅读，你可以获得以下知识： 什么是Self-Attention，为

    2024年02月02日
    浏览(46)
  • 学习Transformer前言（Self Attention Multi head self attention）

    学习Transformer前言（Self Attention Multi head self attention）

    一直在做项目，也比较懒没有挤出时间去学习新的东西，感觉停滞很久了，好长一段时间都没有新的知识输入，早就需要就去学习transformer了，因此先来学习注意力机制，本文为个人的一个笔记总结。主要是基于李宏毅老师的一个课程视频笔记，论文原文，加上B站UP主的霹雳

    2024年02月02日
    浏览(52)
  • MultiHead-Attention和Masked-Attention的机制和原理

    MultiHead-Attention和Masked-Attention的机制和原理

    看本文前，需要先彻底搞懂Self-Attention。推荐看我的另一篇博文层层剖析，让你彻底搞懂Self-Attention、MultiHead-Attention和Masked-Attention的机制和原理。本篇文章内容在上面这篇也有，可以一起看。 在Transformer中使用的是MultiHead Attention，其实这玩意和Self Attention区别并不是很大。先

    2024年01月23日
    浏览(38)
  • 【深度学习】Transformer，Self-Attention，Multi-Head Attention

    【深度学习】Transformer，Self-Attention，Multi-Head Attention

    必读文章： https://blog.csdn.net/qq_37541097/article/details/117691873 论文名：Attention Is All You Need Query（Q）表示当前时间步的输入信息，它与Key（K）进行点积操作，用于计算注意力权重。 Key（K）表示序列中所有时间步的信息，与Query（Q）进行点积操作，用于计算注意力权重。 Value（

    2024年02月12日
    浏览(37)
  • 自注意力(Self-Attention)与Multi-Head Attention机制详解

    自注意力(Self-Attention)与Multi-Head Attention机制详解

      自注意力机制属于注意力机制之一。与传统的注意力机制作用相同，自注意力机制可以更多地关注到输入中的关键信息。self-attention可以看成是multi-head attention的输入数据相同时的一种特殊情况。所以理解self attention的本质实际上是了解multi-head attention结构。   对于一个mul

    2024年02月02日
    浏览(39)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包，优惠每天领

二维码1

领取红包

二维码2

领红包