论文精读--Autoformer

相关文章

• 

  【论文精读】ESViT

         基于transformer的SSL方法在ImageNet线性检测任务上取得了最先进的性能，其关键原因在于使用了基于对比学习方法训练单尺度Transformer架构。尽管其简单有效，但现有的基于transformer的SSL（自监督学习）方法需要大量的计算资源才能达到SoTA性能。        故认为SSL系统的

  2024年02月20日

  浏览(21)
• 

  论文精读--MAE

  BERT在Transformer的架构上进行了掩码操作，取得了很好的效果。如果对ViT进行掩码操作呢？ 分成patch后灰色表示遮盖住，再将可见的patch输入encoder，把encoder得到的特征拉长放回原本在图片中的位置，最后由decoder去重构图片  图二的图片来自ImageNet，没有经过训练，是验证集。左

  2024年02月21日

  浏览(36)
• 

  Transformer模型原理—论文精读

  今天来看一下Transformer模型，由Google团队提出，论文名为《Attention Is All You Need》。论文地址。 正如标题所说的，注意力是你所需要的一切，该模型摒弃了传统的RNN和CNN结构，网络结构几乎由Attention机制构成，该论文的亮点在于提出了 Multi-head attention 机制，其又包含了 self-a

  2024年02月08日

  浏览(58)
• 

  【论文精读】TransE 及其实现

  TransE ( T ranslating E mbedding), an energy-based model for learning low-dimensional embeddings of entities. 核心思想 ：将 relationship 视为一个在 embedding space 的 translation。如果 (h, l, t) 存在，那么 h + l ≈ t h + l approx t h + l ≈ t 。 Motivation ：一是在 Knowledge Base 中，层次化的关系是非常常见的，transl

  2023年04月17日

  浏览(17)
• 

  【论文精读】BERT

         以往的预训练语言表示应用于下游任务时的策略有基于特征和微调两种。其中基于特征的方法如ELMo使用基于上下文的预训练词嵌入拼接特定于任务的架构；基于微调的方法如GPT使用未标记的文本进行预训练，并针对有监督的下游任务进行微调。        但上述两种策

  2024年02月19日

  浏览(35)
• 

  论文精读之BERT

  目录 1.摘要（Abstract） 2.引言（Introduction）： 3.结论（Conlusion）： 4.BERT模型算法: 5.总结 与别的文章的区别是什么:BERT是用来设计去训练深的 双向的 表示，使用没有标号的数据，再联合左右的上下文信息。(改进在什么地方) 效果有多好:在11个NLP任务上取得了很好的效果。需要

  2024年02月15日

  浏览(33)
• 

  【论文精读】NeRF详解

  最近阅读了开启三维重建新纪元的经典文章《NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis》，接下来会​更新NeRF 系列 的论文精读、代码详解，力求做到全网最细！欢迎大家关注和交流！ 论文链接：论文 代码链接：Github （这是官方代码，是tensorflow版本） 文章提出

  2024年02月05日

  浏览(37)
• 

  BERT 论文精读与理解

  1.论文题目 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 2.论文摘要 本文引入了一种名为 BERT 的新语言表示模型，它代表 Transformers 的双向编码器表示。与最近的语言表示模型（Peters et al., 2018a；Radford et al., 2018）不同，BERT 旨在通过联合调节所有层中的左右上

  2024年02月13日

  浏览(41)
• 

  ViT 论文逐段精读

  https://www.bilibili.com/video/BV15P4y137jb Vision Transformer 挑战了 CNN 在 CV 中绝对的统治地位。Vision Transformer 得出的结论是如果在足够多的数据上做预训练，在不依赖 CNN 的基础上，直接用自然语言上的 Transformer 也能 CV 问题解决得很好。Transformer 打破了 CV、NLP 之间的壁垒。 先理解题目

  2024年02月05日

  浏览(35)
• 

  深度学习论文精读[6]：UNet++

  UNet的编解码结构一经提出以来，大有统一深度学习图像分割之势，后续基于UNet的改进方案也经久不衰，一些研究者也在从网络结构本身来思考UNet的有效性。比如说编解码网络应该取几层，跳跃连接是否能够有更多的变化以及什么样的结构训练起来更加有效等问题。UNet本身是

  2023年04月09日

  浏览(33)