MAE 论文精读 | 在CV领域自监督的Bert思想

相关文章

• BERT精读

  论文精读 —— BERT：Pre-training of Deep Bidirectional Transformers for Language Understanding - 知乎 (zhihu.com) pre-training：在一个数据集上训练好一个模型，这个模型主要的目的是用在一个别的任务上面。别的任务如果叫training，那么在大的数据集上训练我这个任务叫做pre-training。 NLP任务中使

  2024年02月16日

  浏览(30)
• 

  论文精读--MAE

  BERT在Transformer的架构上进行了掩码操作，取得了很好的效果。如果对ViT进行掩码操作呢？ 分成patch后灰色表示遮盖住，再将可见的patch输入encoder，把encoder得到的特征拉长放回原本在图片中的位置，最后由decoder去重构图片  图二的图片来自ImageNet，没有经过训练，是验证集。左

  2024年02月21日

  浏览(28)
• 

  【自监督论文阅读 2】MAE

  自监督论文阅读系列： 【自监督论文阅读 1】SimCLR 【自监督论文阅读 2】MAE 【自监督论文阅读 3】DINOv1 【自监督论文阅读 4】BYOL 论文地址：https://arxiv.org/pdf/2111.06377.pdf github代码地址：https://github.com/facebookresearch/mae 沐神B站视频讲解地址(看这个视频就够了)：https://www.bilibili

  2024年02月10日

  浏览(53)
• 

  李沐论文精读系列二：Vision Transformer、MAE、Swin-Transformer

  传送门： 李沐论文精读系列一： ResNet、Transformer、GAN、BERT 李沐论文精读系列三：MoCo、对比学习综述（MoCov1/v2/v3、SimCLR v1/v2、DINO等） 李沐论文精读系列四：CLIP和改进工作串讲（LSeg、GroupViT、VLiD、 GLIPv1、 GLIPv2、CLIPasso） 论文名称： An Image Is Worth 16x16 Words: Transformers For Imag

  2024年01月17日

  浏览(35)

• Transformer、BERT和GPT 自然语言处理领域的重要模型

  Transformer、BERT和GPT都是自然语言处理领域的重要模型，它们之间有一些区别和联系。 区别： 架构：Transformer是一种基于自注意力机制的神经网络架构，用于编码输入序列和解码输出序列。BERT（Bidirectional Encoder Representations from Transformers）是基于Transformer架构的双向编码模型，

  2024年03月09日

  浏览(39)
• 

  NLP文本匹配任务Text Matching [有监督训练]：PointWise（单塔）、DSSM（双塔）、Sentence BERT（双塔）项目实践

  本项目对3种常用的文本匹配的方法进行实现：PointWise（单塔）、DSSM（双塔）、Sentence BERT（双塔）。 文本匹配（Text Matching）是 NLP 下的一个分支，通常用于计算两个句子之间的相似程度，在推荐、推理等场景下都有着重要的作用。 举例来讲，今天我们有一堆评论数据，我们

  2024年02月12日

  浏览(26)
• 

  论文阅读——BERT

  ArXiv：https://arxiv.org/abs/1810.04805 github：GitHub - google-research/bert: TensorFlow code and pre-trained models for BERT   一、模型及特点： 1、模型：         深层双向transformer encoder结构         BERT-BASE：(L=12, H=768, A=12）         BERT-LARGE：(L=24, H=1024, A=16） 2、特点：         不同

  2024年02月08日

  浏览(31)
• 

  BERT论文解读及实现（一）

  BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding There are two steps in our framework: pre-training and fine-tuning . bert由预训练模型+微调模型组成。 ① pre-training , the model is trained on unlabeled data over different pre-training tasks. 预训练模型是在无标注数据上训练的 ② For fine-tuning, th

  2024年02月13日

  浏览(24)

• 论文解读：Bert原理深入浅出

  摘取于https://www.jianshu.com/p/810ca25c4502 任务1：Masked Language Model Maked LM 是为了解决单向信息问题，现有的语言模型的问题在于，没有同时利用双向信息，如 ELMO 号称是双向LM，但实际上是两个单向 RNN 构成的语言模型的拼接，由于时间序列的关系，RNN模型预测当前词只依赖前面出

  2024年02月11日

  浏览(32)
• 

  【论文解读】(如何微调BERT？) How to Fine-Tune BERT for Text Classification?

  论文地址：https://arxiv.org/pdf/1905.05583.pdf 论文年份：2019年05月 论文代码: https://github.com/xuyige/BERT4doc-Classification 论文引用量：1191 （截止2023-04-28） 论文阅读前提：熟悉NLP、深度学习、Transformer、BERT、多任务学习等。 现在NLP任务方式大多都是对BERT进行微调。例如：我们要做一个

  2024年02月07日

  浏览(31)