230530-论文整理-课题组2

这篇具有很好参考价值的文章主要介绍了230530-论文整理-课题组2。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

对这些研究有点兴趣颇微。

Rethinking Dense Retrieval’s Few-Shot Ability

我们定制了一个标准的FewDR数据集和评估协议,用于少量密集的检索。该数据集是在维基百科语料库上构建的,包含41,420个样本,有60个细粒度的类别。
具体内容上,和其他的dense retrieval方法,没有感觉到有太大的不同。
230530-论文整理-课题组2

Decoder-Only or Encoder-Decoder? Interpreting Language Model as a Regularized Encoder-Decoder

传统上,大部分seq2seq任务是由编码器-解码器框架解决的,它需要一个编码器来编码源序列,一个解码器来生成目标文本。

This paper aims to address this gap by conducting a detailed comparison between the encoder-decoder architecture and the decoder-only language model framework through the analysis of a regularized encoder-decoder structure.

问题矛盾点:
1.encoder-decoder模型结构相比于decoder-ONLY结构,哪个更有优势?
2.我们揭示了语言模型中的注意力退化问题,即随着生成步骤数的增加,越来越少的注意力被集中在源序列上。

230530-论文整理-课题组2
traditional ED structure named as Regularized Encoder-Decoder (RED) framework

230530-论文整理-课题组2

1.为了避免注意力退化的问题,提出了单向交叉注意,单向的交叉注意同时关注源矩阵和目标矩阵;
2.连续位置编码,在target序列中的位置编码和source序列中的位置编码是连续,而不是在target中从头开始排序。


PLOME: Pre-training with Misspelled Knowledge for Chinese Spelling Correction

语音和视觉相似性知识对这项任务很重要。 PLOME 利用 GRU 网络根据字符的语音和笔画对此类知识进行建模。

230530-论文整理-课题组2
所提出的模型将每个字符的笔画和拼音作为输入,这使得 PLOME 能够对任意字符之间的相似性进行建模。
PLOME 通过联合恢复掩码标记的真实字符和语音来学习字符和语音级别的拼写错误知识。
模型结构图
230530-论文整理-课题组2

  1. we randomly mask some percentage of the input tokens and then recover them
  2. mask 15% of tokens in the corpus. In addition, we use dynamic masking strategy
  3. the final embedding of each character is the sum of character embedding, position embedding, phonic embedding and shape embedding
The probability of the character predicted for the i-th token in a given
sentence is defined as

230530-论文整理-课题组2

The probability of pronunciation prediction
is defined as:

230530-论文整理-课题组2
损失函数:
230530-论文整理-课题组2

Read, Listen, and See: Leveraging Multimodal Information Helps Chinese Spell Checking

汉字中常见的错误类型如上文所述,一个是拼音,一个是字形。
230530-论文整理-课题组2
模型结构图
230530-论文整理-课题组2
The Semantic Encoder

The input tokens X = (x1, . . . , xN ) are first
projected into Ht0
through the input embedding.
Then the computation of Transformer (Vaswani
et al., 2017) encoder layers can be formulated as:

230530-论文整理-课题组2

The Phonetic Encoder(拼音encoder)

 The 5 kinds of tones (take
the final “a” as an example, { a,¯ a,´ a,ˇ a, a ` }) can be
mapped into numbers {1, 2, 3, 4, 0}

The Character-level Encoder

a single-layer
uni-directional GRU (Cho et al., 2014), which encodes the pinyin of the i-th character xi as:

230530-论文整理-课题组2
The Graphic Encoder
230530-论文整理-课题组2
**fused module **
采用的gate机制实现的embedding的融合。

230530-论文整理-课题组2文章来源地址https://www.toymoban.com/news/detail-465090.html

到了这里,关于230530-论文整理-课题组2的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 免费论文查重软件,论文aigc降重方法就用这些!

    一、免费论文查重软件 1、Checkbug 查重很准,而且每天免费查重一篇,除此以外还有强力降重、chatgpt改写续写还有降低aigc功能,查重降重一体化,使用非常方便。 2、蝌蚪论文 每天免费查重一篇,另外,机器降重和AI改写续写功能可以分别对全文和局部进行快速修改降重,使

    2024年04月25日
    浏览(45)
  • [230530] 托福TPO口语真题| TPO66~TPO72|XPO|Task1|20:30~21:00

    目录 真题 预测题​​​​​​​ 66. Do you agree or disagree with the following statement? Some people believe that a person needs a college education in order to have a successful career. Others believe that a college education is not necessary for success. Use details and examples to explain your opinion. 67. Some students who go to another c

    2024年02月06日
    浏览(39)
  • 本科论文常见答辩问题整理

    答辩过程中,老师问的问题一般都和你的设计有关,下面总结了一下常见的提问的问题给大家: 框架,SSM,SSH这些有什么优势。 前端,前端用了什么;无非就是CSS、HTML这些 MySQL,为什么用MySQL;有几个表;三范式;主键这些基础。数据库链接方式,数据库设计中的ER图、范式

    2023年04月23日
    浏览(56)
  • 论文阅读笔记整理(持续更新)

    FAST 2021 Paper 泛读笔记 针对LSM树同时优化读写性能的问题,现有方法通过压缩提升读性能,但会导致读放大或写放大。作者利用新存储硬件的性能,随机读和顺序读性能相近,因此提出构建逻辑排序视图优化范围查询,因为减少了真正的压缩操作,同时减少了写放大。 ATC 2

    2024年01月23日
    浏览(44)
  • 【区块链论文整理】VLDB篇

    VLDB (Very Large Data Base)是数据库三大顶会之一,近几年也发表了不少水平很高的文章。本文主要针对VLDB 会议中区块链相关的论文进行简单整理。 2021 SlimChain: Scaling Blockchain Transactions through Off-Chain Storage and Parallel Processing. SChain: A Scalable Consortium Blockchain Exploiting Intra- and Inter-B

    2023年04月08日
    浏览(33)
  • 【区块链论文整理】SIGMOD篇(三)

    SIGMOD(Special Interest Group On Management Of Data)是数据库三大顶会之一,近几年也发表了不少水平很高的文章。本文主要针对SIGMOD会议中区块链相关的论文进行简单整理。 ACM SIGMOD Conference 2021: Virtual Event, China SharPer: Sharding Permissioned Blockchains Over Network Clusters.  Permissioned Blockchains

    2024年02月01日
    浏览(41)
  • CXL论文阅读笔记整理(持续更新)

    arXiv Paper 对CXL技术进行介绍,包括CXL 1.0、CXL 2.0、CXL 3.0,对各规范的提升做介绍。整理了现有的CXL实现方法,延迟测试结果,对未来发展进行展望。 Queue 2023 Paper 泛读笔记 CXL提供的是粗力度的内存共享,没有提供细粒度的内存保护功能,作者提出用针对特定领域优化的去中心

    2024年04月15日
    浏览(51)
  • 论文笔记(整理):轨迹相似度顶会论文中使用的数据集

    数据类型 数据名称 数据处理 出租车数据 波尔图 原始数据:2013年7月到2014年6月,170万条数据 ICDE 2023 Contrastive Trajectory Similarity Learning with Dual-Feature Attention  过滤位于城市(或国家)区域之外的轨迹 过滤包含少于20个点或超过200个点的轨迹 ——137W轨迹 CIKM 2022 Efficient Trajec

    2024年02月08日
    浏览(35)
  • 图像融合论文及代码整理最全大合集

    [2022-07-29] 我们的综述论文《基于深度学习的图像融合方法综述》被《中国图象图形学报》正式接收![论文下载] 多模图像融合(Multi-Modal Image Fusion) 红外和可见光图像融合(Infrared and visible image fusion) 医学图像融合(Medical image fusion) 数字摄影图像融合(Digital Photography Image Fusion) 多

    2024年02月03日
    浏览(25)
  • 【3D目标检测】学习过的论文整理

    本文将我所学习过的3D目标检测论文按照自己的理解进行分类,并介绍每篇论文研究的问题与采用的方法,格式如下: 【年份】【模型简写】【论文名称】【笔记链接】 研究的问题: 问题1 问题2 提出的方法: 方法1 方法2 【2021】【无】【3D Object Detection for Autonomous Driving: A

    2023年04月18日
    浏览(37)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包