引言
今天带来论文A COMPARE-AGGREGATE MODEL FOR MATCHING TEXT SEQUENCES的阅读笔记。
很多NLP任务,包括阅读理解、文本蕴含和问答任务,都需要在序列之间进行比较。匹配序列间重要的单位是这些解决这些任务的关键。本篇工作提出了一个通用的比较聚合(compare-aggragate)框架执行单词级匹配,然后使用CNN进行聚合。
比较聚合网络并不是作者首先提出来的,但作者认为前人的工作有一些不足:
- 只能应用到一两个任务,不能体出现比较聚合框架的泛化性。
- 对比较部分的组成单元选择比较简单,比较函数单一。
而本篇工作作者使用了六种不同的比较函数,实验结果证明作者提出的模型在不同任务的四份数据集(问答和蕴含任务)上达到了当时的SOTA结果。作者也着重强调了element-wise(逐元素级)函数作为交互效果明显。
本篇工作的贡献有:
- 使用四种不同的数据集,证明了作者提出的模型在这些数据集上达到了SOTA结果。
- 系统地评估了不同的比较函数,并且得出了element-wise的比较函数效果最好。
相关工作
-
孪生神经网络(Siamense network)文章来源:https://www.toymoban.com/news/detail-707268.html
- 基于相同参数的网络,比如RNN或CNN来分别构建不同语句的表示,然后可以用于分类或文本表示。
-
注意力网络(Attentive network)文章来源地址https://www.toymoban.com/news/detail-707268.html
- 广泛应用注意力机制到机器阅读理解、文本蕴含和问答任务。这类工作通常不是应用RNN的最后一个状态去表示一个语句ÿ
到了这里,关于[论文笔记]A COMPARE-AGGREGATE MODEL FOR MATCHING TEXT SEQUENCES的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!