论文笔记--ERNIE 2.0: A Continual Pre-Training Framework for Language Understanding

这篇具有很好参考价值的文章主要介绍了论文笔记--ERNIE 2.0: A Continual Pre-Training Framework for Language Understanding。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

1. 文章简介

标题：ERNIE 2.0: A Continual Pre-Training Framework for Language Understanding
作者：Yu Sun, Shuohuan Wang, Yukun Li, Shikun Feng, Hao Tian, Hua Wu, Haifeng Wang
日期：2020
期刊：AAAI

2. 文章导读

2.1 概括

文章给出了一种新的NLP预训练模型的训练方法，并提出了ERNIE2.0(Enhanced Representation through kNowledge IntErgration)。ERNIE2.0在ERNIE1.0[1]的基础上提升了采用了continual multi-task learning，在多个NLP下游任务上取得了SOTA表现。
文章总体框架如下
论文笔记--ERNIE 2.0: A Continual Pre-Training Framework for Language Understanding

2.2 文章重点技术

2.2.1 Continual Pre-training

大语言模型的训练成本比较高，为了节约成本和方便使用，我们希望有一个通用的大语言模型可以适用于尽可能多的下游任务。一般来说，我们可以采用多任务学习来对进行语言模型的预训练(multi-task learning)。常规的多任务学习对选定的tasks同时进行训练，这样可以保证所有task都能被平等对待。但这种方法要求所有task的数据都预先准备好，而实际工程化时我们的训练集往往是在过程中逐渐增多的。
Continual pre-training在一定程度上解决了这个问题。在Continual learning中，模型依此学习每个task，这样我们可以在训练号的模型基础上随时增加新的task训练。但这种串行结果往往会让模型忘记之前学习到的信息。
为了解决上述问题，模型提出了一种sqeuential multi-task learning，使得模型在不忘记前面学习的知识的前提下进行增量学习。下图给出了本文应用的sequential multi-task learning(SMTL)和传统的multi-task learning以及continual learning的区别。SMTL首先用原始模型的参数初始化，然后每次新增一个任务的时候，会讲新增任务和原有任务一些学习来更新模型的参数。
论文笔记--ERNIE 2.0: A Continual Pre-Training Framework for Language Understanding

2.2.2 Pre-Training Tasks

为了使得模型学习到训练语料库中的词汇、语法和语义信息，文章构建了多个级别的任务

word级别
- 知识掩码：同ERNIE1.0[1]中的掩码任务，模型会进行单词、实体和短语级别的三阶段掩码，从而学习到上下文之间的依赖关系
- 大小写预测：大写字母往往蕴含一些单词信息，对NER等任务比较重要。从而模型增加了预测单词大小写的分类任务，来捕获这种信息。
- token-document关系预测：此任务中，模型预测当前文本段的token是否出现在同文档的其它文本段中。一般来说，如果一个token频繁出现，则它很可能与当前文档的主题相关。这种思想即TF-IDF中的TF思想。
strcuture级别
- 句子重排序：在此任务中，对任意给定的段落，模型首先将其随机分割为 $\dots, m)$ 个片段，再将片段打乱，模型对其进行重新排序，即给出 $n!$ 中顺序中的任意一个作为预测。
- 句子距离预测：此任务为一个3-分类任务。标签为“0”表示两个句子时同一篇文档的相邻句子，“1”表示两个句子为同一篇文档的不同句子，“2”表示两个句子为不同文档中的句子。此任务旨在让模型学习到文档级别的句子距离信息。
semantic级别
- 关系预测：文章使用自动构建的数据集来进行次任务的训练，从而学习到两个句子的语义和修辞关系。
- IR关联预测：此任务为一个3-分类任务。标记为“0”表示query和title之间是强相关，“1”表示二者弱相关，“2”表示二者无关。模型通过学习此任务可以学习到IR(information retrieval)中的短文本关联性。

2.2.3 Task-Embedding

为了使模型了解到不同的任务指令，模型增加了task embedding。每个task id由0～N表示，然后生成对应的task embedding。例如task id为3时，对应的输入如下图
论文笔记--ERNIE 2.0: A Continual Pre-Training Framework for Language Understanding

2.2.4 Data

文章在BERT基础上，新增了Reddit和Discovery的数据，且增加了百科、新闻、对话等中文语料库（类似ERNIE1.0，来自百度百科、贴吧、新闻等）

3. 文章亮点

文章给出一种基于sequential multi-task learning的模型预训练方法，在不忘记历史学习到的知识的同时，又可以进行增量学习。文章给出的ERNIE 2.0在多个英文任务上达到了SOTA，且ERNIE 2.0 LARGE重新刷新了实验的10个任务的SOTA表现。

4. 原文传送门

ERNIE 2.0: A Continual Pre-Training Framework for Language Understanding
代码+模型

5. References

[1] 论文笔记–ERNIE: Enhanced Representation through Knowledge Integration文章来源地址https://www.toymoban.com/news/detail-493765.html

到了这里，关于论文笔记--ERNIE 2.0: A Continual Pre-Training Framework for Language Understanding的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！