Pre-trained Language Models Can be Fully Zero-Shot Learners-Toy模板网

这篇具有很好参考价值的文章主要介绍了Pre-trained Language Models Can be Fully Zero-Shot Learners。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

本文是LLM系列文章，针对《Pre-trained Language Models Can be Fully Zero-Shot Learners》的翻译。

摘要

在没有标记或额外的未标记数据的情况下，我们如何将预先训练的模型扩展到许多语言理解任务？经过预训练的语言模型（PLM）对于广泛的NLP任务是有效的。然而，现有的方法要么需要对下游标记的数据集进行微调，要么需要手动构建适当的提示。在本文中，我们提出了非参数提示PLM（NPPrompt）来完全理解零样本语言。与以前的方法不同，NPPrompt只使用预先训练的语言模型，不需要任何标记数据或额外的原始语料库来进行进一步的微调，也不依赖于人类来构建一组全面的提示标签词。在不同的NLP任务中，我们将NPPrompt与以前的主要小样本和零样本学习方法进行比较：文本分类、文本蕴涵、相似文本检索、转述和多选问题回答。实验结果表明，我们的NPPrompt在很大程度上优于以前最好的完全零样本方法，在文本分类上的准确率和在GLUE基准上的准确度分别提高了12.8%和15.6%。我们的源代码可在https://github.com/Xuandong Zhao/NPPrompt。

1 引言

2 相关工作

3 背景：PLMs基于提示的调整

4 提出的方法：NPPrompt

5 实验

6 讨论

7 结论

在这篇文章中，我们提出了NPPrompt，这是一种新颖而有效的方法，可以通过预先训练的语言模型来实现完全零样本学习。我们使用PLM的初始单词嵌入来自动查找类别名称的相关单词，这使我们能够在没有手动设计或未标记语料库的情况下构建动词化器。实验结果表明，NPPrompt在很大程度上优于以前的零样本方法。

局限性

对于那些没有语义的标签名称，NPPrompt仍然需要几个关键字才能正常工作。此外，本研究仅关注零样本设置。然而，在实际应用中普遍存在的小样本场景中也有潜在的探索途径。NPPrompt是否适用于其他任务，如排名和关系提取，仍不确定，需要进一步调查。设计一种细化方法来联合搜索标签词和模板可能是未来研究的一个很有前途的方向。文章来源地址https://www.toymoban.com/news/detail-722421.html

到了这里，关于Pre-trained Language Models Can be Fully Zero-Shot Learners的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！