1. Toy模板网首页
  2. > Toy博客

[ACL2023] Exploring Lottery Prompts for Pre-trained Language Models

9月前 作者：ShadyPi 分类：Toy博客 阅读(37) 违法举报

这篇具有很好参考价值的文章主要介绍了[ACL2023] Exploring Lottery Prompts for Pre-trained Language Models。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

Exploring Lottery Prompts for Pre-trained Language Models

文章链接

清深的工作，比较有意思的一篇。作者先给出假设，对于分类问题，在有限的语料空间内总能找到一个prompt让这个问题分类正确，作者称之为lottery prompt。为此，作者组织了一个prompt集合，每个prompt的组成都很简单，名词+动词+介词/形容词/副词+<MASK>，语料都是从常用英语词库中选出的，整个prompt集合一共包含76725个prompt。

之后，作者在RoBERTa-large和GPT-2上进行了测试，每个数据集1000个样例，对于每个样例，只要76725个prompt里有一个prompt能让模型预测正确，那么就算这个样例回答正确，结果表明几乎每个输入都有一个prompt可以作对这个分类。说明至少对于这些分类问题，lottery prompt是存在的。
[ACL2023] Exploring Lottery Prompts for Pre-trained Language Models,自然语言处理,语言模型,人工智能,自然语言处理
之后作者分析了搜索到一个正确的prompt所需要的次数，这里的搜索按照作者的说法其实就是在7w个prompt里面枚举的。发现任务越困难，需要的搜索次数就越多，同时在同一个任务中，需要的搜索次数多的也是困难的输入。
[ACL2023] Exploring Lottery Prompts for Pre-trained Language Models,自然语言处理,语言模型,人工智能,自然语言处理
而模型的能力也对搜索次数有影响，越大的模型需要的搜索次数越少。同时没有训练过的模型很难找到有效的prompt，经过一定的训练后成功找到的概率则显著上升，搜索次数显著下降。这说明lottery prompt存在确实不是考运气，而是基于模型确实掌握了语言知识。
[ACL2023] Exploring Lottery Prompts for Pre-trained Language Models,自然语言处理,语言模型,人工智能,自然语言处理
除了多个prompt对一个input，那自然也有一个prompt对多个input，作者统计了prompt在整个数据集上的表现，除了有66个类的最难的Few-NERD，其他数据集都能找到一个表现不错的prompt。

[ACL2023] Exploring Lottery Prompts for Pre-trained Language Models,自然语言处理,语言模型,人工智能,自然语言处理
分析这些优秀的prompt作者也发现他们有一些相似的特征，这里就不详述了。

基于此，作者提出了一种集成prompt方法，在少量的训练集上选出优秀的prompt以后，根据他们的表现赋予不同的权重，表现越好的prompt权重越高，之后将这些prompt的分类预测加权在一起，得到最后的分类。他们的整个集合只有10个prompt，训练集大小为16shot和32shot，效果惊人的不错。
[ACL2023] Exploring Lottery Prompts for Pre-trained Language Models,自然语言处理,语言模型,人工智能,自然语言处理
这个方法可以说是很简洁，得到的prompt结构都很简单，集成方式同样简单，整个方法甚至都没有参数，但是打败了像RLPrompt这样参数量巨大的prompt方式。文章来源地址https://www.toymoban.com/news/detail-671062.html

到了这里，关于[ACL2023] Exploring Lottery Prompts for Pre-trained Language Models的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处： 如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：
领支付宝红包 赞助服务器费用

相关文章

  • 深入理解深度学习——GPT（Generative Pre-Trained Transformer）：基础知识

    深入理解深度学习——GPT（Generative Pre-Trained Transformer）：基础知识

    分类目录：《深入理解深度学习》总目录 相关文章： · GPT（Generative Pre-Trained Transformer）：基础知识 · GPT（Generative Pre-Trained Transformer）：在不同任务中使用GPT · GPT（Generative Pre-Trained Transformer）：GPT-2与Zero-shot Learning · GPT（Generative Pre-Trained Transformer）：GPT-3与Few-shot Learning

    2024年02月10日
    浏览(58)
  • Solving 3D Inverse Problems using Pre-trained 2D Diffusion Models

    Solving 3D Inverse Problems using Pre-trained 2D Diffusion Models

    论文链接：https://arxiv.org/abs/2211.10655 GitHub链接：https://github.com/HJ-harry/DiffusionMBIR 【score-MRI作者】 扩散模型已成为具有高质量样本的新的艺术生成模型，具有模式覆盖和高灵活性等有趣的特性。它们也被证明是有效的逆问题求解器，充当分布的先验，而正演模型的信息可以在采

    2024年02月09日
    浏览(42)

  • A Survey of Knowledge-Enhanced Pre-trained Language Models

    本文是LLM系列的文章，针对《A Survey of Knowledge-Enhanced Pre-trained Language Models》的翻译。 预训练语言模型（PLM）通过自监督学习方法在大文本语料库上进行训练，在自然语言处理（NLP）的各种任务中都取得了良好的性能。然而，尽管具有巨大参数的PLM可以有效地拥有从大量训练

    2024年02月09日
    浏览(38)

  • A Survey on Knowledge-Enhanced Pre-trained Language Models

    自然语言处理(NLP)已经通过使用BERT等预训练语言模型(plm)发生了革命性的变化。尽管几乎在每个NLP任务中都创造了新的记录， 但plm仍然面临许多挑战，包括可解释性差，推理能力弱，以及在应用于下游任务时需要大量昂贵的注释数据。通过将外部知识集成到plm中，知识增强预

    2024年02月11日
    浏览(39)
  • 深入理解深度学习——GPT（Generative Pre-Trained Transformer）：在不同任务中使用GPT

    深入理解深度学习——GPT（Generative Pre-Trained Transformer）：在不同任务中使用GPT

    分类目录：《自然语言处理从入门到应用》总目录 相关文章： · GPT（Generative Pre-Trained Transformer）：基础知识 · GPT（Generative Pre-Trained Transformer）：在不同任务中使用GPT · GPT（Generative Pre-Trained Transformer）：GPT-2与Zero-shot Learning · GPT（Generative Pre-Trained Transformer）：GPT-3与Few-s

    2024年02月10日
    浏览(49)

  • Pre-trained Language Models Can be Fully Zero-Shot Learners

    本文是LLM系列文章，针对《Pre-trained Language Models Can be Fully Zero-Shot Learners》的翻译。 在没有标记或额外的未标记数据的情况下，我们如何将预先训练的模型扩展到许多语言理解任务？经过预训练的语言模型（PLM）对于广泛的NLP任务是有效的。然而，现有的方法要么需要对下游

    2024年02月07日
    浏览(43)
  • 【论文阅读24】Better Few-Shot Text Classification with Pre-trained Language Model

    【论文阅读24】Better Few-Shot Text Classification with Pre-trained Language Model

    论文标题：Label prompt for multi-label text classification（基于预训练模型对少样本进行文本分类） 发表时间：2021 领域：多标签文本分类 发表期刊：ICANN（顶级会议） 相关代码：无 数据集：无 最近，预先训练过的语言模型在许多基准测试上都取得了非凡的性能。通过从一个大型的

    2024年02月14日
    浏览(43)
  • 深入理解深度学习——GPT（Generative Pre-Trained Transformer）：GPT-2与Zero-shot Learning

    深入理解深度学习——GPT（Generative Pre-Trained Transformer）：GPT-2与Zero-shot Learning

    分类目录：《深入理解深度学习》总目录 相关文章： · GPT（Generative Pre-Trained Transformer）：基础知识 · GPT（Generative Pre-Trained Transformer）：在不同任务中使用GPT · GPT（Generative Pre-Trained Transformer）：GPT-2与Zero-shot Learning · GPT（Generative Pre-Trained Transformer）：GPT-3与Few-shot Learning

    2024年02月10日
    浏览(44)
  • 深入理解深度学习——GPT（Generative Pre-Trained Transformer）：GPT-3与Few-shot Learning

    深入理解深度学习——GPT（Generative Pre-Trained Transformer）：GPT-3与Few-shot Learning

    分类目录：《深入理解深度学习》总目录 相关文章： · GPT（Generative Pre-Trained Transformer）：基础知识 · GPT（Generative Pre-Trained Transformer）：在不同任务中使用GPT · GPT（Generative Pre-Trained Transformer）：GPT-2与Zero-shot Learning · GPT（Generative Pre-Trained Transformer）：GPT-3与Few-shot Learning

    2024年02月10日
    浏览(43)
  • LLMs领域适应的预训练Pre-training for domain adaptation

    LLMs领域适应的预训练Pre-training for domain adaptation

    到目前为止，我强调了在开发应用程序时，您通常会使用现有的LLM。这为您节省了大量时间，并可以更快地得到一个工作原型。 但是，有一种情况下，您可能会发现有必要从头开始预训练自己的模型。如果您的目标领域使用的词汇和语言结构在日常语言中并不常用，您可能需

    2024年02月11日
    浏览(45)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包，优惠每天领

二维码1

领取红包

二维码2

领红包