Prompt Learning 简介

这篇具有很好参考价值的文章主要介绍了Prompt Learning 简介。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

最近去参会,看到了大量关于Prompt相关的论文,或者说跟NLP NLU相关的新论文或多或少都使用到了Prompt learning的一些思想或者设置。由于本人主业不是是做NLP的,所以对NLP顶会的这一现象觉得很有意思,趁闲暇学习了一下Prompt learning。 网上讲解的帖子很多,我整理了一些帖子的核心内容,也写一下我自己在学习过程中的感悟。

-----手动分割----

1. 大型语言模型的进化史

这里引入刘鹏飞大佬的的观点,他在论文中提到,语言模型在Deep learning 时代,大致经历了四个阶段:

  1. 完全监督的机器学习:通过构建特征工程,直接解决下游任务。
  2. 完全监督深度神经网络:通过构建ML模型,训练一个端到端的模型,同样的,直接解决下游任务。实际上,相比于后两种情况,1和2在某些程度上是一个意思。
  3. 预训练模型微调阶段: 先通过大型的生语料库预训练大型语言模型,比如常见的各种Transformer,再进行Fine Tuning来使大型语言模型适配下游子任务。
  4. prompt 提示学习阶段: 跟3一样,先获得大型语言模型,然后通过提示学习Promt Learning, 在一定程度上重构下游任务来适配大型语言模型,以完成下游任务。

如图所示,NLP语言模型的四个阶段Prompt Learning 简介
对比一般的Fine-tuning 范式,我们有:
• 左边是传统的 Model Tuning 的范式:对于不同的任务,都需要将整个预训练语言模型进行精调,每个任务都有自己的一整套参数。
• 右边是Prompt Tuning,对于不同的任务,仅需要插入不同的prompt 参数,每个任务都单独训练Prompt 参数,不训练预训练语言模型,这样子可以大大缩短训练时间,也极大的提升了模型的使用率

Prompt Learning 简介

Prompt Learning的基本流程

关于预训练模型的前三种情况就不赘述了,Prompt Engineering的核心思想,主要就是将已有的下游NLP任务重构成token级的预测任务,在不改变原有的pre-trained LM的前提下(也就是说不进行fine tuning)直接将LM应用的过程,换言之,是在用下游任务适配LM。融入了 Prompt 的模式大致可以归纳成 “Pre-train, Prompt, and Predict”,在该模式中 下游任务被重新调整成类似预训练任务的形式

Prompt 的工作流包含以下4部分,如图:

  1. Prompt 模版(Template)的构造
  2. Prompt 答案空间映射(Verbalizer)的构造
  3. 文本代入template,并且使用预训练语言模型进行预测
  4. 将预测的结果映射回label。

Prompt Learning 简介

2.1 Prompt Engineering
  1. cloze prompt:在 prompt 中有插槽 (slot) 的类型为 cloze prompt,这类 prompt 就是需要模型去填充这个 slot。这类可以选用 L2R LM (ELMo) 或者 Masked LM (BERT) 来实现。
  2. prefix prompt:输入的文本全部在 answer 前的类型为 prefix prompt,这类 prompt 通常是需要模型去预测或者生成这个 slot。这类模型可以选用 L2R LM (RNN),Prefix LM,以及 Encoder-Decoder (GPT) 去实现。
2.2 Template Engineering

根据不同的下游任务,我们需要设计不同的Template形式,如图所示:
Prompt Learning 简介

对于 prompt template,有两种方法来生成,分别为人工设计模板和自动生成模板。

  1. 人工设计模板: 如上面举的例子一样,人工设计模板是最直观的方法。抽象来看,设文本为 X, 插槽为Z,人工设计的模板为[X] template words [Z]。但是人工设计模板有很大的缺陷,尽管这样非常直觉,易于理解,而且无需额外的计算代价,但是:1) 人工设计模板是很花费时间且需要先验知识的;2) 人工设计也会有失败的情况在内。为了解决上面的问题,就提出了通过训练的方式自动生成模板。
  2. 自动生成模板: 自动生成模板有两种类型。discrete prompts (离散提示,i.e., hard prompts),这类型 prompts 就是让模型在一组离散模板的空间中选择一个最优的模板。continuous prompts (连续提示, i.e., soft prompts),这类型 prompts 就是让语言模型自动训练一个 prompts 出来。

这里需要额外注意的是自动生成模板的两种情况,因为不同的prompts构建对结果的影响非常大(这也是prompt的一个缺陷,从一个炼丹炉跳到了另一个 \doge)。其中,自动生成模板的过程中,包含了一些可训练的部分。

  1. 离散的Prompts: 通过数据挖掘构建出一下可读的prompts
  2. 连续 Prompts:不一定要将 Prompt 的形式设计成人类可以理解的自然语言 只要机器理解就行了 因此,直接作用到模型的 Embedding 空间,连续型 Prompts 去掉了两个约束条件,这也是最关键的两点:(1)模版中词语的 Embedding 可以是整个自然语言的 Embedding,不再只是有限的一些 Embedding;(2)模版的参数不再直接取 PLM 的参数,而是有自己独立的参数,可以通过下游任务的训练数据进行调整。因此,连续Prompts是需要训练,甚至是微调的一组参数。
2.3 Answer Engineering

与 prompt engineering 相同,answer engineering 同样有人工设计与自动获取两种方法。

  1. 人工设计答案: 人工设计分为两类 空间。Unconstrained spaces 中的空间包含了输出空间的所有结果,token 级的话则是全部词表中的词 (比如 W2V 的输出层),其余类型相同。这类方法可以直接找到 Z 与 y 的映射关系。Constrained spaces,这类方法通常输出是在一个限定范围内 (比如 positive 和 negative),这类方法就需要一个映射关系来映射 Z 与 y。
  2. 自动学习答案: 与 prompt engineering 相同,有 discrete answer search 和 continuous answer search。
2.4 Language Model Engineering

在根据不同的下游任务选取具体的预训练语言模型时,可以分为如下5类:
• autoregressive-models: 自回归模型,主要代表有 GPT,主要用于生成任务
• autoencoding-models: 自编码模型,主要代表有 BERT,主要用于NLU任务
• seq-to-seq-models:序列到序列任务,包含了an encoder 和 a decoder,主要代表有 BART,主要用于基于条件的生成任务,例如翻译,summary等
• multimodal-models:多模态模型
• retrieval-based-models:基于召回的模型,主要用于开放域问答

2.5 Prompt 训练方式

整个 prompt 的训练分为两部分,LM 的训练和 prompts 的训练。两者都有不训练和训练两种方式,所以就组合为了4种情况:

prompts 没有参数,LM 也不参与训练。
prompts 需要训练,LM 不参与训练 (毕竟 GPT 不是穷人配用的)。
prompts 没有参数,LM 进行微调。
prompts 需要训练,LM 也要进行微调。
Prompt Learning 简介
这里需要注意的是,根据我们在下游任务上的数据量的不同,我们选择的训练情况也要有所区分。毕竟GPT3的论文title是LMs are Few Shot Learners, 也就是说,这些我们选用的大语言模型,对于下游任务本身就不是数据敏感型的,这些很powerful的LM在使用prompt策略的时候,更多是由于本地无法做finetuning才选取的妥协之策。那么,在这个基础上,少量的下游数据,对应了更少的下游训练,使用frozen LM+Prompts是更为常见的组合。

总结

Prompt Learning 使得所有的NLP任务成为一个语言模型的问题

• Prompt Learning 可以将所有的任务归一化预训练语言模型的任务
• 避免了预训练和fine-tuning 之间的gap,几乎所有 NLP 任务都可以直接使用,不需要训练数据。
• 在少样本的数据集上,能取得超过fine-tuning的效果。
• 使得所有的任务在方法上变得一致

Prompt Learning 和 Fine-tuning 的范式区别

• Fine-tuning 是使得预训练语言模型适配下游任务
• Prompting 是将下游任务进行任务重定义,使得其利用预训练语言模型的能力,即适配语言模型

Prompt Learning 简介

一些感想:

过去我们使用BERT的时候,我们先预训练一个模型,然后根据不同的任务,准备不同的数据对预训练的模型进行微调。所以你还是需要收集一些下游任务的数据。而GPT-3想要做的就是拿掉微调部分,它想用来直接解决下游任务。那么这样的背景下,Prompt Learning是无比契合GPT3强大的语言建模能力的。也就是说,从原理上,Prompt Learning更多解决的是小样本问题。能完成few-shot甚至zero-shot 任务。

  1. Prompt是一种fit大型语言模型到下游任务的一种方式,无需finetuning的过程,可以在无需额外的训练条件下就可以达到下游任务的fitting;
  2. 因为很多大模型 我们甚至连对其微调也做不到,所以进行Prompt在某种程度上是一种妥协之策,为了在有限的训练条件下挖掘大模型的能力。但是反过来,Prompt并不一定是最优解,当我们有能力做Finetuning时,(比如GPU很强,下游样本很多),我们还是以Fine tuning为优先选择。
  3. 接着上面的内容,Prompts给了普通人fitting 大模型的能力,也给了大家更多发论文的机会 \doge
  4. Prompt work的一个基础是,我们在构建人类语言的文本数据时,言本身的表征是有限的,有确定范围的文字/单词,这是在其他领域一般模型所不具备的。同时,当前的大模拥有强大的表征能力,哪怕是通过Prompt这种反向(实际上是把简单问题复杂化了,如将情绪分类任务重构成了单词预测任务,那么分类难度可能从5分之一变成了万分之一)任务重构,依然能取得很好的效果。
  5. 构建Prompts在某种程度算是一种trick,虽然这种方式在范式层面有一定的adaptation,但是为每一个下游任务构建templates和prompts engineering,并不是一个很优雅的行为,期待后续有能取代这种feature engineering 的方式。

部分内容搬运自:
【1】 什么是 prompt learning?简单直观理解 prompt learning
【2】【NLP】Prompt Learning 超强入门教程
【3】Prompt Learning-使用模板激发语言模型潜能
【4】OpenAI 官方Instruction
【5】Prompt Learning详解文章来源地址https://www.toymoban.com/news/detail-418768.html

到了这里,关于Prompt Learning 简介的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 高效微调大型预训练模型的Prompt Learning方法

    近年来,自然语言处理(NLP)领域的预训练模型日益增多,应用场景也变得多样。从NER(命名实体识别)到生成任务,如何高效地使用这些模型并进行微调成为了研究和实践的重要课题。本文将深入探讨一种称为Prompt Learning的方法,通过选择模型、构建模板、定义verbalizer等步

    2024年02月02日
    浏览(42)
  • Introducing Language Guidance in Prompt-based Continual Learning

    本文是LLM系列文章,针对《Introducing Language Guidance in Prompt-based Continual Learning》的翻译。 持续学习旨在学习一系列任务的单一模型,而无需访问以前任务的数据。该领域最大的挑战仍然是灾难性的遗忘:早期任务的可见类的性能损失。一些现有的方法依赖于昂贵的重放缓冲区

    2024年02月09日
    浏览(56)
  • 【提示学习论文六】MaPLe: Multi-modal Prompt Learning论文原理

    这篇文章于2023年发表在CVPR(Conference on Computer Vision and Pattern Recognition),作者是Muhammad Uzair Khattak,Hanoona Rasheed,Muhammad Maaz,Salman Khan,Fahad Shahbaz Khan。 研究发现Clip的问题:在单个分支(语言或视觉)中使用prompt来调整表示是次优的,它不能在下游任务上灵活地动态调整两个

    2024年01月22日
    浏览(41)
  • Decoupling Knowledge from Memorization: Retrieval-augmented Prompt Learning

    本文是LLM系列的文章,针对《Decoupling Knowledge from Memorization: Retrieval 提示学习方法在仍然遵循基于参数的学习范式的同时,通过诱导更好的小样本表现,在自然语言处理中掀起了波澜;学习中的遗忘和死记硬背问题可能会遇到不稳定的泛化问题。具体来说,在完全监督的训练

    2024年02月11日
    浏览(44)
  • 论文解读:(UPL)Unsupervised Prompt Learning for Vision-Language Models

    存在的问题 之前的来自目标数据集的标记数据(有监督学习)可能会限制可伸缩性。 动机 通过无监督提示学习(UPL)方法,以避免提示工程,同时提高类clip视觉语言模型的迁移性能。 主张top-k而不是top-p 注:top-k是指挑选概率最大的k个,top-p是指挑选预测概率大于p的那些数据 看

    2024年04月23日
    浏览(56)
  • 论文笔记--OpenPrompt: An Open-source Framework for Prompt-learning

    标题:OpenPrompt: An Open-source Framework for Prompt-learning 作者:Ning Ding, Shengding Hu, Weilin Zhao, Yulin Chen, Zhiyuan Liu, Hai-Tao Zheng, Maosong Sun 日期:2022 期刊:ACL   文章介绍了一种开源的工具OpenPrompt,该工具将prompt-learning的一些操作进行封装处理,设计成为一种用户友好的开源三方库,使

    2024年02月17日
    浏览(44)
  • Prompt learning 教学[技巧篇]:通过增加示例、引导词、特殊符号指令等方式让chatgpt输出更好的答案

    在问答场景里,为了让 AI 回答更加准确,一般会在问题里加条件。比如让 AI 推荐一部电影给你 Recommend a movie to me 。但这个 prompt 太空泛了,AI 无法直接回答,接着它会问你想要什么类型的电影,但这样你就需要跟 AI 聊很多轮,效率比较低。 所以,为了提高效率,一般会在

    2024年02月04日
    浏览(71)
  • 论文笔记 | PromptCast: A New Prompt-based Learning Paradigm for Time Series Forecasting

    这篇论文的核心思想就是把原始的时序数据转换成文本提示,对大模型进行微调,通过对话的方式进行预测。 笔者是根据原文逐一翻译并阅读,文章可能有点长,有需要的可以直接看对应部分。这也是笔者第一次分享论文笔记,有不好的地方还请读者多见谅。 Paper:https://

    2024年04月25日
    浏览(53)
  • 论文笔记 | 谷歌 Soft Prompt Learning ,Prefix-Tuning的 -> soft promt -> p tuning v2

    ptuning - Prefix-Tuning - soft promt - p tuning v2 \\\"The Power of Scale for Parameter-Efficient Prompt Tuning\\\" EMNLP 2021 Google Brain 人能理解的不一定是模型需要的,所以不如让模型自己训练所需的prompt。 论文作者:Brian Lester, Rami Al-Rfou Google Blog: \\\"Guiding Frozen Language Models with Learned Soft Prompts\\\" Github Repo J

    2024年02月11日
    浏览(42)
  • 关于最近VSCode的Python代码格式化失效问题的解决办法

    隔了一段时间再次打开VSCode写Python脚本,Python扩展弹出一条警告 查看日志输出发现Python的代码格式化设置发生了变化 简单来说就是Python扩展已经将原有的默认代码格式化工具 \\\"ms-python.python\\\" 弃用,格式化功能已移交到单独的格式化工具扩展。所有以 \\\"python.linting\\\" 开头的设置都

    2024年02月20日
    浏览(58)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包