【LLM】Prompt微调

这篇具有很好参考价值的文章主要介绍了【LLM】Prompt微调。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

Prompt

在机器学习中,Prompt通常指的是一种生成模型的输入方式。生成模型可以接收一个Prompt作为输入,并生成与该输入相对应的输出。Prompt可以是一段文本、一个问题或者一个片段,用于指导生成模型生成相应的响应、续写文本等。

Prompt优化

一般大模型蕴含的训练数据量往往是百亿级别甚至万亿级别。大模型通常无法在小数据上微调。因此,基于Prompt的微调技术便成为了首要选择。

Prompt优化方式

有两种方向上的优化方式:

  1. 从Prompt结构上

    • Few-Shot(FS):模型推理时给予少量样本,但不允许进行权重更新。
    • One-Shot(1S):模型推理时只给予一个样本。
    • Zero-Shot(0S):模型推理时不允许提供样本。
  2. 从Prompt内容上

    • Role Prompt:与大模型玩角色扮演游戏。让大模型想象自己是某方面的专家、因而获得更好的任务效果。
    • Instruction Prompt:指令形式的Prompt。
    • Chain-of-Thought(CoT)Prompt:常见于推理和计算任务中,通过让大模型给出推理或计算步骤来解决较难的推理问题,比如进行应用数学计算。
    • Multimodal Prompt:多模态Prompt。顾名思义,输入不再是单一模态的Prompt,而是包含了众多模态的信息。比如同时输入文本和图像与多模态大模型进行交互。

比较重要的是Few-Shot PromptChain-of-Thought Prompt。它们对后续人们构建AI Agent应用以及各项大模型产品落地起到了关键的作用。

Few-Shot Prompt

eg:尝试给宠物狗取个名字

  • Zero-Shot
    【LLM】Prompt微调,工具,prompt,大模型,LLM,GPT,人工智能
  • Few-Shot
    【LLM】Prompt微调,工具,prompt,大模型,LLM,GPT,人工智能
    可以看到示例中,Zero-Shot 的Prompt中,大模型给出的名字比较泛化,只是一种可能的比较合理的解释。Few-Shot 的Prompt中,大模型能够了解我们的取名倾向,并给出和示例风格一致的名字。

Chain-of-Thought Prompt

CoT Prompt则能够大幅提高大模型的多步推理能力:

  • 不推理
    【LLM】Prompt微调,工具,prompt,大模型,LLM,GPT,人工智能
  • Cot推理
    【LLM】Prompt微调,工具,prompt,大模型,LLM,GPT,人工智能
    可以看出,大模型在直接给出结果时,有时候答案明显是错误的,但我们只需要改动一下Prompt,使用Cot Prompt ,让他输出详细的计算过程或者思考过程,大模型就能够给出正确的结果。

CRISPE框架

有时合理组合使用这些Prompt优化方法,就可以让Prompt效果更好,整体框架结构:

  • CR:Capacity and Role(能力和角色),你希望AI扮演怎样的角色。
  • I:Insight(洞察),提供背景信息和上下文。
  • S:Statement(陈述),你希望AI做什么。
  • P:Personality(个性),你希望AI以什么风格或方式回答你。
  • E:Experiment(实验),要求AI为你提供多个答案。

假设我们的目标是获取一个浅显易懂的关于导数的解释方式,第一种方式是:
【LLM】Prompt微调,工具,prompt,大模型,LLM,GPT,人工智能
第二种方式我们来应用一下框架:
【LLM】Prompt微调,工具,prompt,大模型,LLM,GPT,人工智能

Prompt的持续优化

Prompt的优化并不是一蹴而就的,而是一个持续的过程,使用上述方式和框架也不能够保证每次都可以一次就拿到满意的结果,尤其是当我们需要大模型完成一些比较复杂的工作时。但是遵循这些方法,我们可以有更高的可能性能够通过较少的调整次数得到一个满意的结果,并且能够在这个结果上进行微调,比如润色,适当地增加图表等。

Prompt 除了人工调节,也可以让机器自动调节,也就是由机器自动生成 Prompt,这就是 Prompt Tuning。

文章参考:https://www.zhihu.com/collection/920873327文章来源地址https://www.toymoban.com/news/detail-796895.html

到了这里,关于【LLM】Prompt微调的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 飞浆AI studio人工智能课程学习(1)-大模型时代&优质Prompt

    学习记录 源自:百度飞浆-基于大模型的优质Prompt开发课 原始视频地址 原始视频:地址 朵云轩x文心一格的110万拍卖画作 创作者在一些提示词平台上进行售/Prompt Base -使用提示词能让想象力得到发挥 -发掘提示词可以产生收益 开始构建你的优质prompt 大规模预训练语言模型LL

    2024年02月10日
    浏览(58)
  • 《花雕学AI》18:AI绘画尝鲜Prompt Hunt,使用人工智能模型来创造、探索和分享艺术作品

    人工智能是当今科技领域的热门话题,它不仅可以帮助人类解决各种实际问题,也可以激发人类的创造力和艺术感。Prompt Hunt就是一个利用人工智能模型来创造、探索和分享艺术作品的AI绘画网站。它提供了三种不同的模型,分别是Stable Diffusion、DALL·E和Midjourney,它们可以根据

    2024年02月09日
    浏览(82)
  • 解密Prompt系列13. LLM Agent-指令微调方案: Toolformer & Gorilla

    上一章我们介绍了基于Prompt范式的工具调用方案,这一章介绍基于模型微调,支持任意多工具组合调用,复杂调用的方案。多工具调用核心需要解决3个问题,在哪个位置进行工具调用(where), 从众多工具中选择哪一个(Which), 工具的输入是什么(What)。Where + Which + What,我称之为

    2024年02月12日
    浏览(45)
  • 解密Prompt系列12. LLM Agent零微调范式 ReAct & Self Ask

    前三章我们分别介绍了思维链的使用,原理和在小模型上的使用。这一章我们正式进入应用层面,聊聊如何把思维链和工具使用结合得到人工智能代理。 要回答我们为什么需要AI代理?代理可以解决哪些问题?可以有以下两个视角 首先是我们赋能模型,如果说 LLM是大脑,那

    2024年02月15日
    浏览(50)
  • 【人工智能】GPT-4 的使用成本,竟然是GPT-3.5的50倍之多 —— 大语言模型(LLM)开发者必须知道的数字

    GPT-4的使用成本,竟然是GPT-3.5的50倍之多; 而让大语言模型同时处理25个请求的时间,仅是处理单个请求的2倍…… 这些数据听上去可能有些出乎意料,但都是真实的。 它们出自一篇名为《大语言模型(LLM)开发者必须知道的数字》的GitHub文章。 GitHub - ray-project/llm-numbers: Nu

    2024年02月07日
    浏览(72)
  • 人工智能prompt的优化技巧

    了解prompt的构成有助于我们能够更好的编写prompt,prompt的构成类似于自然语言的成分。 prompt主要包括以下部分: 指令:你想让人工智能执行的命令 上下文:可以涉及外部信息或附加上下文,可以引导模型产生更好的响应,不是必须的 输入数据:我们感兴趣的输入或问题(以

    2024年02月16日
    浏览(39)
  • Learn Prompt-人工智能基础

    什么是人工智能?很多人能举出很多例子说这就是人工智能,但是让我们给它定义一个概念大家又觉得很难描述的清楚。实际上,人工智能并不是计算机科学领域专属的概念,在其他学科包括神经科学、心理学、哲学等也有人工智能的概念以及相关的研究。在笔者的观点里,

    2024年02月07日
    浏览(42)
  • Prompt设计与大语言模型微调

    本文主要介绍了Prompt设计、大语言模型SFT和LLM在手机天猫AI导购助理项目应用。 ChatGPT基本原理 “会说话的AI”,“智能体” 简单概括成以下几个步骤: 预处理文本:ChatGPT的输入文本需要进行预处理。 输入编码:ChatGPT将经过预处理的文本输入到神经网络中进行编码处理,使

    2024年02月08日
    浏览(39)
  • Prompt Learning:人工智能的新篇章

    想象一下,你正在和一位智能助手对话,它不仅理解你的问题,还能提出引导性的问题帮助你更深入地思考。这正是prompt learning的魔力所在——它让机器学习模型变得更加智能和互动。在这篇博客中,我们将探索prompt learning的奥秘,它如何改变我们与AI的互动方式,以及它在

    2024年04月10日
    浏览(53)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包