1. Toy模板网首页
  2. > Toy博客

论文阅读：Meta-Prompting

7月前 作者：玄宁 分类：Toy博客 阅读(31) 违法举报

这篇具有很好参考价值的文章主要介绍了论文阅读：Meta-Prompting。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

元提示：任务-不可知论框架 强化 语言模型

“不可知论”，通常用来描述可以应用于多种不同任务的模型，指模型并非为解决特定任务而设计

github.com

摘要：

  • 元提示引导 LM 将复杂的任务分解为更小、更易于管理的子任务，子任务由同一 LM 的不同“专家”实例处理，每个实例都在特定的、定制的指令下运行

  • 使用批判性思维和验证流程来完善和验证最终结果

  • 协作提示方法使单个 LM 能够同时充当综合协调者和多元化专家小组，从而提高其在各种任务中的表现

  • 下图为元提示在三个任务中的准确性图（使用python与元提示结合的方式得出的结果）

  • 论文阅读：Meta-Prompting,人工智能

Introduction

  • 由大模型的输出依旧不准确，引出一个问题 是否有一套框架能够细化、提高准确性

  • 本文工作

    • ( i )将复杂的任务或问题分解成更小的、可管理的部分；

    • ( ii )将这些片段分配给专门的"专家"模型，并提供详细的自然语言说明；

    • ( iii )监督这些专家模型之间的交流；

    • ( iv)在整个过程中运用自己的批判性思维、推理和验证技能

  • 该方法能够使单个黑盒LM有效地作为中心体和不同的专家小组发挥作用，以产生更准确、可靠和连贯的响应

  • 与其他框架不同的是，元提示在不同的任务和输入中使用同一套高级指令

  • 论文阅读：Meta-Prompting,人工智能

  • 循环过程：a )为元提示模型注入指令，( b )元提示模型的输出(提示基于整个历史)，( c )专家的输出(只有在元模型生成的指导语上才有新提示)。

Meta-prompting

  • 元提示：使用一个模型2来协调和执行多个独立的查询，随后合成响应结果以呈现最终的响应结果

    • 单一的通用模型可以为通用查询提供有价值的结论，但将多个特定领域模型的观点和结论结合起来，有可能产生更全面、更稳健和更准确的解决方案。

  • 程序

    • 转换输入：将输入转换至合适的模板内

    • 循环

      1. 当前消息列表H_t直接传给特定领域专家获得回答

      2. 如果无返回回答，将消息列表传给任意领域专家，从回答中提取指令，再添加到新的模板内

      3. 返回最终答案：如模型答案包含最终答案，则抽取答案并返回

      4. 若模型返回不包括最终答案也不包括专家调用，则在消息列表Ht中附加一条错误报告

  • 元和专家模型规范：Meta和Expert两种能力中发挥作用根据其提示语中各自的模型指示来区分，元模型遵循图3中提供的一组指示，而专家模型遵循由元模型在推理时动态确定的单独指示

  • 论文阅读：Meta-Prompting,人工智能

实验

  • baseline：标准提示，0-shot CoT，专家提示多人提示

  • 数据集和任务：EM for Geometric Shapes, Multi-Step Arithmetic Two, and Checkmate-in-One; SM for MGSM and Word Sorting,; and FC for Game of 24, Python Programming Puzzles, and Shakespearean Sonnet Writing.

    • 包含了数学、算法推理、诗写作多种任务

  • 答案提取和评价方案

    • 答案包含在 三引号 中

    • 定义了三个指标

      • Exact Match (EM)：答案与真实答案精确对齐指标

      • Soft Match (SM)：在模型的输出中存在一个基本的真值标签是可以的

      • Functionally Correct (FC): 确定答案在功能上是否正确

  • 模型与推理主要使用GPT-4 temperature=0 top-p=0.95 max_token=1024

  • 论文阅读：Meta-Prompting,人工智能

  • 从实验结果来看，元提示可以以任务无关的方式利用Python解释器，在许多任务中显著地提高性能

  • 对实验结果的分析

    • 这种方法被证明在处理严重依赖于启发式或迭代试错问题解决策略的任务时特别有效。

    • 元提示框架的成功在于策略性地使用了专业知识、自我协作和隐含的验证循环

      • 群体智慧策略：一组不同的批判性思想家的集体意见往往超过个别专家的见解。

      • 应用群体智慧实现任务零样本分解、错误检测和答案的聚合

    • 元提示( meta-prompting )中，通过邀请专家或人物来重新评估问题，引入了新的视角。这种方法为新的见解和潜在的发现以前未被注意到的不正确的解决方案提供了机会

    • 实时代码执行能够对解决方案进行即时验证和优化，大幅提高问题求解的效率和精度。

讨论

  • 元提示补充个分析

    • 元模型对专家类型的动态选择清晰地说明了其与具体任务需求的适应性和策略性契合

    • 在元模型中达到解决方案所需的平均轮数在不同任务之间存在显著差异

    • 元模型的系统验证协议加强了其解决方案的可靠性和健壮

    • 元提示使元模型能够比其他提示方法更频繁地承认有效解的缺失或不可能，或无法找到有效解

    • 通过对比gpt-4和gpt-3.5发现，模型的规模、语料库的质量和大小等因素可能会显著影响元提示方法的效果。

  • 元提示的局限性

    • 成本效率、可扩展性、操作线性度、域限制、信息传输挑战和响应模式方面都存在一定限制

结论

  • 元提示，以 与任务无关的形式 增强语言模型能力

    • 利用LM充当中心体和专家实例，赋予传统模型动态的多功能能力

  • 元提示能够熟练地分解复杂的任务，为每个组件提供不同的专业知识，无缝地集成不同的输出文章来源地址https://www.toymoban.com/news/detail-848631.html

到了这里，关于论文阅读：Meta-Prompting的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处： 如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：
领支付宝红包 赞助服务器费用

相关文章

  • 使用 Meta Llama 3 构建人工智能的未来

    使用 Meta Llama 3 构建人工智能的未来

    使用 Meta Llama 3 构建人工智能的未来 现在提供 8B 和 70B 预训练和指令调整版本，以支持广泛的应用 我们已将 Llama 3 集成到我们的智能助手 Meta AI 中，它扩展了人们完成工作、创造和与 Meta AI 联系的方式。通过使用 Meta AI 进行编码任务和解决问题，您可以亲眼目睹 Llama 3 的性能

    2024年04月27日
    浏览(40)
  • （论文阅读）Chain-of-Thought Prompting Elicits Reasoning in Large Language Models

    （论文阅读）Chain-of-Thought Prompting Elicits Reasoning in Large Language Models

    论文地址 https://openreview.net/pdf?id=_VjQlMeSB_J         我们探索如何生成一个思维链——一系列中间推理步骤——如何显著提高大型语言模型执行复杂推理的能力。 特别是，我们展示了这种推理能力如何通过一种称为思维链提示的简单方法自然地出现在足够大的语言模型中，

    2024年02月08日
    浏览(98)
  • 【论文阅读笔记】Detecting AI Trojans Using Meta Neural Analysis

    【论文阅读笔记】Detecting AI Trojans Using Meta Neural Analysis

    个人阅读笔记，如有错误欢迎指出！ 会议：2021 SP        Detecting AI Trojans Using Meta Neural Analysis | IEEE Conference Publication | IEEE Xplore 问题：         当前防御方法存在一些难以实现的假设，或者要求直接访问训练模型，难以在实践中应用。 创新：         通过元分类器

    2024年01月23日
    浏览(44)

  • 人工智能（第三版）阅读笔记

      要确定人工智能的优缺点，就必须首先理解和定义智能。   R.斯腾伯格:智能是个体从经验中学习、正确推理、记忆重要信息，以及应对日常生活需求的认知能力。 不同的动物物种具有不同程度的智能,但并不是所有能够思维的物体都有智能--智能也许就是高效以及有效的思

    2024年01月23日
    浏览(49)
  • 论文阅读：Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks

    论文阅读：Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks

    要弄清MAML 怎么做，为什么这么做 ，就要看懂这两张图。 先说MAML**在做什么？**它是打着Mate-Learing的旗号干的是few-shot multi-task Learning的事情。具体而言就是想训练一个模型能够使用很少的新样本，快速适应新的任务。 我们定义一个模型 f f f , 输入 x x x 输出 a a a 。 -定义每一

    2024年02月11日
    浏览(50)
  • 论文阅读 - Few-shot Network Anomaly Detection via Cross-network Meta-learning

    论文阅读 - Few-shot Network Anomaly Detection via Cross-network Meta-learning

    论文链接：https://arxiv.org/pdf/2102.11165.pdf   目录 摘要： 引言 问题定义 方法 Graph Deviation Networks Cross-network Meta-learning         网络异常检测旨在找到与绝大多数行为显着不同的网络元素（例如节点、边、子图）。它对从金融、医疗保健到社交网络分析等各种应用产生了深远

    2024年02月14日
    浏览(49)

  • 【SciSpace】人工智能太强大了！文献阅读版ChatGPT，一站式科研文献阅读工具 - 知识点目录

    首先需要上传PDF 网站支持中文问答 Explain math table - 可以询问表格或者公式信息

    2024年02月16日
    浏览(47)
  • 人工智能论文写作

    人工智能论文写作

    阅读摘要 根据摘要，看文章是否需要读。 主要看目的或者方法是不是和自己相关。 阅读和记笔记框架 这里记录好阅读过的论文后，基本上就把relate work这一部分也完成了。 寻找研究痛点 寻找研究方向 方向1 例如： 方向2：当前的热点方向 当前大部分论文都是基于上图这个

    2024年02月09日
    浏览(73)
  • 6月人工智能论文推荐

    6月人工智能论文推荐

    https://arxiv.org/abs/2306.03799 Prompt engineering 是通过提供明确和具体的指令来增强大型语言模型(llm)能力的基本技术。它使LLM能够在各种任务中脱颖而出，例如算术推理、问题回答、摘要、关系提取、机器翻译和情感分析。研究人员一直在积极探索不同的提示工程策略，如思维链

    2024年02月10日
    浏览(38)
  • 毕业论文如何生成目录？人工智能毕业论文选题

    毕业论文如何生成目录？人工智能毕业论文选题

    AIPaperPass是一款专为AI论文写作而设计的创新平台。作为一名研究人员或学生，写作一篇高质量的AI论文可能是一项繁琐而耗时的任务。然而，借助AIPaperPass论文写作生成器，您可以轻松地生成高质量的AI论文，节省宝贵的时间和精力。 ——应用优点—— 1、高效论文生成 AIPa

    2024年02月20日
    浏览(40)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包，优惠每天领

二维码1

领取红包

二维码2

领红包