Graph of Thoughts: Solving Elaborate Problems with Large Language Models

这篇具有很好参考价值的文章主要介绍了Graph of Thoughts: Solving Elaborate Problems with Large Language Models。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

本文是LLM系列文章,针对《Graph of Thoughts: Solving Elaborate Problems with Large Language Models》的翻译。

摘要

我们介绍了思维图(GoT):这是一个框架,它将大型语言模型(LLM)中的提示能力提升到思维链或思维树(ToT)等范式之外。GoT的关键思想和主要优势是能够将LLM生成的信息建模为任意图,其中信息单元(“LLM思想”)是顶点,边对应于这些顶点之间的依赖关系。这种方法能够将任意LLM思想组合成协同结果,提取整个思想网络的本质,或使用反馈循环增强思想。我们说明了GoT在不同任务上比现有技术具有优势,例如,与ToT相比,排序质量提高了62%,同时成本降低了31%以上。我们确保GoT可以通过新的思想转换进行扩展,从而可以用于引导新的提示方案。这项工作使LLM推理更接近人类思维或大脑机制,如复现,两者都形成了复杂的网络。

1 引言

2 背景与符号

3 GoT框架

4 系统架构和扩展性

5 用例示例

6 延迟量权衡

7 评估

8 相关工作

9 结论

提示工程是大型语言模型(LLM)研究的核心新领域之一。它能够有效地使用LLM,而无需任何模型更新。然而,设计有效的提示是一项具有挑战性的任务。
在这项工作中,我们提出了思维图(GoT),这是一种新的范式,使LLM能够在没有任何模型更新的情况下有效地解决不同的任务。关键思想是将LLM推理建模为任意图,其中思想是顶点,思想之间的依赖关系是边。
这使得思想能够进行新颖的转换,例如聚合。人类的任务解决通常是非线性的,它包括将中间解决方案组合成最终解决方案,或者在发现新的见解时改变推理流程。GoT通过其图形结构反映了这一点。
GoT优于其他提示方案,例如,确保排序质量比ToT提高62%,同时降低成本>31%。我们还为提示方案提出了一个新的度量,即思维量,以指示给定LLM输出可以携带的信息范围,其中GoT也很出色。这为更具原则性的提示工程迈出了一步。文章来源地址https://www.toymoban.com/news/detail-665401.html

到了这里,关于Graph of Thoughts: Solving Elaborate Problems with Large Language Models的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • A Survey of Large Language Models

    本文是LLM系列的第一篇文章,针对《A Survey of Large Language Models》的翻译。 自从20世纪50年代提出图灵测试以来,人类一直在探索通过机器掌握语言智能。语言本质上是一个由语法规则控制的复杂的人类表达系统。开发能够理解和掌握语言的人工智能算法是一个重大挑战。在过

    2024年02月09日
    浏览(51)
  • 完美解决 Compiled with problems: × ERROR Cannot read properties of undefined (readin

    启动vue ui 使用npm  run  serve编译启动时 , 出现以下问题: Compiled with problems: x ERROR Cannot read properties of undefined (reading \\\'use\\\') TypeError: Cannot read properties of undefined (reading \\\'use\\\') at eval (webpack-internal:///./src/plugins/element.js:13:45) at ./src/plugins/element.js (http://localhost:8080/js/app.js:96:1) at webpack_

    2024年02月03日
    浏览(55)
  • Aligning Large Language Models with Human: A Survey

    本文也是LLM相关的综述文章,针对《Aligning Large Language Models with Human: A Survey》的翻译。 在大量文本语料库上训练的大型语言模型(LLM)已成为一系列自然语言处理(NLP)任务的领先解决方案。尽管这些模型具有显著的性能,但它们容易受到某些限制,如误解人类指令、生成潜

    2024年02月14日
    浏览(33)
  • 【论文阅读】LLM4GCL: CAN LARGE LANGUAGE MODEL EM-POWER GRAPH CONTRASTIVE LEARNING?

    会议: 2024-ICLR-UNDER_REVIEW 评分:5,3,3,3 作者:Anonymous authors 文章链接:LLM4GCL: CAN LARGE LANGUAGE MODEL EM-POWER GRAPH CONTRASTIVE LEARNING? 代码链接:LLM4GCL: CAN LARGE LANGUAGE MODEL EM-POWER GRAPH CONTRASTIVE LEARNING?  图对比学习( GCL)在使用无标签数据的预训练图神经网络上被证明是有效的方法

    2024年01月24日
    浏览(32)
  • 论文阅读 A Survey of Large Language Models 3

    为了检验LLM的有效性和优越性,大量的任务和基准被用来进行实证评估和分析。我们首先介绍了LLM语言生成和理解的三种基本评估任务,然后介绍了LLM具有更复杂设置或目标的几个高级任务,最后讨论了现有的基准和实证分析。 在这一部分中,我们主要关注LLM的三种评估任务

    2024年02月13日
    浏览(32)
  • A Survey on Evaluation of Large Language Models

    这是LLM相关的系列文章,针对《A Survey on Evaluation of Large Language Models》的翻译。 大型语言模型(LLM)由于其在各种应用中前所未有的性能,在学术界和工业界都越来越受欢迎。随着LLM在研究和日常使用中继续发挥重要作用,其评估变得越来越重要,不仅在任务层面,而且在社

    2024年02月13日
    浏览(29)
  • Enabling Large Language Models to Generate Text with Citations

    本文是LLM系列的文章,针对《Enabling Large Language Models to Generate Text with Citations》的翻译。 大型语言模型(LLM)已成为一种广泛使用的信息搜索工具,但其生成的输出容易产生幻觉。在这项工作中,我们的目标是使LLM能够生成带有引用的文本,提高其事实的正确性和可验证性。

    2024年02月12日
    浏览(36)
  • 大模型 LLM 综述, A Survey of Large Language Models

    一般认为NLP领域的大模型=10 Billion参数(也有人认为是6B、7B, 工业界用, 开始展现涌现能力); 经典大模型有GPT-3、BLOOM、Flan-T5、GPT-NeoX、OPT、GLM-130B、PaLM、LaMDA、LLaMA等; 大模型时间线, 图来自A Survey of Large Language Models,下同。 2.1 涌现 涌现, emerge(abilities), 即一般指在大模型中出现

    2024年02月08日
    浏览(44)
  • YaRN: Efficient Context Window Extension of Large Language Models

    本文是LLM系列文章,针对《YaRN: Efficient Context Window Extension of Large Language Models》的翻译。 旋转位置嵌入(RoPE)已被证明可以在基于Transformer的语言模型中有效地编码位置信息。然而,这些模型无法推广到它们所训练的序列长度。我们提出了YaRN(另一种RoPE扩展方法),这是一

    2024年02月09日
    浏览(30)
  • LLM:LoRA: Low-Rank Adaptation of Large Language Models

    随着模型规模的不断扩大,微调模型的所有参数(所谓full fine-tuning)的可行性变得越来越低。以GPT-3的175B参数为例,每增加一个新领域就需要完整微调一个新模型,代价和成本很高。 为解决微调大规模语言模型到不同领域和任务的挑战,已有多种方案,比如部分微调、使用

    2024年02月07日
    浏览(32)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包