论文笔记：Large Language Models as Analogical Reasoners

7月前作者：UQI-LIUWJ 分类：Toy博客阅读(42) 违法举报

这篇具有很好参考价值的文章主要介绍了论文笔记：Large Language Models as Analogical Reasoners。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

iclr 2024 reviewer打分5558

1 intro

基于CoT prompt的大模型能够更好地解决复杂推理问题
- 然而传统CoT需要提供相关的例子作为指导，这就增加了人工标注的成本
- ——>Zero-shot CoT避免了人工标注来引导推理
  - 但是对于一些复杂的任务难以完成推理，例如code generation
——>论文提出一种“归纳学习”的提示方法
- 首先设计prompt让大模型生成出与当前问题比较相关的问题和答案，以辅助问答提出的问题

论文笔记：Large Language Models as Analogical Reasoners,论文笔记,语言模型,人工智能,自然语言处理

2 preliminary

给定一个问题x
- 首先通过prompt将问题映射到文本输入ϕ ( x )
  - zero-shot ϕ ( x ) 就是x
    
    zero-shot CoT ϕ ( x ) 是[x] think step by step
    
    few-shot CoT
    ϕ ( x ) 是[x]和一些带label的例子，即
    
    [x1][r1][a1].....[xK][rK][aK][x]
- 任务目标是调用LLM解决这个问题【生成目标答案y】
  - 生成的目标答案可以包含reasoning path r【推理过程】和答案a

3 方法

3.1 Self-Generated Exemplars

让大模型从在训练阶段掌握的problem-solving knowledge中生成出相关的问题和解决方法

论文笔记：Large Language Models as Analogical Reasoners,论文笔记,语言模型,人工智能,自然语言处理

3.1.1 prompt举例

论文笔记：Large Language Models as Analogical Reasoners,论文笔记,语言模型,人工智能,自然语言处理

3.1.2 大模型给的答案

论文笔记：Large Language Models as Analogical Reasoners,论文笔记,语言模型,人工智能,自然语言处理

大模型先生成出3个相关的且互不相同的problem，并给出相应的解决方案，然后再对目标问题进行解决。

3.1.3 self-generated instruction的三个核心部分

明确地让大模型生成相关且不同的样例。
- 因为大模型会偏向于重复地生成一些经典的问题，导致误导
single-pass VS independent exemplar generation
- 所谓single-pass，就是直接prompt，让模型生成3个样例
- independent exemplar generation：让模型生成若干样例，然后采样3个样例，之后再重新设计prompt让大模型进行生成
- ——>通过实验，发现single-pass效果最好
生成的样例数量：3~5最佳

3.2 Self-generated Knowledge + Exemplars

对于像代码生成等复杂的任务，3.1这样的案例生成方法不一定能过让模型很好地解决此类问题
- ——>论文提出一种high-level generation方法。通过设计如下指令来实现：
【让模型先思考选择什么algorithm，以及algorithm对应的tutorial】

有点类似于：论文笔记：Take a Step Back：Evoking Reasoning via Abstraction in Large Language Models-CSDN博客的后退一步?

3.2.1 prompt 案例

论文笔记：Large Language Models as Analogical Reasoners,论文笔记,语言模型,人工智能,自然语言处理

3.2.2 大模型给的答案

论文笔记：Large Language Models as Analogical Reasoners,论文笔记,语言模型,人工智能,自然语言处理

4 实验

4.1 实验任务

数学问题：GSM8K、MATH等；
代码生成：动态规划、图算法等复杂的编程题

4.2 效果比较

4.2.1 数学问题

论文笔记：Large Language Models as Analogical Reasoners,论文笔记,语言模型,人工智能,自然语言处理

4.2.2 代码生成

论文笔记：Large Language Models as Analogical Reasoners,论文笔记,语言模型,人工智能,自然语言处理

4.3 few-shot example 数量的异同

论文笔记：Large Language Models as Analogical Reasoners,论文笔记,语言模型,人工智能,自然语言处理文章来源地址https://www.toymoban.com/news/detail-849221.html

到了这里，关于论文笔记：Large Language Models as Analogical Reasoners的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：

领支付宝红包赞助服务器费用

【论文笔记】Unifying Large Language Models and Knowledge Graphs：A Roadmap

（后续更新完善）以往将KGs集成到大型语言模型的工作主要分为三个部分:1)将KGs集成到训练目标中，2)将KGs集成到LLM输入中，3)将KGs集成到附加的融合模块中。 2.1.1 Integrating KGs into Training Objective 这一类的研究工作集中在设计新的知识感知训练目标，一个直观的想法是在预训练

2024年02月07日
浏览(43)
Unifying Large Language Models and Knowledge Graphs: A Roadmap 论文阅读笔记

NLP, LLM, Generative Pre-training, KGs, Roadmap, Bidirectional Reasoning LLMs are black models and can\\\'t capture and access factual knowledge. KGs are structured knowledge models that explicitly store rich factual knowledge. The combinations of KGs and LLMs have three frameworks, KG-enhanced LLMs, pre-training and inference stages to provide external knowl

2024年02月19日
浏览(46)
论文笔记：Evaluating the Performance of Large Language Models on GAOKAO Benchmark

采用zero-shot prompting的方式，将试题转化为ChatGPT的输入对于数学题，将公式转化为latex输入主观题由专业教师打分 2010~2022年，一共13年间的全国A卷和全国B卷

2024年03月15日
浏览(54)
论文笔记：A Simple and Effective Pruning Approach for Large Language Models

iclr 2024 reviewer 评分 5668 大模型网络剪枝的paper 在努力保持性能的同时，舍弃网络权重的一个子集现有方法要么需要重新训练这对于十亿级别的LLMs来说往往不现实要么需要解决依赖于二阶信息的权重重建问题这同样可能带来高昂的计算成本 ——引入了一种新颖、简单且有

2024年04月17日
浏览(42)
[论文阅读笔记77]LoRA：Low-Rank Adaptation of Large Language Models

题目论文作者与单位来源年份 LoRA: Low-Rank Adaptation of Large Language Models microsoft International Conference on Learning Representations 2021 524 Citations 论文链接：https://arxiv.org/pdf/2106.09685.pdf 论文代码：https://github.com/microsoft/LoRA 研究主题问题背景核心方法流程亮点数据集结论论文类型关

2024年02月06日
浏览(55)
论文笔记：Time-LLM: Time Series Forecasting by Reprogramming Large Language Models

iclr 2024 reviewer 评分 3888 提出了 Time-LLM，是一个通用的大模型重编程（LLM Reprogramming）框架将 LLM 轻松用于一般时间序列预测，而无需对大语言模型本身做任何训练为什么需要时序数据和文本数据对齐：时序数据和文本数据在表达方式上存在显著差异，两者属于不同的模态。

2024年04月28日
浏览(74)
[论文阅读笔记] TRACE: A Comprehensive Benchmark for Continual Learning In Large Language Models

TRACE: A Comprehensive Benchmark for Continual Learning In Large Language Models arXiv2023 复旦大学 Benchmark、Continual Learing、LLMs 已经对齐过的大模型 (Aligned LLMs )能力很强，但持续学习能力缺乏关注；目前CL的benchmark对于顶尖的LLMs来说过于简单，并且在指令微调存在model的potential exposure。(这里的

2024年01月18日
浏览(61)
【论文笔记】A Survey of Large Language Models in Medicine - Progress, Application, and Challenges

将LLMs应用于医学，以协助医生和病人护理，成为人工智能和临床医学领域的一个有前景的研究方向。为此，本综述提供了医学中LLMs当前进展、应用和面临挑战的全面概述。具体来说，旨在回答以下问题： 1）什么是LLMs，如何构建医学LLMs？ 2）医学LLMs的下游表现如何？ 3）

2024年02月03日
浏览(45)
论文阅读 A Survey of Large Language Models 3

为了检验LLM的有效性和优越性，大量的任务和基准被用来进行实证评估和分析。我们首先介绍了LLM语言生成和理解的三种基本评估任务，然后介绍了LLM具有更复杂设置或目标的几个高级任务，最后讨论了现有的基准和实证分析。在这一部分中，我们主要关注LLM的三种评估任务

2024年02月13日
浏览(47)
论文翻译 - Visual Adversarial Examples Jailbreak Large Language Models

论文链接：https://arxiv.org/pdf/2306.13213.pdf 项目代码：https://github.com/Unispac/Visual-Adversarial-Examples-Jailbreak-Large-Language-Models 最近，人们对将视觉集成到大型语言模型 (LLM) 中的兴趣激增，例如 Flaminggo 和 GPT-4 等视觉语言模型 (VLM)。本文阐明了这一趋势的安全性和安全性影响。首先，

2024年03月10日
浏览(56)