1. Toy模板网首页
  2. > Toy博客

Generated Knowledge Prompting for Commonsense Reasoning

7月前 作者：UnknownBody 分类：Toy博客 阅读(24) 违法举报

这篇具有很好参考价值的文章主要介绍了Generated Knowledge Prompting for Commonsense Reasoning。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

本文是知识图谱系列相关的文章，针对《Generated Knowledge Prompting for Commonsense Reasoning》的翻译。

摘要

结合外部知识是否有利于常识推理，同时保持预训练序列模型的灵活性，这仍然是一个悬而未决的问题。为了研究这个问题，我们开发了生成知识提示，它包括从语言模型中生成知识，然后在回答问题时提供知识作为额外输入。我们的方法不需要对知识集成进行特定任务的监督，也不需要访问结构化的知识库，但它提高了大规模、最先进的模型在四个常识推理任务上的性能，在数值常识（NumerSense）、一般常识（CommonsenseQA 2.0）和科学常识（QASC）基准上实现了最先进的结果。生成的知识提示突出了大规模语言模型作为外部知识的灵活来源，以改进常识推理。我们的代码可在github.com/liujch1998/GKP上获得。

1 引言

2 生成知识提示

3 实验设置

4 实验结果

5 相关工作

6 结论

我们介绍了生成知识提示，这是一种从语言模型中引出和整合知识的简单方法，可以提高常识推理任务的性能。特别是，我们通过提示一个语言模型来生成知识陈述，该模型具有特定任务的、人性化的、小样本的问题知识对演示。我们表明，只需在推理时插入知识，就可以对知识进行集成，而无需对知识集成模型进行微调。我们的方法在多个数据集上显示了有效性，在三个常识性推理任务上设置了新的技术状态，并在各种设置下工作。该方法的成功突出了语言模型作为常识推理的灵活、高质量知识的来源。文章来源地址https://www.toymoban.com/news/detail-688609.html

到了这里，关于Generated Knowledge Prompting for Commonsense Reasoning的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处： 如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：
领支付宝红包 赞助服务器费用

相关文章

  • 文献阅读：Chain-of-Thought Prompting Elicits Reasoning in Large Language Models

    文献阅读：Chain-of-Thought Prompting Elicits Reasoning in Large Language Models

    文献阅读：Chain-of-Thought Prompting Elicits Reasoning in Large Language Models 1. 文章简介 2. 具体方法 3. 实验结果 1. 数学推理 1. 实验设计 2. 实验结果 3. 消解实验 4. 鲁棒性考察 2. 常识推理 1. 实验设计 2. 实验结果 3. 符号推理 1. 实验设计 2. 实验结果 4. 结论 思考 文献链接：https://arxiv.or

    2024年02月10日
    浏览(33)
  • 《Chain-of-Thought Prompting Elicits Reasoning in Large Language Models》全文翻译

    《Chain-of-Thought Prompting Elicits Reasoning in Large Language Models》全文翻译

    题目：《Chain-of-Thought Prompting Elicits Reasoning in Large Language Models》 作者：Jason Wei and et al. 会议： NeurlPS 2022 内容概述：论文探索如何生成一个思想链（一系列中间推理步骤）来显着提高大型语言模型执行复杂推理的能力。 我们探索生成一条思维链（一系列中间推理步骤）如何显

    2024年02月09日
    浏览(37)
  • （论文阅读）Chain-of-Thought Prompting Elicits Reasoning in Large Language Models

    （论文阅读）Chain-of-Thought Prompting Elicits Reasoning in Large Language Models

    论文地址 https://openreview.net/pdf?id=_VjQlMeSB_J         我们探索如何生成一个思维链——一系列中间推理步骤——如何显著提高大型语言模型执行复杂推理的能力。 特别是，我们展示了这种推理能力如何通过一种称为思维链提示的简单方法自然地出现在足够大的语言模型中，

    2024年02月08日
    浏览(88)
  • 《Chain-of-Thought Prompting Elicits Reasoning in Large Language Models》【大模型思维链】

    《Chain-of-Thought Prompting Elicits Reasoning in Large Language Models》【大模型思维链】

    思维链，是一系列中间推理步骤，可以显著提高大语言模型执行复杂推理的能力。 思维链：一种简单的提示方法，通过一系列的中间推理步骤，可以大大提高大语言模型执行复杂推理的能力。 下图为使用标准提示词和使用思维链提示词的输出的区别： 与传统Prompt的区别：

    2024年04月23日
    浏览(22)
  • 生成式AI - Knowledge Graph Prompting：一种基于大模型的多文档问答方法

    生成式AI - Knowledge Graph Prompting：一种基于大模型的多文档问答方法

    大型语言模型（LLM）已经彻底改变了自然语言处理（NLP）任务。它们改变了我们与文本数据交互和处理的方式。这些强大的AI模型，如OpenAI的GPT-4，改变了理解、生成人类类似文本的方式，导致各种行业出现了众多突破性应用。 LangChain是一个用于构建基于大型语言模型（如G

    2024年02月20日
    浏览(26)

  • GREASELM: GRAPH REASONING ENHANCED LANGUAGE MODELS FOR QUESTION ANSWERING

    本文是LLM系列文章，针对《GREASELM: GRAPH REASONING ENHANCED LANGUAGE MODELS FOR QUESTION ANSWERING》的翻译。 回答关于文本叙事的复杂问题需要对所陈述的上下文和作为其基础的世界知识进行推理。然而，作为大多数现代QA系统的基础的预训练语言模型（LM）并不能有力地表示概念之间的潜

    2024年02月09日
    浏览(24)

  • Decomposed Prompting: A MODULAR APPROACH FOR SOLVING COMPLEX TASKS

    本文是LLM系列文章，针对《Decomposed Prompting: A MODULAR APPROACH FOR SOLVING COMPLEX TASKS》的翻译。 小样本提示是一种使用大型语言模型（LLM）来解决各种任务的强大方法。然而，随着任务复杂性的增加，或者当任务本身的各个推理步骤很难学习时，尤其是当嵌入到更复杂的任务中时，

    2024年02月10日
    浏览(31)

  • [读论文][backbone]Knowledge Diffusion for Distillation

    DiffKD 摘要 The representation gap between teacher and student is an emerging topic in knowledge distillation (KD). To reduce the gap and improve the performance, current methods often resort to complicated training schemes, loss functions, and feature alignments, which are task-specific and feature-specific. In this paper, we state that the essence of the

    2024年02月08日
    浏览(37)
  • [论文阅读] Explicit Visual Prompting for Low-Level Structure Segmentations

    [论文阅读] Explicit Visual Prompting for Low-Level Structure Segmentations

    [论文地址] [代码] [CVPR 23] Abstract 我们考虑了检测图像中低层次结构的通用问题，其中包括分割被操纵的部分，识别失焦像素，分离阴影区域，以及检测隐藏的物体。每个问题通常都有一个特定领域的解决方案，我们表明，一个统一的方法在所有这些问题上都表现良好。我们从

    2024年02月15日
    浏览(34)
  • KGAT: Knowledge Graph Attention Network for Recommendation

    KGAT: Knowledge Graph Attention Network for Recommendation

    [1905.07854] KGAT: Knowledge Graph Attention Network for Recommendation (arxiv.org) LunaBlack/KGAT-pytorch (github.com) 目录 1、背景 2、任务定义 3、模型 3.1 Embedding layer 3.2 Attentive Embedding Propagation Layers 3.3 Model Prediction 3.4 Optimization 4、部分代码解读 4.1 数据集 4.2 数据集的处理 4.3 模型 4.4 模型训练 C

    2024年02月16日
    浏览(27)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包，优惠每天领

二维码1

领取红包

二维码2

领红包