语言模型和人类的推理都依赖内容

这篇具有很好参考价值的文章主要介绍了语言模型和人类的推理都依赖内容。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

人类不太擅长逻辑,需要依赖内容直觉进行推理。许多认知研究表明,人类的推理并不是完全抽象的(不是完全的形式与内容分离)。

相反,我们的推理取决于问题的内容:

  • 当内容支持逻辑推理时,我们回答得更准确,
  • 当内容和逻辑冲突时,我们会犯更多的错误。

这篇论文对最先进的大型语言模型和人类进行了评估,发现语言模型反映了人类在这些任务中观察到的许多相同模式--与人类一样,当任务的语义内容更准确时,模型的回答也更准确。

这些相似之处既反映在回答模式中,也反映在较低层次的特征中,如模型回答分布与人类响应时间之间的关系。我们的研究结果对理解人类的这些认知效应以及语言模型性能的影响因素都有意义。

抽象推理是智能系统的一项关键能力。
大型语言模型(LMs)在抽象推理任务中的表现超过了预期,但也表现出许多不完美之处。然而,人类的抽象推理也是不完美的。例如,人类的推理会受到现实世界知识和信念的影响,并表现出明显的 "内容效应";当问题的语义内容支持正确的逻辑推理时,人类的推理会更加可靠。

这些与内容相关的推理模式在有关人类智力基本性质的争论中发挥着核心作用。

在这里,我们研究了语言模型(其先验预期捕捉到了人类知识的某些方面)是否同样在逻辑问题的答案中混入了内容。

我们在三个逻辑推理任务中探讨了这一问题:自然语言推理、判断三段论的逻辑有效性和华森选择任务。

  • 在简单的NLI自然语言推理任务中,无论内容如何,LM和人类都接近天花板。
  • 在更困难的三段论和Wason任务中,准确性降低,并且当内容支持逻辑时,人类和LM都表现出比不支持逻辑时更好的性能。

在许多情况下,这些相似之处延伸到捕获人类内容效应的更精细的细节,例如内容对无效三段论的影响大于有效三段论,甚至在内容和其他任务变量的准确性控制中存在显着的项目级相关性。

相似之处还不仅仅是准确性;

  • 在NLI和三段论任务中,我们发现人类响应时间和模型置信度之间存在项目级关联(logprob差异),即使在控制内容等时也是如此。
  • 在Wason任务中,响应时间以不同的方式很重要-即使是现实的(内容支持的)版本对人类来说也比我们预期的要困难,只有响应最慢的子集(80秒)在这些问题上表现出高于机会的表现。

总的来说,我们发现LM和人类在推理任务上的表现有很大的重叠:内容对准确性和其他行为指标产生了类似的影响。人类和LMs都不是理想的抽象推理者

人类不太擅长逻辑,但内容可以在一定程度上提供帮助。

观点:推理源于直觉的证据
这篇令人信服的证据表明,人类和LLM大模型在推理时都非常依赖直观的归纳过程,而不是纯粹的逻辑演绎。以下是其中的三个主要原因:

首先,推理的准确性在很大程度上取决于人类和LLM的语义内容,这一发现表明了直觉知识和偏见的影响。如果推理是纯粹的逻辑(形式)推理,那么它就不会受到所涉及的实体是否符合现实世界关系的影响。内容效应揭示了直觉对逻辑应用的影响。

其次,人类与 LLM大模型 之间的相似性意味着人类与 LLM 有着共同的归纳、直觉基础。LLM 从语言的统计模式中获取知识,而不是逻辑规则的指导。它们通过归纳学习获得的偏差与人类的直觉如出一辙,这表明人类的推理与归纳有关。

第三,正规的逻辑教育只能部分减少人类的内容偏差。这表明仅靠明确的逻辑训练无法消除直觉偏差的影响。尽管进行了逻辑训练,但这些偏差依然存在,这有力地说明直觉过程在人类推理中发挥着不可或缺的作用。

总之,人类与 LLM 在将内容与逻辑相融合方面的相似之处、模型归纳与人类直觉之间的共性以及逻辑训练的局限性共同提供了令人信服的证据,证明人类和人工智能在推理时都会利用直觉和演绎。这些发现使人们对将人类推理视为纯粹逻辑系统的观点产生了怀疑。推理似乎深受对世界统计模式的直觉吸收的影响。

https://www.jdon.com/69468.html文章来源地址https://www.toymoban.com/news/detail-735551.html

到了这里,关于语言模型和人类的推理都依赖内容的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 大型语言模型的推理演算

    作者 |kipply 翻译|杨婷、徐佳渝、贾川 ‍‍ 本文详细阐述了大型语言模型推理性能的几个基本原理,不含任何实验数据或复杂的数学公式,旨在加深读者对相关原理的理解。此外,作者还提出了一种极其简单的推理时延模型,该模型与实证结果拟合度高,可更好地预测和解

    2023年04月16日
    浏览(47)
  • 掌握大语言模型技术: 推理优化

    堆叠 Transformer 层来创建大型模型可以带来更好的准确性、少样本学习能力,甚至在各种语言任务上具有接近人类的涌现能力。 这些基础模型的训练成本很高,并且在推理过程中可能会占用大量内存和计算资源(经常性成本)。 当今最流行的大型语言模型 (LLM) 的参数大小可以

    2024年01月22日
    浏览(52)
  • 大语言模型推理与部署工具介绍

    本项目中的相关模型主要支持以下量化、推理和部署方式,具体内容请参考对应教程。 工具 特点 CPU GPU 量化 GUI API vLLM§ 16K‡ 教程 llama.cpp 丰富的量化选项和高效本地推理 ✅ ✅ ✅ ❌ ✅ ❌ ✅ link 🤗Transformers 原生transformers推理接口 ✅ ✅ ✅ ✅ ❌ ✅ ✅ link Colab Demo 在Colab中

    2024年02月09日
    浏览(39)
  • 大语言模型推理提速:TensorRT-LLM 高性能推理实践

    作者:顾静 大型语言模型(Large language models,LLM)是基于大量数据进行预训练的超大型深度学习模型。底层转换器是一组神经网络,这些神经网络由具有 self-attention 的编码器和解码器组成。编码器和解码器从一系列文本中提取含义,并理解其中的单词和短语之间的关系。 当前

    2024年01月25日
    浏览(62)
  • LISA:通过大语言模型进行推理分割

    论文:https://arxiv.org/pdf/2308.00692 代码:GitHub - dvlab-research/LISA  尽管感知系统近年来取得了显著的进步,但在执行视觉识别任务之前,它们仍然依赖于明确的人类指令来识别目标物体或类别。这样的系统缺乏主动推理和理解隐含用户意图的能力。在这项工作中,我们提出了一种

    2024年02月14日
    浏览(41)
  • 【自然语言处理】【大模型】 ΨPO:一个理解人类偏好学习的统一理论框架

    一个理解人类偏好学习的统一理论框架 《A General Theoretical Paradiam to Understand Learning from Human Preferences》 论文地址:https://arxiv.org/pdf/2310.12036.pdf 相关博客 【自然语言处理】【大模型】 ΨPO:一个理解人类偏好学习的统一理论框架 【强化学习】PPO:近端策略优化算法 ​ 通过强化

    2024年02月04日
    浏览(67)
  • 思维链Prompting促进大型语言模型的推理能力

    论文标题:Chain-of-Thought Prompting Elicits Reasoning in Large Language Models 论文链接:https://arxiv.org/abs/2201.11903 论文来源:NeurIPS 2022 近来NLP领域由于语言模型的发展取得了颠覆性的进展,扩大语言模型的规模带来了一系列的性能提升,然而单单是扩大模型规模对于一些具有挑战性的任

    2024年02月01日
    浏览(44)
  • 语言模型的自洽性思维链推理技术

    论文标题:Self-Consistency Improves Chain of Thought Reasoning in Language Models 论文链接:https://arxiv.org/abs/2203.11171 论文来源:ICLR 2023 尽管语言模型在一系列NLP任务中展现出了显著的成功,但它们在推理能力方面仍然面临一些限制,这种限制不能仅仅通过增加模型规模来克服。为了解决这

    2024年02月16日
    浏览(32)
  • 省显存(内存?)的大语言模型(LLMs)训练/微调/推理方法

    即使 RTX 3090 有着 24GB 的 RAM,使用一块 RTX 3090 依然无法 fp32 精度训练最小号的 LLaMA-6B。 估算模型所需的RAM 首先,需要了解如何根据参数量估计模型大致所需的 RAM,这在实践中有很重要的参考意义。需要通过估算设置 batch_size,设置模型精度,选择微调方法和参数分布方法等

    2024年02月09日
    浏览(46)
  • 《Training language models to follow instructions》论文解读--训练语言模型遵循人类反馈的指令

    目录 1摘要 2介绍 方法及实验细节 3.1高层次方法论 3.2数据集 3.3任务 3.4人体数据收集  3.5模型 3.6评价 4 结果 4.1 API分布结果 4.2公共NLP数据集的结果 4.3定性结果 问题 1.什么是rm分数 更多资料 使语言模型更大并不能使它们更好地遵循用户的意图。例如,大型语言模型可能生成不

    2024年01月24日
    浏览(51)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包