Knowledge Graph Prompting for Multi-Document Question Answering

这篇具有很好参考价值的文章主要介绍了Knowledge Graph Prompting for Multi-Document Question Answering。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

本文是LLM系列文章,针对《Knowledge Graph Prompting for Multi-Document Question Answering》的翻译。

摘要

大型语言模型的“预训练、提示、预测”范式在开放领域问答(OD-QA)中取得了显著的成功。然而,很少有工作在多文档问答(MD-QA)的场景中探索这种范式,这项任务需要彻底理解不同文档的内容和结构之间的逻辑关联。为了填补这一关键空白,我们提出了一种知识图谱提示(KGP)方法,用于在MDQA的LLM提示中制定正确的上下文,该方法由图构建模块和图遍历模块组成。对于图的构建,我们在多个文档上创建一个知识图谱(KG),其中节点象征段落或文档结构(例如,页面/表格),边表示段落或文档内结构关系之间的语义/词汇相似性。对于图遍历,我们设计了一个LM引导的图遍历器,它在节点之间进行导航,并收集辅助MD-QA中LLM的支持段落。构建的图作为全局标尺,调节段落之间的过渡空间,减少检索延迟。同时,LMguided遍历器充当本地导航器,收集相关上下文以逐步处理问题并保证检索质量。大量实验强调了KGP对MD-QA的有效性,表明了利用图增强LLM提示设计的潜力。我们的代码位于https://github.com/YuWVandy/KG-LLM-MDQA.

1 引言

2 符号

3 知识图谱构建

4 LM引导的图形遍历器

5 实验

6 相关工作

7 结论

回答多文档问题需要跨各种模式从不同文档中进行知识推理和检索,这给LLM应用“预训练、提示和预测”范式带来了挑战。认识到段落之间的逻辑关联和文档中的结构关系可以统一为图形表示,我们提出了一种知识图谱提示方法(KGP)来帮助MDQA中的LLM。KGP从具有描述句子或文档结构的节点和表示其词汇/语义相似性或结构关系的边的文档中构建KGs。由于构建的KGs可能包含不相关的邻居信息,我们进一步设计了一个LM引导的图遍历器,该遍历器在处理该问题时选择性地访问最有希望的节点。未来,我们计划研究LLM理解图拓扑的能力,并探索微调/提示LLM编码隐藏在图中的复杂拓扑信号的潜力。文章来源地址https://www.toymoban.com/news/detail-704106.html

到了这里,关于Knowledge Graph Prompting for Multi-Document Question Answering的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • KGAT: Knowledge Graph Attention Network for Recommendation

    [1905.07854] KGAT: Knowledge Graph Attention Network for Recommendation (arxiv.org) LunaBlack/KGAT-pytorch (github.com) 目录 1、背景 2、任务定义 3、模型 3.1 Embedding layer 3.2 Attentive Embedding Propagation Layers 3.3 Model Prediction 3.4 Optimization 4、部分代码解读 4.1 数据集 4.2 数据集的处理 4.3 模型 4.4 模型训练 C

    2024年02月16日
    浏览(40)
  • KG-BERT: BERT for Knowledge Graph Completion 2019ACL

    把BERT用在知识图谱补全上 提出KG-BERT模型,在预训练好的BERT基础上继续fine-tuning。 传统的KGC方法一般依赖于KGE,而KGE往往通过将KG中的三元组关系投影到某个表示空间中,然后使用打分函数对三元组的合理性进行评估,在用基于正负样本的对比进行模型的训练,而这个表示空

    2024年02月07日
    浏览(48)
  • 【论文笔记】KDD2019 | KGAT: Knowledge Graph Attention Network for Recommendation

    为了更好的推荐,不仅要对user-item交互进行建模,还要将关系信息考虑进来 传统方法因子分解机将每个交互都当作一个独立的实例,但是忽略了item之间的关系(eg:一部电影的导演也是另一部电影的演员) 高阶关系:用一个/多个链接属性连接两个item KG+user-item graph+high orde

    2024年02月16日
    浏览(41)
  • 【论文笔记】Knowledge Is Flat: A Seq2Seq Generative Framework for Various Knowledge Graph Completion

    arxiv时间: September 15, 2022 作者单位i: 南洋理工大学 来源: COLING 2022 模型名称: KG-S2S 论文链接: https://arxiv.org/abs/2209.07299 项目链接: https://github.com/chenchens190009/KG-S2S 以往的研究通常将 KGC 模型与特定的图结构紧密结合,这不可避免地会导致两个缺点 特定结构的 KGC 模型互不兼容 现

    2024年01月19日
    浏览(37)
  • 论文阅读《ICDE2023:Relational Message Passing for Fully Inductive Knowledge Graph Completion》

    论文链接 工作简介 在知识图谱补全 (KGC) 中,预测涉及新兴实体和 / 或关系的三元组, 这是在学习 KG 嵌入时看不到的,已成为一个关键挑战。 带有消息传递的子图推理是一个很有前途和流行的解决方案。 最近的一些方法已经取得了很好的性能,但它们 (1) 通常只能预测单独

    2024年02月07日
    浏览(41)
  • 【论文导读】- SpreadGNN: Serverless Multi-task Federated Learning for Graph Neural Networks(去服务器的多任务图联邦学习)

    SpreadGNN: Serverless Multi-task Federated Learning for Graph Neural Networks 原文链接:SpreadGNN: Serverless Multi-task Federated Learning for Graph Neural Networks:https://arxiv.org/abs/2106.02743 Graph Neural Networks (GNNs) are the first choice methods for graph machine learning problems thanks to their ability to learn state-of-the-art level repr

    2024年01月16日
    浏览(46)
  • 知识图谱(Knowledge Graph)根本概念

    目录 知识图谱 定义 基础概念: 知识图谱构建的关键技术 知识图谱的构建 实体命名识别 知识抽取 实体统一 指代消解 知识图谱的存储 RDF和图数据库的主要特点区别 知识图谱能干什么 反欺诈 不一致性验证 客户失联管理 知识推理 常见图数据库 2012年5月17日,Google 正式提出

    2024年02月13日
    浏览(37)
  • 时空知识图谱研究进展与展望Spatiotemporal Knowledge Graph

    时空知识图谱研究进展与展望 时空知识图谱研究进展与展望 陆锋1, 2, 4, 5, *,  诸云强1, 2, 4,  张雪英3, 4 作者信息  + Spatiotemporal Knowledge Graph: Advances and Perspectives LU Feng1, 2, 4, 5, *,  ZHU Yunqiang1, 2, 4,  ZHANG Xueying3, 4 Author information  + 文章历史  + 摘要 地理信息 的不断泛

    2024年04月22日
    浏览(42)
  • Making Large Language Models Perform Better in Knowledge Graph Completion论文阅读

    原文链接: Making Large Language Models Perform Better in Knowledge Graph Completion 基于大语言模型(LLM)的知识图补全(KGC) 旨在利用 LLM 预测知识图谱中缺失的三元组 ,并丰富知识图谱,使其成为更好的网络基础设施,这可以使许多基于网络的自动化服务受益。然而,基于LLM的KGC研究有

    2024年01月23日
    浏览(48)
  • Text-Augmented Open Knowledge Graph Completion viaPre-Trained Language Models

    开放知识图谱(KG)完成的任务是从已知的事实中得出新的发现。增加KG完成度的现有工作需要(1)事实三元组来扩大图推理空间,或(2)手动设计提示从预训练的语言模型(PLM)中提取知识,表现出有限的性能,需要专家付出昂贵的努力。为此,我们提出了 TAGREAL ,它自动生成高质量

    2024年02月13日
    浏览(41)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包