Text-Augmented Open Knowledge Graph Completion viaPre-Trained Language Models

这篇具有很好参考价值的文章主要介绍了Text-Augmented Open Knowledge Graph Completion viaPre-Trained Language Models。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

Text-Augmented Open Knowledge Graph Completion viaPre-Trained Language Models,知识图谱的文本动态补全,知识图谱,语言模型,人工智能

摘要

开放知识图谱(KG)完成的任务是从已知的事实中得出新的发现。增加KG完成度的现有工作需要(1)事实三元组来扩大图推理空间,或(2)手动设计提示从预训练的语言模型(PLM)中提取知识,表现出有限的性能,需要专家付出昂贵的努力。为此,我们提出了TAGREAL,它自动生成高质量的查询提示,并从大型文本语料库中检索支持信息,从PLM中探测知识以补全KG。结果表明,TAGREAL在两个基准数据集上达到了最先进的性能。我们发现TAGREAL即使在有限的训练数据下也具有出色的性能,优于现有的基于嵌入、基于图和基于plm的方法。

1.介绍

知识图(KG)是一种异构图,它以实体-关系-实体三元组的形式编码事实信息,其中关系连接头部实体和尾部实体(例如,“Miamilocated_in-USA”)(Wang等人,2017;Hogan et al, 2021)。KG (Dai等人,2020)在许多NLP应用中起着核心作用,包括问答(Hao等人,2017;Yasunaga等人,2021)、推荐系统(Zhou等人,2020)和药物发现(Zitnik等人,2018)。然而,现有的作品(Wang et al, 2018;Hamilton等人,2018)表明,大多数大规模的kg是不完整的,不能完全覆盖大量的现实世界知识。这一挑战激发了KG补全,其目的是在给定主题实体和关系的情况下找到一个或多个对象实体(Lin et al, 2015)。例如,在图1中ÿ文章来源地址https://www.toymoban.com/news/detail-534757.html

到了这里,关于Text-Augmented Open Knowledge Graph Completion viaPre-Trained Language Models的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 论文阅读:Retrieval-augmented Generation across Heterogeneous Knowledge

    跨异构知识的检索增强生成 NAACL 2022 论文链接 摘要 检索增强生成(RAG)方法越来越受到NLP社区的关注,并在许多NLP下游任务上取得了最先进的性能。与传统的预训练生成模型相比, RAG方法具有知识获取容易、可扩展性强、训练成本低等显著优点 。尽管现有的RAG模型已应用于

    2024年02月06日
    浏览(34)
  • Commonsense Knowledge Base Completion with Structural and Semantic Context

    与研究较多的传统知识库(如Freebase)相比,常识性知识图(如ATOMIC和ConceptNet)的自动知识库补全提出了独特的挑战。 常识知识图使用自由形式的文本来表示节点,与传统知识库相比,导致节点数量增加了几个数量级(与Freebase (FB15K237)相比,ATOMIC中的节点数量增加了18倍)。 重要的

    2024年02月09日
    浏览(26)
  • Decoupling Knowledge from Memorization: Retrieval-augmented Prompt Learning

    本文是LLM系列的文章,针对《Decoupling Knowledge from Memorization: Retrieval 提示学习方法在仍然遵循基于参数的学习范式的同时,通过诱导更好的小样本表现,在自然语言处理中掀起了波澜;学习中的遗忘和死记硬背问题可能会遇到不稳定的泛化问题。具体来说,在完全监督的训练

    2024年02月11日
    浏览(38)
  • ChatGPT 的 Text Completion

    该章节我们来学习一下 “Text Completion” ,也就是 “文本完成” 。“Text Completion” 并不是一种模型,而是指模型能够根据上下文自动完成缺失的文本部分,生成完整的文本。 Text Completion 也称为文本自动补全,Text Completion并不是一个独立的模型,而是自然语言处理模型中的一

    2024年02月05日
    浏览(41)
  • RAG:Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks 论文阅读

    2020 NeuralPS 文章地址:https://arxiv.org/abs/2005.11401 源码地址:GitHub - huggingface/transformers: 🤗 Transformers: State-of-the-art Machine Learning for Pytorch, TensorFlow, and JAX.       - 142 RAG 目录 0、背景 1、摘要 2、导言       3、结论 4、模型 5、实验 6、与REALM比较 7、想法         Language Mod

    2024年02月05日
    浏览(31)
  • An Efficient Memory-Augmented Transformer for Knowledge-Intensive NLP Tasks

    本文是LLM系列文章,针对《An Efficient Memory-Augmented Transformer for Knowledge 获取外部知识对于许多自然语言处理任务至关重要,例如问答和对话。现有的方法通常依赖于将知识存储在其参数中的参数模型,或者使用可以访问外部知识源的检索增强模型。参数模型和检索增强模型在

    2024年02月09日
    浏览(30)
  • 知识图谱(Knowledge Graph)根本概念

    目录 知识图谱 定义 基础概念: 知识图谱构建的关键技术 知识图谱的构建 实体命名识别 知识抽取 实体统一 指代消解 知识图谱的存储 RDF和图数据库的主要特点区别 知识图谱能干什么 反欺诈 不一致性验证 客户失联管理 知识推理 常见图数据库 2012年5月17日,Google 正式提出

    2024年02月13日
    浏览(25)
  • 时空知识图谱研究进展与展望Spatiotemporal Knowledge Graph

    时空知识图谱研究进展与展望 时空知识图谱研究进展与展望 陆锋1, 2, 4, 5, *,  诸云强1, 2, 4,  张雪英3, 4 作者信息  + Spatiotemporal Knowledge Graph: Advances and Perspectives LU Feng1, 2, 4, 5, *,  ZHU Yunqiang1, 2, 4,  ZHANG Xueying3, 4 Author information  + 文章历史  + 摘要 地理信息 的不断泛

    2024年04月22日
    浏览(30)
  • KGAT: Knowledge Graph Attention Network for Recommendation

    [1905.07854] KGAT: Knowledge Graph Attention Network for Recommendation (arxiv.org) LunaBlack/KGAT-pytorch (github.com) 目录 1、背景 2、任务定义 3、模型 3.1 Embedding layer 3.2 Attentive Embedding Propagation Layers 3.3 Model Prediction 3.4 Optimization 4、部分代码解读 4.1 数据集 4.2 数据集的处理 4.3 模型 4.4 模型训练 C

    2024年02月16日
    浏览(28)
  • Knowledge Graph Prompting for Multi-Document Question Answering

    本文是LLM系列文章,针对《Knowledge Graph Prompting for Multi-Document Question Answering》的翻译。 大型语言模型的“预训练、提示、预测”范式在开放领域问答(OD-QA)中取得了显著的成功。然而,很少有工作在多文档问答(MD-QA)的场景中探索这种范式,这项任务需要彻底理解不同文

    2024年02月09日
    浏览(26)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包