1. Toy模板网首页
  2. >Toy博客

【论文笔记】Unifying Large Language Models and Knowledge Graphs：A Roadmap

1年前作者：分类：Toy博客阅读(22)违法举报

这篇具有很好参考价值的文章主要介绍了【论文笔记】Unifying Large Language Models and Knowledge Graphs：A Roadmap。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

（后续更新完善）

【论文笔记】Unifying Large Language Models and Knowledge Graphs：A Roadmap,论文,知识图谱,论文阅读,语言模型,知识图谱,自然语言处理

2. KG-ENHANCED LLMS

2.1 KG-enhanced LLM Pre-training

以往将KGs集成到大型语言模型的工作主要分为三个部分:1)将KGs集成到训练目标中，2)将KGs集成到LLM输入中，3)将KGs集成到附加的融合模块中。

2.1.1 Integrating KGs into Training Objective

这一类的研究工作集中在设计新的知识感知训练目标，一个直观的想法是在预训练目标中暴露出更多的知识实体。

例如：

GLM利用知识图谱结构来分配一个掩盖概率。具体来说，可以在一定数量的跳数内到达的实体被认为是最重要的学习实体，在预训练期间，它们被赋予更高的屏蔽概率。

E-BERT进一步控制标记级和实体级训练损失之间的平衡。训练损失值被用作标记和实体的学习过程的指示，它动态地确定它们在下一个训练周期的比例。

SKEP采用了类似的融合方法，在LLMs预训练期间注入情感知识。SKEP首先通过利用PMI和一组预定义的种子情感词来确定具有积极和消极情感的词。然后，它在词语掩蔽目标中为这些确定的情感词语分配一个较高的掩蔽概率。

【论文笔记】Unifying Large Language Models and Knowledge Graphs：A Roadmap,论文,知识图谱,论文阅读,语言模型,知识图谱,自然语言处理

另一项工作是明确利用与知识和输入文本的联系。

如图9所示，ERNIE提出了一个新的词-实体对齐训练目标作为预训练目标。

具体来说，ERNIE将文本中提到的句子和相应的实体都输入到LLM中，然后训练LLM来预先决定文本标记和知识图谱中实体之间的对齐链接。

KALM通过纳入实体嵌入来增强输入的标记，除了纯标记的预训练目标外，还包括一个实体预测预训练任务。这种方法旨在提高LLM捕获与实体有关的知识的能力。

KEPLER直接将知识图谱嵌入训练目标和Masked token预训练目标纳入一个基于共享变压器的编码器。

确定性的LLM专注于预训练语言模型以捕获确定性的事实知识。它只对有确定性实体作为问题的跨度进行遮蔽，并引入了额外的线索对比学习和线索分类目标。

WKLM首先用其他同类型的实体替换文本中的实体，然后将其送入LLMs。该模型被进一步预训练以区分实体是否被替换。文章来源地址https://www.toymoban.com/news/detail-734069.html

到了这里，关于【论文笔记】Unifying Large Language Models and Knowledge Graphs：A Roadmap的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处： 如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：
领支付宝红包赞助服务器费用

相关文章

  • 【论文笔记】A Survey of Large Language Models in Medicine - Progress, Application, and Challenges

    【论文笔记】A Survey of Large Language Models in Medicine - Progress, Application, and Challenges

    将LLMs应用于医学，以协助医生和病人护理，成为人工智能和临床医学领域的一个有前景的研究方向。为此， 本综述提供了医学中LLMs当前进展、应用和面临挑战的全面概述 。 具体来说，旨在回答以下问题： 1）什么是LLMs，如何构建医学LLMs？ 2）医学LLMs的下游表现如何？ 3）

    2024年02月03日
    浏览(10)
  • Making Large Language Models Perform Better in Knowledge Graph Completion论文阅读

    Making Large Language Models Perform Better in Knowledge Graph Completion论文阅读

    原文链接： Making Large Language Models Perform Better in Knowledge Graph Completion 基于大语言模型（LLM）的知识图补全（KGC） 旨在利用 LLM 预测知识图谱中缺失的三元组 ，并丰富知识图谱，使其成为更好的网络基础设施，这可以使许多基于网络的自动化服务受益。然而，基于LLM的KGC研究有

    2024年01月23日
    浏览(9)
  • 论文笔记：Large Language Models as Analogical Reasoners

    论文笔记：Large Language Models as Analogical Reasoners

    iclr 2024 reviewer打分5558 基于CoT prompt的大模型能够更好地解决复杂推理问题 然而传统CoT需要提供相关的例子作为指导，这就增加了人工标注的成本 ——Zero-shot CoT避免了人工标注来引导推理 但是对于一些复杂的任务难以完成推理，例如code generation ——论文提出一种“归纳学习

    2024年04月12日
    浏览(12)
  • 《LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS》论文笔记

    《LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS》论文笔记

    全量参数微调在LLM背景下由“不方便”演变为“不可行|高昂成本”，基于“收敛的模型参数可以压缩到低维空间”的假设： the learned over-parametrized models in fact reside on a low intrinsic dimension. 作者提出LORA（Low Rank Adaptation）方法，其本质如下图所示： h = W x h = Wx h = W x ，其中 x x

    2024年02月13日
    浏览(13)
  • [论文阅读笔记77]LoRA：Low-Rank Adaptation of Large Language Models

    [论文阅读笔记77]LoRA：Low-Rank Adaptation of Large Language Models

    题目 论文作者与单位 来源 年份 LoRA: Low-Rank Adaptation of Large Language Models microsoft International Conference on Learning Representations 2021 524 Citations 论文链接：https://arxiv.org/pdf/2106.09685.pdf 论文代码：https://github.com/microsoft/LoRA 研究主题 问题背景 核心方法流程 亮点 数据集 结论 论文类型 关

    2024年02月06日
    浏览(10)
  • 论文笔记：Evaluating the Performance of Large Language Models on GAOKAO Benchmark

    论文笔记：Evaluating the Performance of Large Language Models on GAOKAO Benchmark

    采用zero-shot prompting的方式，将试题转化为ChatGPT的输入 对于数学题，将公式转化为latex输入  主观题由专业教师打分 2010~2022年，一共13年间的全国A卷和全国B卷

    2024年03月15日
    浏览(13)
  • 论文笔记--LLaMA: Open and Efficient Foundation Language Models

    论文笔记--LLaMA: Open and Efficient Foundation Language Models

    标题：LLaMA: Open and Efficient Foundation Language Models 作者：Touvron, Hugo, et al. 日期：2023 期刊：arxiv preprint   文章利用公开数据集训练并发布了一系列大语言模型LLaMA，在多个NLP下游任务中性能超过了GPT-3和PALM等模型。 English CommonCrawl(67%): 训练集的大部分构成为2017～2020年间的Com

    2024年02月09日
    浏览(9)
  • 论文笔记：Time-LLM: Time Series Forecasting by Reprogramming Large Language Models

    论文笔记：Time-LLM: Time Series Forecasting by Reprogramming Large Language Models

    iclr 2024 reviewer 评分 3888 提出了 Time-LLM， 是一个通用的大模型重编程（LLM Reprogramming）框架 将 LLM 轻松用于一般时间序列预测，而无需对大语言模型本身做任何训练 为什么需要时序数据和文本数据对齐：时序数据和文本数据在表达方式上存在显著差异，两者属于不同的模态。

    2024年04月28日
    浏览(8)
  • 【论文阅读】Reachability Queries with Label and Substructure Constraints on Knowledge Graphs

    【论文阅读】Reachability Queries with Label and Substructure Constraints on Knowledge Graphs

    Wan X, Wang H. Reachability Queries With Label and Substructure Constraints on Knowledge Graphs[J]. IEEE Transactions on Knowledge and Data Engineering, 2022. 由于知识图（KGs）描述和建模了现实世界中实体和概念之间的关系，因此对KGs的推理通常对应于具有标签和实体的可达性查询穿刺约束（LSCR）。特别地，对

    2024年02月04日
    浏览(9)
  • [论文阅读笔记] TRACE: A Comprehensive Benchmark for Continual Learning In Large Language Models

    [论文阅读笔记] TRACE: A Comprehensive Benchmark for Continual Learning In Large Language Models

    TRACE: A Comprehensive Benchmark for Continual Learning In Large Language Models arXiv2023 复旦大学 Benchmark、Continual Learing、LLMs 已经对齐过的大模型 (Aligned LLMs )能力很强，但持续学习能力缺乏关注； 目前CL的benchmark对于顶尖的LLMs来说过于简单，并且在指令微调存在model的potential exposure。(这里的

    2024年01月18日
    浏览(20)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包，优惠每天领

二维码1

领取红包

二维码2

领红包