Unifying Large Language Models and Knowledge Graphs: A Roadmap

9月前作者：小蜗子分类：Toy博客阅读(46) 违法举报

这篇具有很好参考价值的文章主要介绍了Unifying Large Language Models and Knowledge Graphs: A Roadmap。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

5.1 LLM-augmented KG Embedding

知识图嵌入(KGE)旨在将每个实体和关系映射到一个低维向量(嵌入)空间中。这些嵌入包含KGs的语义和结构信息，可用于各种任务，如问答[182]、推理[38]和推荐[183]。传统的知识图嵌入方法主要依靠知识图的结构信息来优化嵌入上定义的评分函数(如TransE[25]和DisMult[184])。然而，由于结构连通性有限，这些方法在表示看不见的实体和长尾关系方面往往存在不足[185]，[186]。为了解决这个问题，如图16所示，最近的研究采用llm通过编码实体和关系的文本描述来丰富KGs的表示[40]，[97]。

5.1.1 LLMs as Text Encoders

Pretrain-KGE[97]是一种具有代表性的方法，其框架如图16所示。给定来自KGs的三元组(h, r, t)，它首先使用LLM编码器将实体h, t和关系r的文本描述编码为表示：

Unifying Large Language Models and Knowledge Graphs: A Roadmap,知识图谱的文本动态补全,语言模型,知识图谱,人工智能

Unifying Large Language Models and Knowledge Graphs: A Roadmap,知识图谱的文本动态补全,语言模型,知识图谱,人工智能

其中eh、er和et分别表示实体h、t和关系r的初始嵌入。在实验中，Pretrain-KGE使用BERT作为LLM编码器。然后，将初始嵌入输入到KGE模型中，生成最终嵌入vh、vr和vt。在KGE训练阶段，他们通过遵循标准KGE损失函数来优化KGE模型：文章来源地址https://www.toymoban.com/news/detail-529296.html

到了这里，关于Unifying Large Language Models and Knowledge Graphs: A Roadmap的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：

领支付宝红包赞助服务器费用

论文笔记：A Simple and Effective Pruning Approach for Large Language Models

iclr 2024 reviewer 评分 5668 大模型网络剪枝的paper 在努力保持性能的同时，舍弃网络权重的一个子集现有方法要么需要重新训练这对于十亿级别的LLMs来说往往不现实要么需要解决依赖于二阶信息的权重重建问题这同样可能带来高昂的计算成本 ——引入了一种新颖、简单且有

2024年04月17日
浏览(43)
【论文笔记】A Survey of Large Language Models in Medicine - Progress, Application, and Challenges

将LLMs应用于医学，以协助医生和病人护理，成为人工智能和临床医学领域的一个有前景的研究方向。为此，本综述提供了医学中LLMs当前进展、应用和面临挑战的全面概述。具体来说，旨在回答以下问题： 1）什么是LLMs，如何构建医学LLMs？ 2）医学LLMs的下游表现如何？ 3）

2024年02月03日
浏览(46)
Why Large Language Models Hallucinate and How to solve this//LLM为什么产生幻觉以及如何应对

\\\" Large language models (LLMs) can generate fluent and coherent text on various topics and domains, but they are also prone to hallucinations or generating plausible sounding nonsense. This can range from minor inconsistencies to completely fabricated or contradictory statements. The causes of hallucinations are related to data quality, generation methods an

2024年02月11日
浏览(44)
【论文阅读】Reachability Queries with Label and Substructure Constraints on Knowledge Graphs

Wan X, Wang H. Reachability Queries With Label and Substructure Constraints on Knowledge Graphs[J]. IEEE Transactions on Knowledge and Data Engineering, 2022. 由于知识图（KGs）描述和建模了现实世界中实体和概念之间的关系，因此对KGs的推理通常对应于具有标签和实体的可达性查询穿刺约束（LSCR）。特别地，对

2024年02月04日
浏览(46)
KILM: Knowledge Injection into Encoder-Decoder Language Models

本文是LLM系列文章，针对《KILM: Knowledge Injection into Encoder-Decoder Language Models》的翻译。大型预训练语言模型(PLMs)已被证明在其参数内保留隐含知识。为了增强这种隐性知识，我们提出了知识注入语言模型(KILM)，这是一种通过持续预训练生成知识填充目标将实体相关知识注入编

2024年02月07日
浏览(39)
Language Models as Knowledge Embeddings：语言模型用作知识嵌入 IJCAI 2022

1）基于结构的知识嵌入进一步分成基于翻译的模型和基于语义匹配的模型基于翻译的模型采用基于距离的评分函数，TransE把实体和关系嵌入到一个维度为d的共享向量空间中；TransH,TransR,RotatE. 语义匹配模型采用基于相似性的评分函数，RESCAL,DistMult,CoKE. 2）基于描述的知识嵌入

2024年02月07日
浏览(47)
Automatically Correcting Large Language Models

本文是大模型相关领域的系列文章，针对《Automatically Correcting Large Language Models: Surveying the landscape of diverse self-correction strategies》的翻译。大型语言模型（LLM）在一系列NLP任务中表现出了卓越的性能。然而，它们的功效被不受欢迎和不一致的行为所破坏，包括幻觉、不忠实的

2024年02月12日
浏览(58)
A Survey of Large Language Models

本文是LLM系列的第一篇文章，针对《A Survey of Large Language Models》的翻译。自从20世纪50年代提出图灵测试以来，人类一直在探索通过机器掌握语言智能。语言本质上是一个由语法规则控制的复杂的人类表达系统。开发能够理解和掌握语言的人工智能算法是一个重大挑战。在过

2024年02月09日
浏览(64)
文献阅读：Large Language Models as Optimizers

文献阅读：Large Language Models as Optimizers 1. 文章简介 2. 方法介绍 1. OPRO框架说明 2. Demo验证 1. 线性回归问题 2. 旅行推销员问题（TSP问题） 3. Prompt Optimizer 3. 实验考察结论 1. 实验设置 2. 基础实验结果 1. GSM8K 2. BBH 3. 泛化性 3. 消融实验 1. meta-prompt 2. 生成prompt的数目 3. 起始点 4.

2024年01月19日
浏览(42)
A Survey of Knowledge-Enhanced Pre-trained Language Models

本文是LLM系列的文章，针对《A Survey of Knowledge-Enhanced Pre-trained Language Models》的翻译。预训练语言模型（PLM）通过自监督学习方法在大文本语料库上进行训练，在自然语言处理（NLP）的各种任务中都取得了良好的性能。然而，尽管具有巨大参数的PLM可以有效地拥有从大量训练

2024年02月09日
浏览(40)