5.1 LLM-augmented KG Embedding
知识图嵌入(KGE)旨在将每个实体和关系映射到一个低维向量(嵌入)空间中。这些嵌入包含KGs的语义和结构信息,可用于各种任务,如问答[182]、推理[38]和推荐[183]。传统的知识图嵌入方法主要依靠知识图的结构信息来优化嵌入上定义的评分函数(如TransE[25]和DisMult[184])。然而,由于结构连通性有限,这些方法在表示看不见的实体和长尾关系方面往往存在不足[185],[186]。为了解决这个问题,如图16所示,最近的研究采用llm通过编码实体和关系的文本描述来丰富KGs的表示[40],[97]。
5.1.1 LLMs as Text Encoders
Pretrain-KGE[97]是一种具有代表性的方法,其框架如图16所示。给定来自KGs的三元组(h, r, t),它首先使用LLM编码器将实体h, t和关系r的文本描述编码为表示:
文章来源:https://www.toymoban.com/news/detail-529296.html
其中eh、er和et分别表示实体h、t和关系r的初始嵌入。在实验中,Pretrain-KGE使用BERT作为LLM编码器。然后,将初始嵌入输入到KGE模型中,生成最终嵌入vh、vr和vt。在KGE训练阶段,他们通过遵循标准KGE损失函数来优化KGE模型:文章来源地址https://www.toymoban.com/news/detail-529296.html
到了这里,关于Unifying Large Language Models and Knowledge Graphs: A Roadmap的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!