KG-BERT: BERT for Knowledge Graph Completion 2019ACL-Toy模板网

这篇具有很好参考价值的文章主要介绍了KG-BERT: BERT for Knowledge Graph Completion 2019ACL。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

把BERT用在知识图谱补全上
提出KG-BERT模型，在预训练好的BERT基础上继续fine-tuning。

1.传统KGC方法

传统的KGC方法一般依赖于KGE，而KGE往往通过将KG中的三元组关系投影到某个表示空间中，然后使用打分函数对三元组的合理性进行评估，在用基于正负样本的对比进行模型的训练，而这个表示空间往往和某些数学结构联系在一起，比如最著名的TransE就是向量的加法，RotatE对应了复平面上的旋转，后面还发展出了双曲面、圆锥等各种各样的表示模型。

2.KG-BERT模型

具体的做法就是修改了BERT模型的输入使其适用于知识库三元组的形式。
KG-BERT则直接使用BERT模型对三元组进行打分，它将三元组中的头尾实体和关系转换成对应的文本输入([CLS]head[SEP]relation[SEP]tail[SEP])到BERT模型中，然后使用BERT函数输出结果中的CLS标签作为整个三元组的表示向量，并投影到一个打分函数空间中，然后通过三元组分类这样的任务来对BERT进行微调。

3.三元组分类

KG-BERT(a)

KG-BERT: BERT for Knowledge Graph Completion 2019ACL
将三元组转换为文本序列模式，将实体、关系的名称或描述文本，通过[CLS]和[SEP]进行顺序拼接，喂入KG-BERT中后，获得[CLS]的表征向量，并进行二分类，判断该三元组是否成立。

正样本（三元组即在KG中）和负样本（给定一个三元组，随机替换实体或关系，且确保生成的新的三元组在KG中不存在）

4.关系分类

（KG-BERT-b）

KG-BERT: BERT for Knowledge Graph Completion 2019ACL

KG-BERT也可以完成关系分类，输入两个实体或实体描述，输出多类分类。
这里只是把sigmoid的二分类改成了softmax的关系多分类。
KG-BERT: BERT for Knowledge Graph Completion 2019ACL 文章来源地址https://www.toymoban.com/news/detail-470147.html