葡萄书--关系图卷积神经网络

这篇具有很好参考价值的文章主要介绍了葡萄书--关系图卷积神经网络。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

异质图和知识图谱

同质图与异质图

同质图指的是图中的节点类型和关系类型都仅有一种

异质图是指图中的节点类型或关系类型多于一种

知识图谱

知识图谱包含实体和实体之间的关系,并以三元组的形式存储(<头实体, 关系, 尾实体>,即异质图定义的边)

一般来说,知识图谱补全有两种任务:链路预测和实体分类

关系图卷积神经网络

如果我们可以将一个复杂的异质图解耦为多个单一关系下的同构图,那么会发现,其实只需要解决不同关系下的同构图之间的交互,就可以套用之前同构图的方法去解决异质图的问题

葡萄书--关系图卷积神经网络,人工智能,神经网络,图神经网络,深度学习

自环关系被认为是同一种关系类型,也共享一个权重。由此,我们可以得到R-GCN 的层间递推关系为

葡萄书--关系图卷积神经网络,人工智能,神经网络,图神经网络,深度学习

其中 Nir​ 表示关系 r 下节点 i 的邻居索引集,其中 ci,r​ 是针对不同问题下的一个归一化常量,可以通过学习得到或预先设定(如 ci,r​=∣Nir​∣ 表示边类型为 r 的邻居数量),后一项是自环

如果边是有向的,边的方向也可以作为一种关系类型;生成的(绿色)嵌入向量以归一化求和的形式累积

葡萄书--关系图卷积神经网络,人工智能,神经网络,图神经网络,深度学习

可学习参数正则化

基底分解 

假设第 l 层关系 r 下的权重 Wr(l)​ 可以被分解为基底 {V1(l)​,V2(l)​,⋯,Vb(l)​,⋯,VB(l)​} 的线性组合,即

葡萄书--关系图卷积神经网络,人工智能,神经网络,图神经网络,深度学习

可以将原本需要学习 R 个 Wr(l)​ 的任务简化为学习:

  • 一组对于所有关系都通用的基底 Vb(l)​
  • R 组用于组合基底和对应关系的系数 crb(l)​

因此,基底分解可以看作是不同关系类型之间的有效的参数共享形式,参数共享可以有效防止模型在罕见关系数据上过拟合现象的出现

块对角矩阵分解

通过学习多个块对角矩阵 Qb,r(l),让 Wr(l)​ 变得比较稀疏,从而减少需要学习的参数量

葡萄书--关系图卷积神经网络,人工智能,神经网络,图神经网络,深度学习

葡萄书--关系图卷积神经网络,人工智能,神经网络,图神经网络,深度学习文章来源地址https://www.toymoban.com/news/detail-855649.html

到了这里,关于葡萄书--关系图卷积神经网络的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 人工智能-卷积神经网络

            人和动物如何把看到的图像转化为大脑中的一个概念?         我们知道计算机是把图转换为一大堆数字,通过训练可以知道这堆数字代表什么含义。但通过前面学过神经网络模型和梯度下降法的方法训练费时费力,而且一旦图片进行改变如缩放、旋转或其他变换,

    2024年02月16日
    浏览(56)
  • 人工智能-线性神经网络

    线性神经网络 在介绍深度神经网络之前,我们需要了解神经网络训练的基础知识。 本章我们将介绍神经网络的整个训练过程, 包括:定义简单的神经网络架构、数据处理、指定损失函数和如何训练模型。 为了更容易学习,我们将从经典算法———— 线性 神经网络开始,介

    2024年02月06日
    浏览(53)
  • 人工智能:CNN(卷积神经网络)、RNN(循环神经网络)、DNN(深度神经网络)的知识梳理

    卷积神经网络(CNN),也被称为ConvNets或Convolutional Neural Networks,是一种深度学习神经网络架构,主要用于处理和分析具有网格状结构的数据,特别是图像和视频数据。CNN 在计算机视觉任务中表现出色,因为它们能够有效地捕获和识别图像中的特征,具有平移不变性(transla

    2024年02月05日
    浏览(68)
  • 【复习】人工智能 第 8 章 人工神经网络及其应用

    因为计算牵扯到导数,所以这章难的部分不会考太难。 人工神经网络是对人脑或生物神经网络若干基本特性的抽象和模拟。 深度学习是神经网络的发展。 人工智能曾经历过很长一段时间的停滞不前。 浩瀚的宇宙中,也许只有包含数千忆颗星球的银河系的复杂性能够与大脑相

    2024年01月19日
    浏览(54)
  • 【人工智能】— 深度神经网络、卷积神经网络(CNN)、多卷积核、全连接、池化

    Pre-training + Fine-tuning Pre-training(预训练) : 监督逐层训练是多隐层网络训练的有效手段, 每次训练一层隐层结点, 训练时将上一层隐层结点的输出作为输入, 而本层隐结点的输出作为下一层隐结点的输入, 这称为”预训练”. Fine-tuning(微调) : 在预训练全部完成后, 再对整个网络进行

    2024年02月10日
    浏览(48)
  • 人工智能之卷积神经网络(CNN)

    前言:今天我们重点探讨一下卷积神经网络(CNN)算法。 _ 20世纪60年代,Hubel和Wiesel在研究猫脑皮层中用于局部敏感和方向选择的神经元时发现其独特的网络结构可以有效地降低反馈神经网络的复杂性,继而提出了卷积神经网络CNN(Convolutional Neural Networks)。 1980年,K.Fukushima提

    2024年02月20日
    浏览(52)
  • 神经网络与人工智能:未来的前沿

    人工智能(Artificial Intelligence, AI)是一门研究如何让机器具有智能行为的科学。在过去的几十年里,人工智能研究主要集中在规则-基于的系统、知识-基于的系统以及黑盒模型。然而,在过去的几年里,一种新的人工智能技术已经吸引了广泛的关注:神经网络。神经网络是一种模

    2024年02月21日
    浏览(64)
  • 人工智能卷积神经网络,CNN,梯度下降

    CNN,是针对图像领域提出的神经网络。 得出的结论: 神经元存在局部感受区域,也称 感受野 细胞对角度有选择性 如细胞对垂直光条响应最强 细胞对运动方向有选择性 1.视觉系统是分层,分级处理的。从低到高堆叠使用卷积和池化。 2.神经系统是存在局部感受区域的。 第一

    2024年02月01日
    浏览(57)
  • 深入了解神经网络:构建人工智能的基石

    目录 引言: 第一部分:神经元 - 生物的灵感 第二部分:人工神经元 - 数学的力量 第三部分:神经网络 - 层层堆叠 第四部分:训练神经网络 - 损失函数和反向传播算法 结论: 神经网络是一种受到生物神经系统启发的人工智能模型,它重现了大脑中神经元之间相互连接的方式

    2024年04月15日
    浏览(61)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包