图卷积网络(Graph Convolution Network,GCN)

这篇具有很好参考价值的文章主要介绍了图卷积网络(Graph Convolution Network,GCN)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

目录

一、前言

二、GCN原理

三、GCN用于节点分类

四、总结


一、前言

在图神经网络出现之前,一般的神经网络只能对常规的欧式数据进行处理,其特点就是节点有固定的排列规则和顺序,如2维网格和1维序列。

图卷积神经网络,深度学习,深度学习,人工智能

 近几年来,将深度学习应用到处理和图结构数据相关的任务中越来越受到人们的关注。图神经网络的出现使其在上述任务中取得了重大突破,比如在社交网络、自然语言处理、计算机视觉甚至生命科学等领域得到了非常广泛的应用。图神经网络可以把实际问题看作图中节点之间的连接和消息传播问题,对节点之间的依赖关系进行建模,从而能够很好地处理图结构数据。

近年来,CNN在图像识别、自然语言处理等多个领域应用广泛,但其只能高效地处理网格和序列等这样规则的欧氏数据,不能有效地处理像社交多媒体网络数据、化学成分结构数据、生物蛋白数据以及知识图谱数据等图结构的非欧氏数据。因为图的结构一般是极为不规则的,每一个节点的周围结构可能都是独一无二的,其邻居节点和连接的边各不相同,所以传统的CNN难以处理这类图结构数据。图卷积神经网络(Graph Convolution Network,GCN)是CNN在图结构的非欧氏数据上的应用,GCN 是图神经网络中一个重要分支,现有的大多数图算法模型基本上都是在GCN基础上变化推导而来。

二、GCN原理

对于一个图结构数据集,其中有个节点(node),每个节点都有自己的特征,我们设这些节点的特征组成一个大小的矩阵,表示每个节点隐藏状态维度。另外各个节点之间的关系也可以提取为一个大小的关系矩阵,也称为邻接矩阵(adjacency matrix)。和就是GCN模型中输入的特征。

表示节点特征,每个节点都具有自己的向量表示; 表示图结构特征,即节点与节点间的边的信息。

图卷积神经网络,深度学习,深度学习,人工智能

一个基于分层传播规则的层GCN,其层与层之间的传播方式为:

图卷积神经网络,深度学习,深度学习,人工智能

其中:

图卷积神经网络,深度学习,深度学习,人工智能,是一个维的单位矩阵。之所以要加上一个单位矩阵,是因为邻接矩阵的对角线上都是0(节点不存在self-loop关系),所以在和特征矩阵相乘时会忽略该节点自身的特征。而给加上一个单位矩阵就使得对角线元素变成1。

是的度矩阵(degree matrix),公式为:。是没有经过归一化的矩阵,若与直接相乘会改变特征原本的分布。因为不同节点,其边的数量和权值都不一样,有的节点连接了多条边,这导致具有多条边的节点在聚合后的特征值远大于具有较少边的节点。所以需要对进行标准化处理,使的每一行加起来为1,是对称且归一化的矩阵。

是层的权重矩阵。

表示非线性激活函数,如ReLU函数。

为第层的激活矩阵,,。

GCN的层(layers):

GCN的层数是指节点特征能够传播的最远距离。例如,在1层的GCN中,每个节点只能从其邻居那里获得信息。每个节点收集信息的过程是独立进行的,但对所有节点来说是在同一时间进行的。

当在第一层的基础上再叠加一层时,即重复聚合信息的过程,但这一次,邻居节点已经有了自己的邻居的信息(来自上一步),这使得层数成为每个节点可以走的最大跳步。但GCN作者通过实验表明,GCN层数不宜多,2-3层就足够了,过多的层数反而会适得其反。

图卷积神经网络,深度学习,深度学习,人工智能

三、GCN用于节点分类

图卷积神经网络,深度学习,深度学习,人工智能上图中的GCN输入一个图,通过层GCN后每个节点的特征从变成了。表示节点的标签。

假设我们构造一个两层的GCN,激活函数分别采用ReLU和Softmax,则整体的正向传播的公式为:

其中,。

然后,针对所有带标签的节点计算cross entropy损失函数:

图卷积神经网络,深度学习,深度学习,人工智能

这样就可以训练一个用于节点分类的GCN模型了,即使只有很少节点带有标签也能训练,作者称他们的方法为半监督分类(Semi-Supervised node classification)。除此之外,将损失函数变动一下,GCN也可以用来做链接预测等任务。

四、总结

GCN的提出在图任务处理领域具有里程碑式的意义,原作者的实验表明,即使使用随机初始化的参数,GCN提取出来的节点特征就很好了,其聚类结果比得上DeepWalk、node2vec算法经过复杂训练后得到节点特征的效果。

GCN其实是拉普拉斯平滑的特殊形式,GCN的主要思想是取所有邻居节点特征(包括自身节点)的加权平均值。度低的节点获得更大的权重,然后将得到的特征向量通过神经网络进行训练。在GCN中,节点特征的更新是靠不断聚合邻居节点特征实现的,这会使得相邻节点的相似性增强,从而使分类能力大大增强。但如果堆叠多层GCN网络,输出特征可能过度平滑,使来自不同簇的顶点可能变得不可区分,分类效果也就会下降。

另外,对于更复杂的图,如异构图、动态图、带权重的图,GCN还不能有效应对。对于含有大规模数量节点和边的图,也给GCN的计算带来挑战。在GCN提出之后,有不少工作针对其不足之处做出了改进,如R-GCN、GraphSAGE等模型。

参考文献:

1、Kipf T N, Welling M. Semi-supervised classification with graph convolutional networks[J]. arXiv preprint arXiv:1609.02907, 2016.

2、何时能懂你的心——图卷积神经网络(GCN) - 知乎

3、GCN图卷积网络入门详解文章来源地址https://www.toymoban.com/news/detail-762644.html

到了这里,关于图卷积网络(Graph Convolution Network,GCN)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 使用PyG(PyTorch Geometric)实现基于图卷积神经网络(GCN)的节点分类任务

    PyG(PyTorch Geometric)是一个基于PyTorch的库,可以轻松编写和训练图神经网络(GNN),用于与结构化数据相关的广泛应用。 它包括从各种已发表的论文中对图和其他不规则结构进行深度学习的各种方法,也称为几何深度学习。此外,它还包括易于使用的迷你批处理加载程序,用

    2023年04月20日
    浏览(45)
  • 深度学习入门——深度卷积神经网络模型(Deep Convolution Neural Network,DCNN)概述

    机器学习是实现人工智能的方法和手段,其专门研究计算机如何模拟或实现人类的学习行为,以获取新的知识和技能,重新组织已有的知识结构使之不断改善自身性能的方法。计算机视觉技术作为人工智能的一个研究方向,其随着机器学习的发展而进步,尤其近10年来,以深

    2024年02月13日
    浏览(45)
  • 图神经网络|图注意网络Graph Attention Network

    Leaky ReLU 有利于压低负数对结局的影响。 输入向量 h i h_i h i ​ 乘上权重矩阵W得到对应的向量 h i ∗ h_i^* h i ∗ ​ ,并将 h i ∗ h_i^* h i ∗ ​ 计算出对应的 a i a_i a i ​ ,从而得到最终对结果向量的贡献。 所以有 h = ∑ i h i ∗ ∗ a i h = sum_i{h_i^{*}*a_i} h = ∑ i ​ h i ∗ ​ ∗ a i ​

    2024年02月02日
    浏览(42)
  • 深入浅出【图卷积神经网络GCN】从 邻接矩阵、特征值矩阵、单位阵、度矩阵 入手,深刻理解融合邻居节点(信息) | GCN从公式到代码实现 全过程 | 在Cora数据集上实现节点分类任务

      这个世界虽然破破烂烂,可总有一些人在缝缝补补,以耀眼的光芒照耀这片大地。   🎯作者主页: 追光者♂🔥          🌸个人简介:   💖[1] 计算机专业硕士研究生💖   🌟[2] 2022年度博客之星人工智能领域TOP4🌟   🏅[3] 阿里云社区特邀专家博主🏅   🏆[4] CSDN-人

    2024年02月13日
    浏览(42)
  • 【论文导读】-Vertically Federated Graph Neural Network for Privacy-Preserving Node Classification纵向联邦图神经网络

    原文地址:https://www.ijcai.org/proceedings/2022/0272.pdf Graph Neural Network (GNN) has achieved remarkable progresses in various real-world tasks on graph data, consisting of node features and the adjacent information between different nodes. High-performance GNN models always depend on both rich features and complete edge information in graph. Howeve

    2024年01月23日
    浏览(43)
  • 【论文阅读】Multi-Modal Sarcasm Detection via Cross-Modal Graph Convolutional Network 嘲讽检测,多模态,跨模态,图神经网络

    本博客系博主根据个人理解所写,非逐字逐句翻译,预知详情,请参阅论文原文。 发表地点: ACL 2022; 论文下载链接: Multi-Modal Sarcasm Detection via Cross-Modal Graph Convolutional Network - ACL Anthology 代码链接: https://github.com/HITSZ-HLT/CMGCN; 随着在线发布包含多模态信息的博客的流行,

    2024年02月17日
    浏览(48)
  • 【图神经网络 02】图卷积

    图卷积获取特征需要:各节点输入特征、网络结构图。 图卷积是半监督任务,不需要全部标签,少量标签也能训练,计算损失时只考虑有标签。  针对橙色节点,计算特征:平均其邻居特征(包括自身)后传入神经网络。 GCN也可以做多层,每一层输入的还是节点特征。  

    2024年02月09日
    浏览(40)
  • 葡萄书--关系图卷积神经网络

    同质图指的是图中的节点类型和关系类型都仅有一种 异质图是指图中的节点类型或关系类型多于一种 知识图谱包含实体和实体之间的关系,并以三元组的形式存储(头实体, 关系, 尾实体,即异质图定义的边) 一般来说,知识图谱补全有两种任务:链路预测和实体分类 如果

    2024年04月22日
    浏览(35)
  • 图神经网络(二)—GCN-pytorch版本代码详解

    写在前面… 在研究生的工作中使用到了图神经网络,所以平时会看一些与图神经网络相关的论文和代码。写这个系列的目的是为了帮助自己再理一遍算法的基本思想和流程,如果同时也能对其他人提供帮助是极好的~博主也是在学习过程中,有些地方有误还请大家批评指正!

    2023年04月15日
    浏览(44)
  • 如何理解图神经网络的傅里叶变换和图卷积

    图神经网络(GNN) 代表了一类强大的深度神经网络架构。在一个日益互联的世界里,因为信息的联通性,大部分的信息可以被建模为图。例如,化合物中的原子是节点,它们之间的键是边。 图神经网络的美妙之处在于它们能够在不牺牲重要细节的情况下直接对图结构数据进

    2024年02月09日
    浏览(44)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包