【AI基本模型】图卷积网络GCN简化原理

这篇具有很好参考价值的文章主要介绍了【AI基本模型】图卷积网络GCN简化原理。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

目录

一、说明

二、图卷积网络

三、图卷积网络是如何工作的?

四、如何手动计算图卷积网络(GCN)?

4.1 构建网络

4.2 开始执行训练(参见上图) 

五、图卷积网络的应用


一、说明

        图卷积网络 (GCN) 于 2017 年推出,已成为分析和解释结构为图的数据的强大工具。对于非线性的关系,如拓扑形结构,CNN将出现规模上的爆炸,因此,这里涌现出了很多方法,例如GNN、DeepWalk、node2vec等等,GCN只是其中一种,这里只讲GCN,其他的后面有空再讨论。

图卷积网络 大模型,神经网络,人工智能,网络,人工智能

二、图卷积网络

        GCN,图卷积神经网络,实际上跟CNN的作用一样,就是一个特征提取器,只不过它的对象是图数据。GCN精妙地设计了一种从图数据中提取特征的方法,从而让我们可以使用这些特征去对图数据进行节点分类(node classification)、图分类(graph classification)、边预测(link prediction),还可以顺便得到图的嵌入表示(graph embedding),可见用途广泛。因此现在人们脑洞大开,让GCN到各个领域中发光发热。

        图卷积网络 (GCN) 是处理图结构数据的神经网络架构。想象一下,你有一组对象(节点)通过关系(边)连接,形成一个网络。GCN旨在通过分析节点之间的关系来学习这种网络结构。

        将 GCN 视为强大的模式识别工具,用于扫描图中节点的局部邻域。就像卷积神经网络 (CNN) 扫描图像中的局部邻域一样,GCN 扫描图形中的局部邻域。

        GCN 学习根据不同节点与相邻节点的关系为它们分配重要性。他们学会关注图结构中的模式,这些模式对给定任务有信息,例如对节点进行分类或预测节点之间的关系。

三、图卷积网络是如何工作的?

        图卷积网络 (GCN) 是设计用于处理图结构数据的神经网络,其中节点(对象)通过边(关系)连接。它们的工作方式类似于卷积神经网络 (CNN),后者用于图像处理。

        将图形想象成一组由边缘连接的节点,就像一个社交网络,其中节点代表人,边缘代表友谊。GCN 通过聚合来自相邻节点的信息来学习“卷积”每个节点周围的信息。

图卷积网络 大模型,神经网络,人工智能,网络,人工智能

        图卷积网络

  1. 数据准备:以适合 GCN 的格式表示图形。这涉及将图转换为节点邻接矩阵 (A) 和节点特征矩阵 (X)。邻接矩阵描述图拓扑,而特征矩阵包含节点属性。
  2. 卷积运算:GCN 使用可学习的权重矩阵对节点特征矩阵执行卷积运算。这些卷积运算是专门为图形设计的,与图像处理中使用的二维卷积不同。
  3. 非线性激活:GCN 将非线性激活函数应用于卷积节点特征,使它们能够学习更复杂的表示。
  4. 训练和预测:GCN 在监督学习任务(例如节点分类或链路预测)期间使用反向传播进行训练。经过训练后,GCN 可用于按照相同的步骤对新的图形结构数据进行预测。

        简单来说,图卷积网络的工作原理是通过聚合来自相邻节点的信息来学习“卷积”每个节点周围的信息。这些网络是为图结构数据而设计的,当理解图中节点之间的关系很重要时,这些网络特别有用。

图卷积网络 大模型,神经网络,人工智能,网络,人工智能
图卷积网络

四、如何手动计算图卷积网络(GCN)?

本练习演示了 GCN 如何在一个简单的应用程序中工作:二元分类。

4.1 构建网络

预测图形中的节点是否为 X。

1)建立两层GCN层(与CNN类似)

🟪 图卷积网络 (GCN)
1.GCN1(4,3)
2.GCN2(3,3)

2)连接层

🟦 全连接网络 (FCN)
1.线性1(3,5)
2.ReLU
3.线性2(5,1)
4. sigmoid

3) 简单化 
• 相邻矩阵未归一化。
• ReLU 直接应用于消息。

图卷积网络 大模型,神经网络,人工智能,网络,人工智能
图卷积网络 作者:Tom 教授

4.2 开始执行训练(参见上图) 

[1] 给定
↳ 具有五个节点 A、B、C、D、E 的图形

[2] 🟩 邻接矩阵:邻域
↳ 为邻域的每条边加 1
↳ 在两个方向上重复(例如,A->C、C->A)
↳ 对两个 GCN 层重复

[3] 🟩 邻接矩阵:自
↳ 为每个自循环添加 1
↳ 等效于添加恒等矩阵
↳ 对两个 GCN 层重复

[4] 🟪 GCN1:消息
↳ 将节点嵌入🟨与权重和偏差相乘
↳ 应用 ReLU(负数 → 0)
↳ 结果是每个节点一条消息

[5] 🟪 GCN1:池
化↳ 将消息与相邻矩阵相乘
↳ 目的是池化来自每个节点的邻居以及节点本身的消息。
↳ 结果是每个节点都有一个新功能

[6] 🟪 GCN1:可视化
↳ 对于节点 1,可视化消息如何汇集以获得新功能以便更好地理解
↳ [3,0,1] + [1,0,0] = [4,0,1]

[7] 🟪 GCN2:消息
↳ 将节点特征与权重和偏差相乘
↳ 应用 ReLU(负数 → 0)
↳ 结果是每个节点一条消息

[8] 🟪 GCN2:池
化↳ 将消息与相邻矩阵
相乘↳ 结果是每个节点都有一个新功能

[9] 🟪 GCN2:可视化
↳ 对于节点 3,可视化消息如何汇集以获得新功能以便更好地理解
↳ [1,2,4] + [1,3,5] + [0,0,1] = [2,5,10]

[10] 🟦 FCN:线性 1 + ReLU
↳ 使用权重和偏差乘以节点特征
↳ 应用 ReLU(负数 → 0)
↳ 结果是每个节点
都有一个新特征↳ 与 GCN 层不同,不包含来自其他节点的消息。

[11] 🟦 FCN:线性 2
↳ 使用权重和偏差对节点特征进行乘法

[12] 🟦 FCN:Sigmoid
↳ 应用 Sigmoid 激活函数
↳ 目的是获得每个节点
的概率值↳ 手动✍️计算 Sigmoid 的一种方法是使用以下近似值:
• >= 3 → 1
• 0 → 0.5
• <= -3 → 0

— 输出 —

A:0(极不可能)
B:1(极有可能)
C:1(极有可能)
D:1(极有可能)
E:0.5(中性)

五、图卷积网络的应用

        图卷积网络 (GCN) 由于能够分析复杂的图结构数据,因此在各个领域都有广泛的应用。以下是 GCN 产生影响的一些关键领域:

  1. 计算机视觉:GCN 已应用于各种计算机视觉任务,例如图像和视频处理。它们可用于对象识别、语义分割和动作识别,方法是将图像或视频视为图形,其中节点表示像素或帧,边缘表示空间或时间关系。
  2. 自然语言处理 (NLP):GCN 越来越多地用于 NLP,特别是用于处理句子或文档等顺序数据。在NLP中,图形可以表示单词之间的句法或语义关系,GCN可以学习捕获这些关系。应用程序包括命名实体识别、依赖关系分析和情感分析。
  3. 推荐系统:GCN 可用于对推荐系统中的用户-项目交互进行建模。例如,它们可用于社交网络中的链接预测,GCN可以学习预测用户之间建立新友谊或联系的可能性。
  4. 社交网络分析:GCN 对于分析社交网络特别有用,其中节点表示用户,边缘表示连接。它们可用于社区检测、用户行为分析和链接预测等任务。
  5. 药物发现和化学:GCN通过对分子图进行建模,在药物发现和化学方面显示出巨大的前景。GCN可用于预测药物-靶点相互作用、设计新药和预测化学性质。
  6. 生物信息学: GCN 在生物信息学中可用于蛋白质结构预测、蛋白质-蛋白质相互作用预测和基因表达分析等任务。
  7. 蛋白质结构预测:GCN 可用于将蛋白质结构建模为图形,其中节点表示原子,边缘表示化学键。它们可用于预测蛋白质结构,这对于了解蛋白质功能和开发新药至关重要。
  8. 推荐系统: GCN 可用于对推荐系统中的用户-项目交互进行建模。例如,它们可用于社交网络中的链接预测,GCN可以学习预测用户之间建立新友谊或联系的可能性。
  9. 交通预测和交通:GCN 可用于将交通网络建模为图形,其中节点表示交叉路口或停靠点,边表示道路或路线。它们可用于预测交通拥堵、优化路线和规划交通系统。
  10. 图像和信号处理:GCN 可用于图像去噪、超分辨率和异常检测等任务,方法是将图像或信号视为图形,其中节点表示像素或数据点,边缘表示空间或时间关系。

        这些只是图卷积网络众多应用中的几个例子。GCN 是分析复杂图形结构数据的强大工具,并且越来越多地应用于各个领域,以获得洞察力和做出预测。文章来源地址https://www.toymoban.com/news/detail-859786.html

到了这里,关于【AI基本模型】图卷积网络GCN简化原理的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 使用PyG(PyTorch Geometric)实现基于图卷积神经网络(GCN)的节点分类任务

    PyG(PyTorch Geometric)是一个基于PyTorch的库,可以轻松编写和训练图神经网络(GNN),用于与结构化数据相关的广泛应用。 它包括从各种已发表的论文中对图和其他不规则结构进行深度学习的各种方法,也称为几何深度学习。此外,它还包括易于使用的迷你批处理加载程序,用

    2023年04月20日
    浏览(33)
  • 深入浅出【图卷积神经网络GCN】从 邻接矩阵、特征值矩阵、单位阵、度矩阵 入手,深刻理解融合邻居节点(信息) | GCN从公式到代码实现 全过程 | 在Cora数据集上实现节点分类任务

      这个世界虽然破破烂烂,可总有一些人在缝缝补补,以耀眼的光芒照耀这片大地。   🎯作者主页: 追光者♂🔥          🌸个人简介:   💖[1] 计算机专业硕士研究生💖   🌟[2] 2022年度博客之星人工智能领域TOP4🌟   🏅[3] 阿里云社区特邀专家博主🏅   🏆[4] CSDN-人

    2024年02月13日
    浏览(26)
  • 第二章:AI大模型的基本原理2.2 深度学习基础2.2.3 循环神经网络

    循环神经网络(Recurrent Neural Networks,RNN)是一种特殊的神经网络结构,它可以处理序列数据,如自然语言、时间序列预测等。RNN的核心特点是包含反馈连接,使得网络具有内存功能,可以在处理序列数据时保留以前的信息。这一特性使得RNN成为处理自然语言和时间序列数据的

    2024年01月16日
    浏览(32)
  • 四十八.图卷积网络(GCN)

    CNN 在图像识别等任务中具有重要作用,主要是因为 CNN 利用了图片(信号)在其域中的局部平移不变性。由于图结构不存在平移不变性,所以 CNN 无法直接在图上进行卷积。 CNN 之所以能成为图像领域的明珠却很少应用于其他领域原因是:「图片是一个规整的二维矩阵」,无论

    2024年02月14日
    浏览(27)
  • Pytorch+PyG实现GCN(图卷积网络)

    大家好,我是阿光。 本专栏整理了《图神经网络代码实战》,内包含了不同图神经网络的相关代码实现(PyG以及自实现),理论与实践相结合,如GCN、GAT、GraphSAGE等经典图网络,每一个代码实例都附带有完整的代码。 正在更新中~ ✨ 🚨 我的项目环境: 平台:Windows10 语言环

    2024年01月17日
    浏览(37)
  • 图卷积网络(Graph Convolution Network,GCN)

    目录 一、前言 二、GCN原理 三、GCN用于节点分类 四、总结 在图神经网络出现之前,一般的神经网络只能对常规的欧式数据进行处理,其特点就是节点有固定的排列规则和顺序,如2维网格和1维序列。  近几年来,将深度学习应用到处理和图结构数据相关的任务中越来越受

    2024年02月04日
    浏览(26)
  • 【神经网络第三期】RBF神经网络基本原理和模型应用

    目录 1. RBF神经网络基本概 2. RBF神经网络结构模型 3.RBF神经网络的学习算法 4. 相关模型应用 径向基函数( Radical Basis Function, RBF)是多维空间插值的传统技术,由Powell 于1985 年提出。1988 年, Broomhead 和Lowe 根据生物神经元具有局部响应这一特点,将RBF 引人神经网络设计中,产

    2024年02月14日
    浏览(27)
  • 大语言模型的预训练[1]:基本概念原理、神经网络的语言模型、Transformer模型原理详解、Bert模型原理介绍

    预训练属于迁移学习的范畴。现有的神经网络在进行训练时,一般基于反向传播(Back Propagation,BP)算法,先对网络中的参数进行随机初始化,再利用随机梯度下降(Stochastic Gradient Descent,SGD)等优化算法不断优化模型参数。而预训练的思想是,模型参数不再是随机初始化的

    2024年02月17日
    浏览(39)
  • T-GCN:用于交通流预测的时序图卷积网络

     1.文章信息 本次介绍的文章是2020年发表在IEEE 智能交通系统汇刊上的《T-GCN: A Temporal Graph Convolutional Network for Traffic Prediction》。 2.摘要 为了同时捕获空间和时间依赖性,本文提出了一种新的基于神经网络的交通流预测方法——时间图卷积网络(T-GCN)模型,该模型将图卷积网络

    2024年02月16日
    浏览(28)
  • AI芯片:神经网络研发加速器、神经网络压缩简化、通用芯片 CPU 加速、专用芯片 GPU 加速

      神经网络研发加速器 神经网络编译器组成:编译器、图表示、图优化、计算优化、代码生成。   神经网络编译器 问题: 如何将高级别的神经网络模型有效转换为在多种硬件上运行的优化代码? ONNX的角色: 统一格式 :ONNX提供了一个标准化的格式来表示不同深度学习框架中

    2024年01月21日
    浏览(33)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包