NodeFormer:一种用于节点分类的可扩展图结构学习Transformer

这篇具有很好参考价值的文章主要介绍了NodeFormer:一种用于节点分类的可扩展图结构学习Transformer。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

NodeFormer: A Scalable Graph Structure Learning Transformer for Node Classification

Abstract

图神经网络已经被广泛研究用于利用互连数据进行学习。尽管如此,最近的证据表明,GNN的缺陷与过度挤压、异质性、处理长程依赖性、边缘不完全性有关,尤其是完全没有图。虽然一个合理的解决方案是学习用于消息传递的新的自适应拓扑,但有关二次复杂性的问题阻碍了在大型网络中同时保证可扩展性和精度。
本文方法

  1. 介绍了一种新的全对消息传递方案,用于在任意节点之间有效传播节点信号,作为用于大型图上节点分类的开创性Transformer型网络的重要构建块
  2. 有效的计算是通过核化的Gumbel-Softmax算子实现的,该算子将算法复杂度降低到线性节点数,用于以可微的方式从大的、潜在的全连通图学习潜在图结构。
  3. 还提供了相应的理论作为我们设计的理由。
    代码地址

方法

General Model and Key Challenges

首先观察到,输入结构可能不是在节点之间传播信号的理想结构,相反,存在一些潜在的结构,可以帮助学习更好的节点表示。因此,我们考虑更新规则
NodeFormer:一种用于节点分类的可扩展图结构学习Transformer
Z:结点表征
A:l层潜在图
可能使消息能够在每一层中的任何节点对之间传递,然而,这带来了两个挑战:
1.(可伸缩性):如何降低学习新图时令人望而却步的二次复杂度?
2.(可微性):如何实现离散结构的端到端可微优化?
请注意,第一个挑战在节点级预测任务中是不平凡的(我们论文的重点),因为潜在图可能连接所有实例节点(例如,根据数据集的大小,从数千到数百万),这很难保证精度和可扩展性。

Efficient Learning Discrete Structures

我们用一个高效的内核化Gumbel-Softmax算子描述了我们的新消息传递方案,以解决上述挑战。我们假设z(0)u=xu作为初始节点表示
内核化消息传递。我们定义了一个全图关注网络,该网络估计实例节点之间的潜在交互,并实现相应的密集连接消息传递:
NodeFormer:一种用于节点分类的可扩展图结构学习Transformer
NodeFormer:一种用于节点分类的可扩展图结构学习Transformer
正随机特征(PRF)
NodeFormer:一种用于节点分类的可扩展图结构学习Transformer
NodeFormer:一种用于节点分类的可扩展图结构学习Transformer

可微随机结构学习

难点在于如何实现离散图结构的可微优化。原则上,我们可以对每个节点的分类分布进行多次采样,以获得其邻居。然而,采样过程会引入不连续性并阻碍反向传播。幸运的是,我们注意到方程。可以被修改以结合重新参数化技巧以允许可微分学习:
NodeFormer:一种用于节点分类的可扩展图结构学习Transformer
NodeFormer:一种用于节点分类的可扩展图结构学习Transformer

Input Structures as Relational Bias

NodeFormer:一种用于节点分类的可扩展图结构学习Transformer
以节点嵌入矩阵X和(可选)图邻接矩阵A为输入的NODEFORMER的数据流示意图。NODEFORMER中有三个组件。
第一个是全对消息传递(MP)模块(红色),它采用我们提出的核化Gumbel-Softmax算子来更新每层中具有O(N)复杂度的节点嵌入。
根据输入图的可用性,其他两个组成部分是可选的:
1)关系偏差(绿色),它增强了观察到的边上的传播权重;
2) 边缘正则化损失(蓝色),旨在最大化观测到的边缘的概率。这两个组成部分需要O(E)的复杂性。最终训练损失L是标准监督分类损失和边缘正则化损失的加权和

Learning Objective

给定训练标签Ytr={yu}u∈Ntr,其中Ntr表示标记节点的集合,通常的做法是最大化观测数据日志的可能性,这会产生监督损失(使用C类)
NodeFormer:一种用于节点分类的可扩展图结构学习Transformer
NodeFormer:一种用于节点分类的可扩展图结构学习Transformer
NodeFormer:一种用于节点分类的可扩展图结构学习Transformer
NodeFormer:一种用于节点分类的可扩展图结构学习Transformer文章来源地址https://www.toymoban.com/news/detail-508617.html

到了这里,关于NodeFormer:一种用于节点分类的可扩展图结构学习Transformer的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 使用BERT分类的可解释性探索

    最近尝试了使用BERT将告警信息当成一个文本去做分类,从分类的准召率上来看,还是取得了不错的效果(非结构化数据+强标签训练,BERT确实是一把大杀器)。但准召率并不是唯一追求的目标,在安全场景下,不仅仅需要模型告诉我们分类结果,还必须把这么分类的原因给输

    2024年02月15日
    浏览(44)
  • CutLER:一种用于无监督目标检测和实例分割的方法

    本文分享自华为云社区《CutLER:一种用于无监督目标检测和实例分割的方法》,作者:Hint。 目标检测是计算机视觉中的一种重要任务,使AI系统感知、推理、理解目标。训练定位模型需要特别的标注,比如目标的框、掩膜、定位点等。本文的工作研究了无监督的目标检测和实

    2024年02月12日
    浏览(42)
  • 论文阅读-AFLNET:一种用于网络协议的灰盒模糊器

    现有服务器模糊测试的困难性: 服务器具有庞大的状态空间 服务器的响应依赖于当前消息和内部服务器状态 现有模糊测试方法在处理服务器模糊测试时的局限性 协议规范和实际协议实现之间的不匹配 AFLNet的创新(解决问题): 变异方法:AFLNet采用了变异方法,通过对初始

    2024年02月07日
    浏览(50)
  • Elasticsearch:ESQL 简介 — 一种用于灵活、迭代分析的新查询语言

    作者:Seth Payne 特别声明 :截止撰写该博文,在目前的公开发行版中,该功能还不能公开测试。这个功能将在未来的发行版中发布。 长期以来,Elastic Platform 一直被视为搜索用例和机器生成数据的分析系统。 分析专注于处理摄入的数据,其中重要的思想是如何在 Elasticsearch

    2023年04月23日
    浏览(34)
  • BO(Business Object)是一种用于表示业务对象的设计模式

    BO是 Business Object 的缩写,是一种用于表示业务对象的设计模式。在Java中,BO的主要作用是 封装业务逻辑 ,实现业务流程的可重用性和可维护性。 BO主要有以下几个作用: 实现业务逻辑的封装:将业务逻辑封装在BO对象中,可以方便地对业务逻辑进行管理和维护,实现业务流

    2024年02月05日
    浏览(54)
  • 文献学习-14-一种用于高精度微创手术的纤维机器人

    Authors: Mohamed E. M. K. Abdelaziz1,2 †, Jinshi Zhao1,3 †, Bruno Gil Rosa1,2 , Hyun-Taek Lee4 , Daniel Simon3,5 , Khushi Vyas1,2 , Bing Li6,7 , Hanifa Koguna3 , Yue Li1 , Ali Anil Demircali3 , Huseyin Uvet8 , Gulsum Gencoglan9,10, Arzu Akcay11,12, Mohamed Elriedy13, James Kinross14, Ranan Dasgupta15, Zoltan Takats3,5 , Eric Yeatman2 , Guang-Zhong Yang16

    2024年03月10日
    浏览(70)
  • iFluor 594 Styramide是一种荧光染料,常用于生物分子标记和成像

    试剂 | 基础知识概述(部分): 中文名称:Alexa Fluor 594酪Styramide 分子量:1341.71 胺的优异替代品 100 Slides 英文名称:iFluor 594 Ex (nm):588 Em (nm):604 规格标准:1g,5g,10g,可提供mg级以及kg级的产品开发服务 试剂 |  包装:   试剂 | 反应机理(部分): iFluor 594 Styramide是一种荧光

    2024年02月11日
    浏览(45)
  • 第十章:重新审视扩张卷积:一种用于弱监督和半监督语义分割的简单方法

            尽管取得了显著的进展,弱监督分割方法仍然不如完全监督方法。我们观察到性能差距主要来自于它们在从图像级别监督中学习生成高质量的密集目标定位图的能力有限。为了缓解这样的差距,我们重新审视了扩张卷积[1]并揭示了它如何以一种新颖的方式被用于有

    2024年02月15日
    浏览(51)
  • 一种用于态势评估的安全数据处理系统(JSP+java+springmvc+mysql+MyBatis)

    本项目包含程序+源码+数据库+LW+调试部署环境,文末可获取一份本项目的java源码和数据库参考。   在复杂多变的安全环境中,对各种安全数据进行实时有效的态势评估对于保障国家安全、社会稳定和人民生命财产安全具有重要意义。然而,传统的安全数据处理系统往往存在

    2024年04月14日
    浏览(44)
  • 《一种改进的YOLOv5用于无人机捕获场景中的目标检测》论文笔记

           无人机图像处理中的目标检测逐渐成为近年来的研究热点。一般目标检测算法在应用于无人机场景时往往会显著下降。这是因为无人机图像是从高空拍摄的,分辨率高,小物体比例很大。为了在满足轻量化特性的同时提高无人机目标检测的精度,我们对YOLOv5s模型进行

    2024年02月02日
    浏览(47)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包