[异构图-论文阅读]Heterogeneous Graph Transformer

这篇具有很好参考价值的文章主要介绍了[异构图-论文阅读]Heterogeneous Graph Transformer。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

这篇论文介绍了一种用于建模Web规模异构图的异构图变换器(HGT)架构。以下是主要的要点:

摘要和引言 (第1页)

  1. 异构图被用来抽象和建模复杂系统,其中不同类型的对象以各种方式相互作用。
  2. 许多现有的图神经网络(GNNs)主要针对同构图设计,无法有效表示异构结构。
  3. HGT通过设计节点和边类型相关的参数来模拟异构注意力,从而允许HGT为不同类型的节点和边保持专用的表示。
  4. 通过使用HGSampling(异构小批量图采样算法),HGT能够有效和可扩展地处理Web规模的图数据。 在Open Academic Graph上的实验显示,HGT在各种下游任务上一致优于所有最先进的GNN基线。

[异构图-论文阅读]Heterogeneous Graph Transformer,《GNN & 深度学习& 区块链》,论文阅读,transformer,深度学习

HGT架构(第2页和第3页)
  • 异构互注意力(Heterogeneous Mutual
    Attention)
    :HGT通过将目标节点映射到查询向量,将源节点映射到键向量,并计算它们的点积作为注意力。每个元关系(即,<源节点类型,边类型,目标节点类型>三元组)应具有不同的投影权重集。这允许模型捕捉到不同类型的节点和边之间的不同语义关系,同时通过使用更小的参数集来保持它们的特定特征。

  • 异构消息传递(Heterogeneous Message
    Passing)
    文章来源地址https://www.toymoban.com/news/detail-737736.html

到了这里,关于[异构图-论文阅读]Heterogeneous Graph Transformer的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【论文阅读】Relation-Aware Graph Transformer for SQL-to-Text Generation

    SQL2Text 是一项将 SQL 查询映射到相应的自然语言问题的任务。之前的工作将 SQL 表示为稀疏图,并利用 graph-to-sequence 模型来生成问题,其中每个节点只能与 k 跳节点通信。由于无法捕获长期且缺乏特定于 SQL 的关系,这样的模型在适应更复杂的 SQL 查询时将会退化。为了解决这

    2024年02月20日
    浏览(33)
  • 【论文笔记】Summarizing source code with Heterogeneous Syntax Graph and dual position

    在本文中,我们提出了一个名为 HetSum 的新颖框架。具体来说,首先 通过在 AST 中设计六种类型的增强边来构建异构语法图(HSG) ,这表明了源代码的异构结构。同时,考虑布局信息, 为源代码中的每个标记设计了双重位置 。此外,我们在 HetSum 中 开发了异构图神经网络来

    2024年01月16日
    浏览(36)
  • 论文阅读--Energy efficiency in heterogeneous wireless access networks

    论文信息:Navaratnarajah S, Saeed A, Dianati M, et al. Energy efficiency in heterogeneous wireless access networks[J]. IEEE wireless communications, 2013, 20(5): 37-43.   本文提出了无线接入网节能的重要方面。我们特别关注最近发展的异构网络(HetNets)中的节能机会,包括单RAT和多RAT。(RAT无线接入技术)。

    2024年02月05日
    浏览(34)
  • 论文阅读:Retrieval-augmented Generation across Heterogeneous Knowledge

    跨异构知识的检索增强生成 NAACL 2022 论文链接 摘要 检索增强生成(RAG)方法越来越受到NLP社区的关注,并在许多NLP下游任务上取得了最先进的性能。与传统的预训练生成模型相比, RAG方法具有知识获取容易、可扩展性强、训练成本低等显著优点 。尽管现有的RAG模型已应用于

    2024年02月06日
    浏览(34)
  • 【论文阅读】GNN在推荐系统中的应用

    参考Graph Neural Networks for Recommender Systems: Challenges, Methods, and Directions 1、本文结构 推荐系统可分成4类:阶段,场景,目标和应用 图神经网络可分成2类:谱模型和空间模型 讨论GNN应用在推荐系统中的动机,主要包括高阶连接,结构化数据,增强监督信号 分析了关于图的构造,

    2024年02月05日
    浏览(33)
  • 论文阅读-DF-Platter: Multi-Face Heterogeneous Deepfake Dataset(多人脸异构深度伪造数据集)

    文章名称:DF-Platter: Multi-Face Heterogeneous Deepfake Dataset 作者团队:  会议:cvpr2023 数据集地址: http://iab-rubric.org/df-platter-database 动机 目前大多数研究工作都集中在个人外表受控的高质量图像和视频上。 但是,deepfake 生成算法现在能够创建具有低分辨率、遮挡和操纵多个拍摄对

    2024年02月12日
    浏览(71)
  • 【无标题】论文阅读1-Characterizing Heterogeneous Internet-of-Things Devices at Internet Scale using Semantic

    目前,现有的方法通常将设备特征枚举为和规则,并将它们与物联网网络数据进行匹配。然而,物联网设备的异构实现引入了复杂的特征,这使得大规模识别变得困难。为了解决这个问题,本文提出了一种基于语义提取的方法来自动有效地识别在线设备的特征。 具体而

    2024年04月17日
    浏览(36)
  • 【论文阅读】Deep Graph Infomax

    会议: 2019-ICLR 作者:Petar Veliˇckovi´,William Fedus 文章链接:Deep Graph Infomax 代码链接:Deep Graph Infomax (1)无监督图学习的重要性  尽管图神经网络取得了显著的进步,但是大多数方法采用监督学习的方法,然而,在真实世界中,图的标签是较少的,这些方法很难推广到大量

    2024年02月03日
    浏览(41)
  • 【论文阅读】Deep Graph Contrastive Representation Learning

    作者:Yanqiao Zhu Yichen Xu 文章链接:Deep Graph Contrastive Representation Learning 代码链接:Deep Graph Contrastive Representation Learning 现实世界中,图的标签数量较少,尽管GNNs蓬勃发展,但是训练模型时标签的可用性问题也越来越受到关心。 传统的无监督图表征学习方法,例如DeepWalk和nod

    2024年01月18日
    浏览(43)
  • 【论文阅读】Graph-less Collaborative Filtering

    2023WWW CCFA 原文地址 code 图神经网络(GNNs)在图结构的用户-项目交互数据上显示了表示学习的协同过滤(CF)任务的能力。然而, 由于现有的基于 GNN 的CF模型在相邻节点之间固有的递归消息传播,低通拉普拉斯平滑算子的过平滑和噪声效应,可能会产生难以区分和不准确的用

    2024年02月11日
    浏览(24)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包