1. Toy模板网首页
  2. > Toy博客

论文笔记 Graph Attention Networks

9月前 作者：UQI-LIUWJ 分类：Toy博客 阅读(38) 违法举报

这篇具有很好参考价值的文章主要介绍了论文笔记 Graph Attention Networks。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

2018 ICLR

1 intro

1.1. GCN的不足

  • 无法完成inductive任务
    • inductive任务是指：
      • 训练阶段与测试阶段需要处理的graph不同。
      • 通常是训练阶段只是在子图上进行，测试阶段需要处理未知的顶点。
    • GGN 的参数依赖于邻接矩阵A/拉普拉斯矩阵L，所以换了一张图，就会有不同的A和L
  • 处理有向图的瓶颈，不容易实现分配不同的学习权重给不同的邻居

1.2 本文思路

  • 引入masked self-attentional layers 来改进前面图卷积的缺点
    • 对不同的相邻节点分配相应的权重，既不需要矩阵运算，也不需要事先知道图结构
    • attention为每个节点分配不同权重，关注那些作用比较大的节点，而忽视一些作用较小的节点

2 GAT

  • 和一般注意力机制一样，GAT的计算也分为两步
    • 计算注意力系数
    • 加权求和

2.1 输入 输出

2.1.1 输入

单个 graph attentional layer的输入是一个节点特征向量集合

论文笔记 Graph Attention Networks,论文笔记,论文阅读

  • N是节点数量
  • F是每个节点特征维度

2.1.2 输出

新的节点特征集合

论文笔记 Graph Attention Networks,论文笔记,论文阅读 

 2.2 计算注意力系数

2.2.1 全局attention的弊端

  • self-attention是一种Global graph attention，会将注意力分配到图中所有的节点上，但是这样会存在以下问题
    • 1，丢失结构信息
      • 基于空间相似假设，一个样本与一定范围内的样本关系较密切
    • 2，样本较多的时候，计算量非常大

2.2.2 masked self-attention

  • 为了解决这一问题，作者使用了一种 masked attention 的方法
    • 对于一个样本来说只利用邻域内的样本计算注意力系数和新的表示
    • 即仅将注意力分配到节点的一阶邻居节点集上
  • 针对每个节点执行 self-attention机制
    • 论文笔记 Graph Attention Networks,论文笔记,论文阅读
      • eij就是i点和其邻居j点的注意力相关系数
      • 论文笔记 Graph Attention Networks,论文笔记,论文阅读为一个映射函数（这边计算eij的时候漏了一个激活函数，论文中使用的是LeakyReLU）
      • hi，hi是点i和点j的特征向量 
  • 计算完点i和所有邻居的注意力相关系数后，引入softmax对所有相邻节点进行正则化
    • 论文笔记 Graph Attention Networks,论文笔记,论文阅读
    • || 表示拼接（concat）操作

2.2.3 加权求和

  • 得到归一化的注意力系数后，使用归一化的值计算对应特征的线性组合，作为每个顶点这一层最后的输出特征
    • 论文笔记 Graph Attention Networks,论文笔记,论文阅读

     文章来源地址https://www.toymoban.com/news/detail-659808.html

2.2.4 多头自注意力

  • 使用K个独立的 attention 机制，然后他们的特征拼接在一起

     

    • 论文笔记 Graph Attention Networks,论文笔记,论文阅读
    • 这样每一层输出的维度为KF‘
  • 对于最后一个卷积层，不采用拼接的方式合并不同的attention机制的结果了，而是采用求平均的方式进行处理
    • 论文笔记 Graph Attention Networks,论文笔记,论文阅读

     

3 实验

3.1 数据集

 3.2 实验结果

3.2.1 transductive learning

训练和测试在一张图上

论文笔记 Graph Attention Networks,论文笔记,论文阅读

 3.2.2 inductive learning

训练和测试不在一张图上

论文笔记 Graph Attention Networks,论文笔记,论文阅读

 

论文笔记 Graph Attention Networks,论文笔记,论文阅读

 

到了这里，关于论文笔记 Graph Attention Networks的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处： 如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：
领支付宝红包 赞助服务器费用

相关文章

  • 论文笔记：E(n) Equivariant Graph Neural Networks

    论文笔记：E(n) Equivariant Graph Neural Networks

            本文介绍了一种新模型来学习与旋转、平移、反射和排列等变的图神经网络，称为 E(n)-等变图神经网络 (EGNN)。          与现有方法相比，EGNN不需要在中间层中计算昂贵的高阶表示，同时仍能获得有竞争力或更好的性能。 此外，虽然现有方法仅限于 3 维空间的

    2023年04月08日
    浏览(41)
  • EEG-GNN论文阅读和分析：《EEG Emotion Recognition Using Dynamical Graph Convolutional Neural Networks》

    EEG-GNN论文阅读和分析：《EEG Emotion Recognition Using Dynamical Graph Convolutional Neural Networks》

    下面所有博客是个人对EEG脑电的探索，项目代码是早期版本不完整，需要完整项目代码和资料请私聊。 数据集 1、脑电项目探索和实现(EEG) (上)：研究数据集选取和介绍SEED 相关论文阅读分析： 1、EEG-SEED数据集作者的—基线论文阅读和分析 2、图神经网络EEG论文阅读和分析：《

    2024年02月07日
    浏览(53)
  • 图神经网络EEG论文阅读和分析：《EEG-Based Emotion Recognition Using Regularized Graph Neural Networks》

    图神经网络EEG论文阅读和分析：《EEG-Based Emotion Recognition Using Regularized Graph Neural Networks》

    下面所有博客是个人对EEG脑电的探索，项目代码是早期版本不完整，需要完整项目代码和资料请私聊。 数据集 1、脑电项目探索和实现(EEG) (上)：研究数据集选取和介绍SEED 相关论文阅读分析： 1、EEG-SEED数据集作者的—基线论文阅读和分析 2、图神经网络EEG论文阅读和分析：《

    2024年02月09日
    浏览(44)
  • 【论文笔记】KDD2019 | KGAT: Knowledge Graph Attention Network for Recommendation

    【论文笔记】KDD2019 | KGAT: Knowledge Graph Attention Network for Recommendation

    为了更好的推荐，不仅要对user-item交互进行建模，还要将关系信息考虑进来 传统方法因子分解机将每个交互都当作一个独立的实例，但是忽略了item之间的关系（eg：一部电影的导演也是另一部电影的演员） 高阶关系：用一个/多个链接属性连接两个item KG+user-item graph+high orde

    2024年02月16日
    浏览(41)
  • 【论文阅读笔记】Attention Is All You Need

    【论文阅读笔记】Attention Is All You Need

      这是17年的老论文了，Transformer的出处，刚发布时的应用场景是文字翻译。BLUE是机器翻译任务中常用的一个衡量标准。   在此论文之前，序列翻译的主导模型是RNN或者使用编解码器结构的CNN。本文提出的Transformer结构不需要使用循环和卷积结构，是完全基于注意力机制

    2024年04月13日
    浏览(42)
  • 【论文阅读笔记】PraNet: Parallel Reverse Attention Network for Polyp Segmentation

    【论文阅读笔记】PraNet: Parallel Reverse Attention Network for Polyp Segmentation

    PraNet: Parallel Reverse Attention Network for Polyp Segmentation PraNet：用于息肉分割的并行反向注意力网络 2020年发表在MICCAI Paper Code 结肠镜检查是检测结直肠息肉的有效技术，结直肠息肉与结直肠癌高度相关。在临床实践中，从结肠镜图像中分割息肉是非常重要的，因为它为诊断和手术

    2024年01月20日
    浏览(62)
  • 【论文导读】- Variational Graph Recurrent Neural Networks（VGRNN）

    【论文导读】- Variational Graph Recurrent Neural Networks（VGRNN）

    Variational Graph Recurrent Neural Networks（VGRNN） 原文地址：Variational Graph Recurrent Neural Networks（VGRNN）：https://arxiv.org/abs/1908.09710 源码: https://github.com/VGraphRNN/VGRNN Representation learning over graph structured data has been mostly studied in static graph settings while efforts for modeling dynamic graphs are still scant

    2024年02月08日
    浏览(54)
  • [论文阅读笔记23]Adaptive Sparse Convolutional Networks with Global Context Enhancement for ... on drone

    [论文阅读笔记23]Adaptive Sparse Convolutional Networks with Global Context Enhancement for ... on drone

    最近正在痛苦改论文中…还没投出去, 心情糟糕 所以不如再做一点笔记… 论文题目: Adaptive Sparse Convolutional Networks with Global Context Enhancement for Faster Object Detection on Drone Images 论文地址: 论文 代码地址: 代码 这是一篇CVPR2023的文章, 是无人机数据集的小目标检测. 文章针对小尺寸目

    2024年02月04日
    浏览(49)
  • 【论文解读】2017 STGCN: Spatio-Temporal Graph Convolutional Networks

    【论文解读】2017 STGCN: Spatio-Temporal Graph Convolutional Networks

    使用历史速度数据预测未来时间的速度。同时用于序列学习的RNN(GRU、LSTM等)网络需要迭代训练，它引入了逐步累积的误差，并且RNN模型较难训练。为了解决以上问题，我们提出了新颖的深度学习框架 STGCN ，用于交通预测。 符号 含义 M 历史时间序列长度 n 节点数 C i C_i C i ​

    2024年02月16日
    浏览(42)
  • 论文解读：SuperGlue: Learning Feature Matching with Graph Neural Networks

    论文解读：SuperGlue: Learning Feature Matching with Graph Neural Networks

    SuperGlue: Learning Feature Matching with Graph Neural Networks 发表时间：2020 论文地址：https://arxiv.org/abs/1911.11763 项目地址：http://github.com/magicleap/SuperGluePretrainedNetwork。 本文介绍了一种通过联合寻找对应和拒绝非匹配点来匹配两组局部特征的神经网络。通过求解一个可微最优传输问题来估

    2024年02月08日
    浏览(60)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包，优惠每天领

二维码1

领取红包

二维码2

领红包