图注意力网络（GAT）-Toy模板网

这篇具有很好参考价值的文章主要介绍了图注意力网络（GAT）。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

一、图数据结构知识

图是指一系列相互连接的节点，且每个节点自己也具有一定的特征。如下图所示即一个典型的图结构。图注意力网络（GAT）该图一共有五个结点，每个结点有自己的特征Fi.另一方面，为了描述图的结构特点，常用邻接矩阵A和度矩阵D.其中，对于一个N个结点的图来说，邻接矩阵A为一个大小为N*N的对称矩阵，若两个结点i，j直接有连接，则Aij=Aji=1，否则为0.度矩阵D大小同样，除对角线上，其余位置的值均为0，Dii的值为与结点i直接连接的结点的数目。实际处理中还存在一种常见的矩阵拉普拉斯矩阵L，L=D-A。

二、图注意力机制

图注意力网络的关键即是图注意力层，图注意力层的处理对象即为整张图的每个结点，如对于N个结点，每个结点特征维度为F的一张图，通过图注意力层得到的输出即为N*F‘，其中F’为输出层的特征维度。

用h={h1,h2,h3,…hN}表示输入数据，其中hi是大小为F的向量。h‘={h’1,h’2,…h’N}表示输出，hi’为大小为F‘的向量。论文提出了图注意力层从输入计算每个结点的输出，入上图所示，与结点3相邻的结点有2，4，因此我们仅考虑这两个结点对于结点3输出的影响。为此提出了注意力系数eij来表示结点j对于结点i的影响。（注：eji ！=eij，其表示结点j对于结点i的影响）.由此为得到h’i，我们需要考虑与结点i相邻的所有结点对于结点i的注意力系数。因此我们得到如下的关键公式：图注意力网络（GAT）
其中：sigmod表示一个非线性函数，Ni表示与结点i相邻的所有结点组成的域，hj表示结点j的特征向量，W为一个大小为F‘×F的权重矩阵。
再将eij的计算公式带入上式可得：
其中，LeakyReLU为非线性激活函数：y =x， x>=0 y=ax x<0
II表示将左右两个矩阵连接在一起，Whi形状为F’×1，连接后得到一个大小为2F‘×1的矩阵。a为一个大小为2F’的权重向量，因此两者相乘得到一个实数，最后得到一个数即注意力系数。