3.4 图自动编码器

自动编码器(autoencoder)是深度神经网络中常用的一种无监督学习方式，对于图结构数据而言，自动编码器可以有效处理节点表示问题。最早的图自动编码器是由Tian等人[[54}提出的稀疏自动编码器SAE，通过将图结构的邻接矩阵表示为原始节点特征，利用自动编码器将其降低成低维的节点表示。其中稀疏自动编码的问题被转化为反向传播的最优解问题，即最小化原始传输矩阵和重建矩阵之间的最优解问题。在结构深度网络嵌入[ass}中，也将损失函数表达为邻接矩阵的形式，证明了两个具有相似邻节点的节点有相似的潜在特征表示。

结构深度网络嵌入引入了类似拉普拉斯特征映射来替代目标函数。变分图自动编码器(VGAE) [56]将卷积神经网络应用到图自动编码器结构，对于非概率变体的图自动编码器，定义由随机隐藏变量zi组成的矩阵Z，那么编码器可以表示为Z = GCN(X,A)。结合结构深度网络嵌入的方法，Zhu等人[57]提出了利用高斯分布来进行节点表示的方法，并选择EM距离(Wasserstein distance) Eij作为目标损失函数，能够有效地反应他们之间的距离信息特征。

3.5 时空图神经网络

时空图神经网络作为一种引入了时间序列特征的属性图网络，可以同时获取图结构中时间和空间域的特征信息，每一个节点的特征都会随着时间的变化而变化。这里我们主要讨论在空间域采用图卷积来提取空间特征依赖的时空图神经网络结构，时域特征的获取方法主要分为传统卷积网络、门控循环网络和图卷积网络三种方法。图3中展示了图卷积神经网络、图自动编码器(以变分图卷积自动编码器为例)和时空图神经网络(以1D-CNN+GCN结构为例)的网络结构对比，三种结构的构建基础都是图卷积计算单元。

3.6 图嵌入

对于图结构的数据而言，每一个节点和边对于深度神经网络而言都是不规则的抽象的数据，而通过图嵌入(Graph Embedding)方法对节点和边赋予数值张量，就可以将图结构类比于原本深度神经网络所处理的图像数据，赋予的数值就如同图像中像素数量和像素对应的值。在实现图嵌入的算法中，最为基础的算法就是深度随机游走网络[fill，将语言模型语义理解的任务文本分词后得到词视为图结构中的节点，而连接节点的边则是通过随机游走实现。

每一次随机游走所连接的节点形成的路径就是由经过单词所构成的随机句子，这样的随机图结构网络可以通过N维矩阵的形式表示出来。在如深度随机游走网络一类的随机游走网络中，其随机游走的长度往往是需要人为确认的超参数，为了解决这一问题，Abu-El-Haij a等人[62]基于深度学习的理念，提出了基于反向传播的可学习超参数，并引入了基于转移矩阵幂级数的图注意力网络结构。通过对上层目标函数的分析来优化超参数的选择，从而实现了超参的可学习性。

现阶段的空间图卷积神经网络受限于网络复杂度和节点表示的效果，往往只能用于处理同构图的问题[15]。直接将异构的关系抽象为同构图后会损失较多的特征信息。对于属性多元异构网络嵌入Chen等人提出的HGR[63]模型有效地提取了视频文本匹配任务中图数据的全局和局部特征，并且应用在抽象场景图中。

表3中从网络结构和应用场景的优势方向，具体对图神经网络结构研究进行了分析和对比。

专栏文章内容及配图由作者撰写发布，仅供工程师学习之用，如有侵权或者其他违规问题，请联系本站处理。 联系我们