西电NeurIPS 2022 | 基于结构聚类的异质图自监督学习

论文作者：杨亚明，管子玉，王哲，赵伟，徐偲，陆维港，黄健斌

论文单位：西安电子科技大学，计算机科学与技术学院

现阶段，图（Graph）上的自监督学习大多都遵循图对比学习框架，这些方法通常需要先构造一系列的正样本对以及负样本对，然后通过在低维表示空间中拉近正样本并且推远负样本来学习节点/图的表示。目前，研究者们已经探索了节点丢弃、连边扰动等各种生成正样本的策略，以及特征打乱、批次采样等各种生成负样本的策略。然而，已有研究工作表明，这些正、负样本的生成策略是数据集敏感的。例如，GraphCL通过系统性的研究发现连边扰动对社交网络比较有益，但是对生物化学网络可能有负面作用。

InfoGCL发现负样本对于更稀疏的图可能更有益。因此，在实践中，研究者们需要根据数据集以及手头任务的实际情况来探索、寻找合适的构造正、负样本的策略，这限制了已有方法的灵活性与泛化性。为了有效地应对这个问题，在本项研究中，我们提出一个基于结构聚类的异质图自监督学习方法SHGP，它无需任何正样本或者负样本。

图1 模型整体架构图。

我们的主要思路是通过对异质图执行结构聚类来产生聚类标签，并利用聚类标签来监督异质图神经网络的训练。如图1中的模型架构图所示，SHGP主要包括两个模块，Att-HGNN模块可以被实现为任何基于注意力聚合机制的异质图神经网络（我们采用ie-HGCN模型，请参考原文https://mp.weixin.qq.com/s/oSWHzbpp54W9Ar_zE8ipjQ），它的作用是计算节点的表示：

Att-LPA模块将经典的标签传播算法LPA以及Att-HGNN中的注意力聚合机制进行了有机的结合，它的作用是在异质图上执行结构聚类，并将得到的聚类标签当做伪标签：

这两个模块共享相同的注意力聚合机制，即，Att-HGNN和Att-LPA在每一次前向过程中都执行相同的注意力聚合，区别是Att-HGNN聚合的是（投影后的）特征，而Att-LPA聚合的是上一轮产生的伪标签，两者都有着完全相同的注意力聚合系数。我们在Att-HGNN的顶层构建一个softmax分类器，并将节点表示输入到其中来预测节点标签。模型的损失为节点预测与节点伪标签之间的交叉熵：

计算得到损失以后，我们利用梯度下降来优化所有的模型参数：

随着优化过程的进行，模型会学习到越来越好的注意力分布（包括其他参数）。更好的注意力分布则会在下一轮迭代中促进Att-HGNN和Att-LPA分别产生更好的节点嵌入（以及预测）和伪标签，进而促进模型学习得到更好的参数。这样，两个模块可以紧密地相互作用，并相互增强对方，最终使得模型学习得到具有判别性的节点表示。

我们对节点的预训练表示进行聚类。在每个数据集上，我们利用

*博客内容为网友个人发布，仅代表博主个人观点，如有侵权请联系工作人员删除。