微软亚洲研究院深入探索图深度学习领域两大挑战，以图深度学习赋能知识计算

图（Graph），作为一种通用的数据组织方式，被广泛应用于建模实体间的联系，例如知识图谱、社交网络、交通路网、引文网络、互联网以及云服务依赖关系网络等。随着深度学习技术的快速发展，由深度学习与图数据处理相结合，催生出了图深度学习这一热门的研究方向，并以图嵌入、图神经网络等技术为代表对图数据进行学习和分析。从数据的角度来看，图深度学习如今已成为图数据分析背后的重要技术。

微软亚洲研究院数据、知识与智能（Data, Knowledge and Intelligence，DKI）组一直致力于发掘数据的价值，因此，DKI 组的研究员们希望从数据分析和知识提取中获取洞见，以更有效的图深度学习技术来赋能企业级的数据分析和知识计算。所谓知识计算就是指利用计算机程序来处理人类知识的过程，而且在这个过程中要将人类的知识转化为计算机可以理解的形式，并用这些信息解决复杂的问题。

知识计算领域的数据对象往往很有特点，其中的典型数据包括知识图谱和根据领域特点自定义的异构网络，这类图中的节点和边有更明确的语义，而且往往有确定的实体名和关系类型名，还常具有详细的文本描述。图的结构和语义信息都是对分析结果有明显影响的要素，基于这两种信息融合的知识表示也非常具有挑战性，所以图学习模型的设计也要更有针对性。

目前对知识的建模手段主要有两类：一类是通过大规模语言模型隐式建模知识，但这类模型的可控度和可解释性较低，有些回答真假难辨，比如 ChatGPT；另一类是通过显式的知识建模，利用结构化的知识表达，将其存储于知识库中，可以显式进行问答、推理等任务，然而如何更好地利用知识库中的知识却是个难题。

微软亚洲研究院 DKI 组的研究员们认为可以利用图深度学习，从以下几个方面增强显式知识建模的能力：

（1）增强知识表示能力。通过相应技术学习得到知识的向量表示，让现有的智能模型可以更好地利用知识库中的知识。

（2）提升知识挖掘能力。图深度学习技术可以用来挖掘知识图谱结构中的隐藏关系，从而更好地理解知识中的含义和关联性。

（3）扩展知识应用范围。图深度学习技术能够应用于多种领域，如自然语言处理、推荐系统、知识图谱构建等，为知识计算的应用提供了更多的可能性。

知识图谱是最为常用的显式建模知识的方式，它是一种用节点表示实体，用连边表示关系的图结构组织方式。针对知识图谱的图深度学习技术是知识计算中非常重要的一环。目前，知识图谱上的图深度学习方法以嵌入技术为主，该类技术将实体和关系映射到低维向量空间，用来表示知识图谱中实体和关系之间的相似度，从而进行知识图谱的推理、推荐和分类等任务。在应用外部知识解决各类智能任务的过程中，图深度学习也发挥着重要作用。

“我们希望利用图深度学习来增强显式建模知识的能力，并结合知识图谱和图深度学习进行更多探索。针对知识图谱，我们通过图深度学习来挖掘更多潜在的隐藏关系，力争得到更全面、完善的知识表达，这也是我们在 NeurIPS 2022 大规模图学习竞赛 OGB-LSC 上的课题，比赛结果表明我们的研究已经取得了阶段性成果。”微软亚洲研究院 DKI 组主管研究员杜仑表示。

系列研究让图深度学习模型更通用、更稳定

图深度学习领域的研究内容非常广泛，微软亚洲研究院 DKI 组将系列研究聚焦在了图深度学习需要持续攻克的几个课题上：设计更通用、更具泛化性的图深度学习模型和更稳定有效的模型训练策略，以及探索更广泛的图模型应用场景。

从模型设计的角度，目前很多模型都擅长处理具有同配属性的数据。同配属性是指图上节点具有相邻相似性，这种性质在传统的图研究对象中存在较多，例如社交网络、交通路网等等，然而图数据的覆盖面非常广，例如企业中团队协作的关系网络就有更明显的优势互补倾向，或者推荐系统中用户对于内容不喜欢的反馈网络显然不具备同配关系。那么如何建模更广泛类型的图，并挖掘更多图中的有效信号，是目前模型设计上的一个挑战。

从模型训练的角度来看，由于图数据中节点和节点的连边导致训练过程中无法简单地流式遍历数据，需要配合图采样等技术才能进行有效的训练，因此如何在保证高效训练的同时又尽可能减少信息损失，是真实大规模图数据场景中的重要问题。除了图特有的问题外，图深度学习模型的训练也会遇到其他深度学习模型所面临的类似的问题，比如如何保证训练的稳定性、效率和最终模型的泛化表现等。

此外，图模型的过压缩（oversquashing）、过平滑（oversmoothing），以及一般深度学习的模型初始化、过拟合等也都是需要一一解决的问题。

经过近几年的持续研究，DKI 组的研究员们在适用范围更广、可解释性更强的图模型设计，以及一些通用的提高模型训练稳定性和泛化性的设计等方面都取得不少突破性成果。

在更具泛化性的模型结构设计方面，研究员们提出了针对图同配性和异配性同时建模的双核图网络模型，和针对邻域特征分布建模的混合矩图网络模型：

• 针对图同配性和异配性同时建模的双核图网络模型：研究员们发现无法建模异配关系的部分原因是，对同一阶邻居的向量表征使用了相同的核做变换所致，即使使用类似于图注意力网络（GAT）的注意力机制，但由于注意力计算的权重总是一个正值，所以一个核无法同时对节点表征之间的相似性和相异性（如正负相关性）进行建模。针对这个问题，研究员们分析发现，无论是在同配图还是异配图的数据集上，都存在着相当数量的异配子图，且子图的异配度参差不齐，而传统模型如 GCN（图卷积神经网络）在同配子图上往往表现优异，但在异配子图上发挥较差，这充分说明了同时建模同配和异配性模型的必要性。因此，研究员们提出了一种基于双核特征转换和门（gate）机制的新型 GNN（图形神经网络）模型——GBK-GNN。通过具有不同同质异质特性的七个真实数据集的广泛实验表明，与其他 SOTA 方法相比，GBK-GNN 有稳定且显著的提升。

图1：GBK-GNN 模型架构图

• 针对邻域特征分布建模的混合矩图网络模型：GNN 是一类通过聚合邻居信息来对图上的节点、边或者子图进行表示的机器学习模型。然而，大多数现有的 GNN 都使用单一的统计量，如平均数、最大值和求和，来聚合邻居的特征，丢失了与邻居特征分布相关的信息，降低了模型的性能。为了解决这个问题，研究员们借鉴统计学理论的矩方法，提出了新的 GNN 模型——混合矩图神经网络 MM-GNN。在15个真实世界图数据集（包括社交网络、引文网络和网页网络等）上进行的广泛实验表明，MM-GNN 优于现有的最先进的模型。

图2：MM-GNN 模型架构图

在探索稳定的图深度学习模型的过程中，微软亚洲研究院 DKI 组还发现了稳定神经元的响应对模型泛化能力提升的帮助，提出了基于信息瓶颈理论的神经元竞争初始化策略：

• 稳定神经元响应以提升模型泛化性能：研究员们从神经元级别的细粒度出发，分析了单个神经元在神经网络训练和测试中的响应特性，发现提升神经元对同类输入样本响应的稳定性能够有效地提高神经网络的泛化性能。据此，研究员们提出了一种通用的正则项，用于控制神经元在激活状态下响应的类内方差。该正则项简单高效，不仅显著提高了图学习领域的图神经网络的泛化能力，还在计算机视觉领域中为卷积神经网络和多层感知机模型带来了显著提升。

• 基于信息瓶颈理论的神经元竞争初始化策略：在深度神经网络的复杂系统中，稳定的训练过程往往依赖于有效的初始化机制。现有的初始化机制研究工作主要关注于如何更好地缓解训练过程中所出现的梯度消失或爆炸问题，但缺乏对提升模型最终泛化效果的关注。受信息瓶颈理论（information bottleneck theory）的启发，研究员们定义了两个初始化目标，保证初始模型具有一定分类效果的同时能尽可能多地保留两种模型输入的信息量。此外，通过一种新颖且高效的神经元竞争算法，模型的初始化在上述两个目标之外还能保证初始化参数的多样性。该方法的新颖性和有效性得到了 CIKM 委员会的青睐，并获得了最佳短文奖。

微软亚洲研究院 DKI 组还利用图建模方法赋能了更多领域，提出了基于图模型增强的表格理解深度网络。表格数据结构的自动化理解是对文档表格和网页表格进行数据分析的重要步骤。然而，表格数据类型多样，包括便于存储的数据库表格、为了利于展示的电子表格以及结构更为灵活的问卷式表格，这大大增加了表格理解的难度。对此，研究员们利用图结构灵活、泛用性强的特点，引入了图建模的思路，兼顾了建模表格结构以及表格中文本的语义信息，设计了一个面向表格的通用深度网络，可以有效地理解表格结构。此外，网络中还引入了行粒度和列粒度上的双向循环神经网络模块，以更好地理解表格不同区域间的边界关系。在两种不同数据粒度的真实表格理解任务中，该方法都取得了最优表现。

加强合作，推动图深度学习赋能更多场景

微软亚洲研究院 DKI 组在图深度学习研究中所取得的阶段性技术突破，现已开始应用在众多业务场景中。例如，在 Excel 中，通过图建模的方法引入 WordNet 作为建模表格语义信息时的外部知识，对表格结构识别任务有明显提升。而在领英（LinkedIn）的工作推荐功能中，一个很重要的问题是如何把合适的工作推荐给合适的人。领英与 DKI 组合作通过异构图建模包括行业信息、教育背景、技能等在内的领域知识，并结合异构图 GNN 模型同时建模领域知识与用户行为等信息，当前已在线下实验中取得了明显的推荐准确率提升。

除此之外，微软亚洲研究院 DKI 组还与学术界的高校和科研机构合作，一道推进图深度学习领域的进步与应用。通过微软亚洲研究院铸星计划，DKI 组的研究员与中科院计算所的学者共同探索了结合图模型的交通轨迹数据的表示学习，借由层级图模型建模数据点的物理距离，有效提升了轨迹表示学习模型的效果。在与上交所的研究合作中，研究员们对大规模图处理进行了研究，提出了新的图模型加速推断方法，使推理过程更高效。

对于图深度学习未来的研究规划，微软亚洲研究院首席研究员韩石表示，“下一步，微软亚洲研究院 DKI 组将持续推进企业级知识计算领域与相关基础研究的探索，包括文档智能、显式知识表示和大规模语言模型的结合、以及图深度学习模型等。同时，我们也希望可以与更多学术机构和专家学者合作，共同探索图深度学习的前沿发展方向。”

感谢微软亚洲研究院 DKI 组图深度学习研究团队（成员包括：杜仑、陈旭、马晓君、付强、韩石）对本文的贡献。

相关论文链接：

1. Solution for NeurIPS 2022 OGB-LSC

https://ogb.stanford.edu/paper/neurips2022/wikikg90mv2_DNAKG.pdf

2. HTGN-BTW: Heterogeneous Temporal Graph Network with Bi-Time-Window Training Strategy for Temporal Link Prediction

https://www.wsdm-conference.org/2022/wp-content/uploads/2022/02/Task2_nothinghere_2nd.pdf

3. Neuron with Steady Response Leads to Better Generalization，NeurIPS’22

https://openreview.net/forum?id=9YQPaqVZKP

4. MM-GNN: Mix-Moment Graph Neural Network towards Modeling Neighborhood Feature Distribution, WSDM’23

https://arxiv.org/abs/2208.07012

5. Neuron with Steady Response Leads to Better Generalization，NeurIPS’22

https://openreview.net/forum?id=9YQPaqVZKP

6. Neuron Campaign for Initialization Guided by Information Bottleneck Theory，Best Short Paper at CIKM’21

https://dl.acm.org/doi/abs/10.1145/3459637.3482153

7. TabularNet: A Neural Network Architecture for Understanding Semantic Structures of Tabular Data, KDD’21

https://dl.acm.org/doi/abs/10.1145/3447548.3467228