2021年Graph ML热门趋势和主要进展总结（1）

来源：DeepHub IMBA

对于 Graph ML 来说2021年是重要的一年——成千上万的论文、无数的会议和研讨会......说明这个领域是在蓬勃的发展。我将Graph ML 这一年的进展进行结构化的展示，并重点介绍

趋势和主要进步。

无论您是在研究细分的主题还是刚开始使用 Graph ML - 我们都希望这篇文章是一个很好的参考点。这个领域太大了如果我错过了一些重要的东西，请在评论中告诉我们！

Graph Transformers + Positional Features

GNN 在通常是稀疏的图上运行，而 Graph Transformers (GT) 在全连接图上运行，其中每个节点都连接到图中的每个其他节点。一方面，这带来了节点 N 数量的 O (N²) 复杂度。另一方面，GT 不会遭受过度平滑，这是长距离消息传递的常见问题。全连接图意味着我们有来自原始图的“真”边和从全连接变换中获得的“假”边。我们还需要一种方法来为节点注入一些位置特征，否则 GT 会落后于 GNN（如 Dwivedi 和 Bresson 的 2020 年论文所示）。
今年最引人注目的两个Graph Transformers模型可能是 SAN（Spectral Attention Nets）和 Graphormer。
Kreuzer、Beaini 等人的 SAN 使用了拉普拉斯算子的 top-k 特征值和特征向量，表明单独的谱特征（spectral features）可以区分被 1-WL 检验确定是否同构的图。SAN 将光谱特征与输入节点特征连接起来，在许多分子任务上优于稀疏 GNN。

Ying 等人的 Graphormer 采用了不同的方法并使用了空间特征。节点特征丰富了中心性编码（centrality encoding）——可学习的入度和出度嵌入。注意力机制有两个偏置项：1、节点 i 和 j 之间最短路径的距离；2、取决于一条可用最短路径的边特征编码。

 
Graphormer完成了2021年Graph ML大满贯:OGB large Challenge和Open Catalyst Challenge图回归任务第一名!(以下将详细介绍这些挑战)
SAN 和 Graphormer 在分子级别的任务上进行了评估，图相当小（平均 50-100 个节点），这样计算量不会特别大，例如运行 O (N³) Floyd-Warshall 所有对最短路径。Graph Transformers 仍然受到 O (N²) 注意力机制的限制。缩放到大于分子的图形可能会解决这些问题。来自 NLP的思想可能会有所帮助，但由于他们从未实现注意力矩阵，因此需要找到一种聪明的方法将边缘特征置于此类模型中。在 2022 年应该会看到更多关于这方面的研究！

Equivariant GNNs

Geoffrey Hinton 提出的equivariance有何独特之处？
equivariance在 2021 年掀起了 ML 的风暴，在 Graph ML 中，它在许多molecular tasks中尤其具有破坏性。等变 GNN 需要一个额外的节点特征输入——即物理坐标的一些表示，这些表示将在 n 维空间中旋转/反射/平移。

Satorras、Hoogeboom 和 Welling 提出了 EGNN、E(n) 等变 GNN，其与普通 GNN 的重要区别在于将物理坐标添加到消息传递和更新步骤。方程 3 将相对平方距离添加到消息 m，方程 4 更新位置特征。EGNN 在建模 n 体系统、作为自动编码器和量子化学任务（QM9 数据集）方面显示出令人印象深刻的结果。


另一种选择是合并原子之间的角度，如 Klicpera、Becker 和 Günnemann 在 GemNet 中所做的那样。这可能需要将输入图转换为折线图，例如边图，其中来自原始图的边变成折线图中的节点。这样就可以将角度作为新图中的边特征。


GemNet 在分子动力学任务上取得了不错的成绩：COLL、MD17 和 Open Catalyst20。显然equivariance才刚刚起步

由于几何深度学习，整个****物发现 (DD) 领域在 2021 年得到了显着的发展。DD 的众多关键挑战之一是生成具有所需属性的分子（图）。这个领域很大，所以我们只强调模型的三个分支。
Normalizing Flows.
Satorras、Hoogeboom 等人应用上述equivariance框架来创建 E(n) 等变归一化流，能够生成具有位置和特征的 3D 分子。

概率模型

Shi、Luo 等人研究了在给定 2D 图形的情况下生成 3D 构象异构体（即 3D 结构）的问题。模型 ConfGF 估计原子坐标对数密度的梯度场。作者想出了一种方法将这种旋转平移等变属性合并到估计器中。

RL方法

用一种非常不科学的方式来描述，这些方法通过逐步添加“构建块”来生成分子。我们可以根据这种构建过程的条件对这些方法进行广泛的分类。例如Gao、Mercado和Coley将构建过程设定在合成能力上，也就是说否能够在实验室中创造这个分子。他们首先学习如何创建构建块的合成树(类似模板)。

由Yoshua Bengio领导的Mila和Stanford研究团队提出了一个更通用的框架，Yoshua Bengio介绍了GFlowNets。这很难用几句话来概括——当想要对不同的候选人进行抽样时，GFlowNets可以用于主动学习案例并且抽样概率与奖励函数成正比。他们最近在NeurIPS发表的21篇论文显示了GFlowNets应用于分子生成任务的好处。