图神经网络(GNN)的前沿应用!
共 4502字，需浏览 10分钟
·
2024-04-10 17:41
虽然 ChatGPT 或生成式 AI 的扩散模型等 AI 大模型在过去几个月中备受关注，但图神经网络 （GNN） 一直在迅速发展。在过去的几年里，GNN已经悄悄地成为大量令人兴奋的新成就背后的黑马，这些成就从纯粹的学术研究突破到了积极大规模部署生产中。
Uber、谷歌、阿里巴巴、Pinterest、Twitter等公司已经在其一些核心产品中转向基于GNN的方法，与以前最先进的AI架构相比，这些方法表现出了实质性的性能改进。
尽管问题的类型各不相同，其基础数据集也存在差异，但所有这些突破都使用GNN的单一统一框架来运作其核心。这表明了一种潜在的视角转变：图结构数据提供了一个通用而灵活的框架，用于描述和分析任何可能的实体集及其相互交互。
本文将回顾 GNN 的一些极具影响力的应用并深入探讨图机器学习的原理及优势。
一、介绍
图数据在世界上无处不在： 任何由实体和它们之间的关系组成的系统都可以表示为图。 尽管过去十年的深度学习算法在自然语言处理、计算机视觉和语音识别等领域取得了突出的进步，但由于它们能够通过非线性层从数据中提取高级特征，大多数深度学习架构都是专门为欧几里得结构化数据量身定制的，例如表格数据、图像、文本、 和音频，而图形数据在很大程度上被忽略了。
传统的人工智能方法被设计为从由某种“刚性”结构编码的对象中提取信息。例如，图像通常被编码为固定大小的二维像素网格，而文本则被编码为一维的单词序列（或“标记”）。另一方面，以图形结构化的方式表示数据可能会揭示从这些实体及其关系的更高维表示中出现的有价值的信息。
不幸的是，图形的高度灵活性的代价是设计能够学习该数据并跨不同领域泛化的同构框架的复杂性。在过去的二十年中，人们为能够大规模处理图形数据的人工智能系统提出了各种方法，但这些进步通常与开发它们的特定案例和设置有关。
近年来，一个相对较小的高级深度学习研究人员社区在展示如何最好地将不同领域的各种数据问题转换为图问题方面取得了长足的进步，其中图神经网络及其一些变体已被证明在各种深度学习任务中优于主流方法。事实上，GNN已成为解决许多完全不同且看似不相关的领域中现实问题的重要工具，例如药物发现、推荐系统、流量预测等等，在这些领域中，更传统和特定案例的方法都失败了。
GNN目前在更广泛的人工智能研究领域中扮演什么角色？让我们来看看一些数字，这些数字揭示了GNN如何在研究界看到惊人的崛起。
二、人工智能研究领域的图神经网络
GNN迅速确立自己作为任何图结构学习的一般范式的一个不可忽视的意义是，该领域的任何新改进都将在广泛的领域中传播进步。在过去的几年里，世界各地的学术和行业研究人员对这一主题的关注都经历了爆炸式增长，这并不奇怪。
如果我们查看过去 3 年公认的 ICLR 和 NeurIPS 研究出版物，我们可以初步了解这一令人印象深刻的增长，这两个主要的年度会议专注于前沿 AI 研究。我们发现，图神经网络一词每年都位居前 3 名。
最近的一项文献计量研究系统地分析了这一研究趋势，揭示了涉及 GNN 的已发表研究呈指数级增长，2017-2019 年期间年均增长 +447%。《2021 年人工智能状况报告》进一步确认，图神经网络是人工智能研究出版物中的关键词，“从 2019 年到 2020 年，使用量增幅最大”。
我 们还可以通过观察图神经网络在不同应用领域的影响来研究图神经网络的多功能性。 下图旨在说明GNN论文在22个类别中的分布情况。
正如我们所看到的，GNN 在 AI 研究中取得了令人瞩目的增长，其影响分布在截然不同的领域。现在让我们看一下其中的一些用例，并了解GNN如何在那里产生（可量化的）影响。
三、图神经网络：应用
图神经网络已成为最近许多激动人心的项目背后的关键组成部分！让我们仔细看看一些示例以及将 GNN 应用于生产的效果。
提升推荐系统（Uber 和 Pinterest）
Uber Eats 优食的团队开发了一款送餐应用程序，最近开始将图形学习技术引入推荐系统，为应用程序提供支持，旨在显示最有可能吸引个人用户的食物。鉴于在此类环境中处理的图表规模很大（Uber Eats 优食是全球 500 多个城市的 320,000 多家餐厅的门户），图神经网络是一个非常有吸引力的选择。事实上，正如我们将在下一篇文章中看到的那样，GNN 只需要固定数量的参数，这些参数不依赖于输入图的大小，这使得学习可以扩展到大型图。
在推荐菜肴和餐厅模型的第一次测试中，该团队报告说，与现有的生产模型相比，在平均倒数排名、Precision@K和 NDCG 等关键指标上，性能提升了 20% 以上。在将 GNN 模型集成到 Uber Eats 优食推荐系统（其中包含其他非基于图形的特征）后，开发人员观察到与现有的生产基线模型相比，AUC 从 78% 跃升至 87%，后来对影响的分析表明，基于 GNN 的特征是迄今为止整个推荐模型中最有影响力的特征。
Pinterest 是一个可视化发现引擎，它作为一个社交网络运行，用户在其中与链接到基于 Web 的资源的视觉书签（称为图钉）进行交互。该平台为用户提供了将图钉组织到主题集合（称为板）中的能力。“Pinterest 图”包含 20 亿个图钉、10 亿个板和超过 180 亿条边缘，代表了一个丰富而复杂的视觉生态系统，对理解用户行为和偏好具有潜在意义。
Pinterest 目前正在积极部署 PinSage，这是一个由 GNN 提供支持的推荐系统，可以扩展到 Pinterest 图表上运行。PinSage能够以新颖的方式预测用户感兴趣的视觉概念可以映射到他们可能吸引的新事物。
为了衡量其准确性，研究团队根据其他最先进的基于内容的深度学习基线（基于视觉或注释嵌入方法的最近邻）评估了PinSage的性能，并使用以下两个关键指标进行推荐任务：
-
命中率 – 直接衡量算法提出的建议包含与查询相关的项目的概率。
- 平均倒数排名 （MRR） – 衡量相关结果接近搜索结果顶部的程度。
下一代交通预测算法（谷歌地图）
图神经网络的另一个极具影响力的应用来自DeepMind的一组研究人员，他们展示了如何将GNN应用于交通地图，以提高预计到达时间（ETA）的准确性。这个想法是使用 GNN 来学习交通网络的表示，这些表示可以捕获网络的底层结构及其动态。 该系统已经被谷歌地图在全球几个主要城市大规模部署，新方法大大降低了查询预计到达时间时负面用户结果的比例（与之前在生产中部署的方法相比，准确率提高了50%）。
新的GNN驱动的药物发现算法（麻省理工学院实验室）
也许人工智能方法在制药领域最近最著名的应用之一来自麻省理工学院的一个研究项目，该项目后来发表在著名的科学期刊《细胞》上。 目标是使用人工智能模型通过学习分子的图形表示来预测分子的抗生素活性，从而捕获它们潜在的抗生素活性。在这种情况下，选择用图表编码信息是非常自然的，因为抗生素可以表示为小分子图，其中节点是原子，边缘对应于它们的化学键。 人工智能模型从这些数据中学习，以预测受某些理想条件影响的最有前途的分子，随后这些预测在实验室中得到测试和验证，从而帮助生物学家从数十亿个可能的候选者中确定要分析的分子的优先级。 
基于扩散的蛋白质设计生成式人工智能（贝克实验室）
蛋白质设计的目标是创造具有所需特性的蛋白质，并且可以通过（通常是高成本的）实验方法来完成，这些方法允许研究人员通过直接操纵蛋白质的氨基酸序列来设计新的蛋白质。新蛋白质的设计具有巨大的潜在应用，例如开发新药、酶或材料。贝克实验室最近将图神经网络和扩散技术相结合，创建了一个名为RosettaFoldDiffusion（RFDiffusion）的人工智能系统，该系统已被证明能够设计满足自定义约束的蛋白质结构。人工智能模型通过E（n）等变图神经网络运行，这是一种特殊的GNN，专门设计用于处理具有刚性运动对称性（例如空间中的平移、旋转和反射）的数据结构，并被微调为去噪器，即扩散模型。
RFDiffusion 于 2022 年 11 月发布，是一个高度复杂的系统，能够处理蛋白质设计中的大量特定任务，因此已针对各种指标和基准进行了测试。结果显示，与最先进的竞争对手相比，RFDiffusion解决了100%的基准问题（25个中的23个），在设计蛋白质结构基序的支架时，RFDiffusion解决了100%的基准问题（25个中的23个），并在设计蛋白质结合剂方面取得了18%的成功率 - 这个问题被称为蛋白质设计中的“重大挑战”。此外，RFDiffusion 的实验成功率从 5 倍到 214 倍不等，具体取决于靶蛋白。 该领域的一些专家认为，RFDiffusion可能是“这十年来与AlphaFold一起在结构生物学领域取得的最大进步”之一，这一进步在很大程度上依赖于图神经网络的最新进展。