莱斯科维茨博士是Kumo的首席科学家和联合创始人，Kumo是一家领先的预测性人工智能公司。他是斯坦福大学的计算机科学教授，在那里他已经教书超过15年。莱斯科维茨博士共同创造了图神经网络，并致力于推进人工智能从连接信息中学习的能力。他此前曾在Pinterest担任首席科学家，并在雅虎和微软进行了获奖研究。
我在斯坦福大学期间共同创造了图神经网络。我很早就认识到这种技术的强大潜力。每个数据点、每个观察、每个知识点都不孤立存在；它们都是相互连接的图的一部分。重要的是，大多数有价值的商业数据通常以表格形式存储在数据库和数据仓库中，可以自然地表示为图。利用这种关系结构是构建准确和非幻觉AI模型的关键。图神经网络（GNNs）引入了消息传递架构，可以推理图并捕获知识点之间的连接。但是，就像Transformer改变了语言理解一样，一类新的模型——图Transformer，也为基于图的数据带来了类似的收益。这些模型将注意力机制的灵活性与结构图先验相结合，更有效地模拟复杂关系，而不是其GNN前辈。为什么图需要更多的消息传递传统的图神经网络（GNNs）依赖于消息传递，即每个节点通过聚合来自其邻居的信息来更新其内部状态。可以将其视为每个节点与附近的节点交换摘要，然后使用这些摘要来完善其自己的理解。在多个层次上，这使得信息可以通过图传播。虽然对于学习局部模式很强大，但消息传递有重要的局限性： 过度压缩：当信息在多个跳跃中被聚合时，它可能会被压缩，丢失有意义的细节。这在深度GNNs中尤其成问题。 有限的上下文：标准的消息传递无法轻松地捕获长距离依赖关系，需要多个层次，这增加了复杂性和噪音。 表达能力：许多图结构无法仅使用局部邻域信息来区分，限制了模型在需要细致结构区分的任务上的性能。 这就是图Transformer介入的原因。通过用注意力机制替换或增强消息传递，它们允许每个节点直接关注其他节点（即使是远程节点），基于学习的重要性。结果是更丰富的表示，更好的可扩展性，以及更灵活地推理复杂结构的能力。从GNNs到图Transformer原始Transformer模型是在标志性的论文注意力就是你需要的中引入的，旨在模拟序列中的标记之间的关系。其成功在于自注意力机制，这允许每个输入考虑每个其他输入，权重为学习的相关性。图Transformer通过允许节点不仅关注其邻居，还可以关注图中的任何节点（无论是全连接注意力还是平衡全局和局部信号的混合方法）来适应这一范式。挑战在于向为无结构序列设计的模型中引入结构的概念。图特定位置编码与文本不同，图没有固有的顺序，使得位置编码（指向模型中注入结构或位置信息的技术）变得不那么简单。图Transformer通过各种方法解决了这个问题： 拉普拉斯特征向量：从图拉普拉斯矩阵中得出，提供了捕获全局结构的谱嵌入。 随机游走：捕获从一个节点到另一个节点的多个跳跃的概率。 结构编码：包括距离度量、节点度或边类型。 这些位置编码，无论是谱、概率还是结构，都为图Transformer提供了一种理解每个节点在更广泛的图中的位置的方法。这种结构意识对于使注意力机制在不规则、无序数据上有效操作至关重要， 궁극上使模型能够捕获简单的局部方法无法看到的关系。现实世界的实现和用例将图Transformer引入生产需要能够扩展到现实世界数据规模的基础设施。像PyTorch Geometric（PyG）这样的库使其成为可能。PyG建立在PyTorch之上，提供了一个模块化的框架，用于在从分子建模到推荐系统的各种应用中实现GNNs和图Transformer。它支持在多个小图和单个大图上进行小批量训练，并具有多GPU和torch.compile支持，使其适合研究和企业工作流。这些工具已经在广泛的现实世界应用中发挥作用。在药物发现中，图Transformer通过将原子相互作用建模为图来预测分子性质。在物流和供应链优化中，它们可以表示和推理动态网络、仓库和路线。电子商务公司使用它们来提高推荐，通过理解产品的联合购买和浏览行为作为关系图。在网络安全中，图模型用于通过分析访问模式、网络拓扑和事件序列来检测异常。在每一种情况下，能够从复杂的相互连接结构中学习，而不仅仅依赖手工特征，这被证明是一个重大的优势。技术考虑尽管图Transformer具有潜力，但它们带来了真正的工程权衡。完全的自注意力机制随着节点数量的增加而呈二次增长，使得内存和计算效率成为首要考虑的问题，特别是对于大规模或密集的图。许多现实世界的图也具有有向边，引入了复杂性，使得结构信息的编码变得困难。在实际部署中，输入很少是统一的：将图结构数据与文本、时间序列或图像结合需要仔细的架构选择和强大的数据预处理。这些挑战并非不可逾越，但它们确实需要周密的系统设计，特别是在从研究原型转向生产就绪模型时。接下来是什么：LLMs遇见图一个主要的研究方向是将大型语言模型（LLMs）与图结构集成。这些混合系统使用LLMs来编码文本上下文或提取实体，然后将该信息放入图中进行推理和决策。在生物学中，这已经推动了像AlphaFold这样的工具的发展。在企业AI中，它使得能够结合文档和行为图的客户支持系统。图Transformer在使AI代理能够做出更明智、更有行动性的决策方面发挥着越来越重要的作用，允许它们推理结构化状态表示并动态优先交互。这种融合有助于代理更好地理解分层关系，跟踪随时间的依赖关系，并在复杂环境中适应其行为。该领域仍在不断发展，但潜力是巨大的。结论图Transformer不仅仅是GNNs的下一个迭代；它们代表了注意力、结构和可扩展性的融合。不论您是在金融、生命科学还是推荐系统中工作，信息都很明确：您的数据形成一个图，因此您的模型也应该如此。
