使用大型语言模型增强图神经网络：终极指南

图是表示复杂关系的数据结构，广泛应用于社交网络、知识图谱、生物系统等领域。在这些图中，实体被表示为节点，关系被表示为边。

有效地表示和推理这些复杂的关系结构对于网络科学、化学生物学和推荐系统等领域的进步至关重要。

图神经网络（GNN）已成为图机器学习任务的强大深度学习框架。通过将图拓扑结构集成到神经网络架构中，GNN可以学习低维向量表示，编码节点特征和结构角色。这使得GNN在节点分类、链接预测和图分类等任务中取得了最先进的性能。

虽然GNN取得了显著进步，但仍然存在一些关键挑战。获取高质量的标记数据来训练监督GNN模型可能很昂贵且耗时。另外，GNN可能难以处理异构图结构和图分布在测试时与训练数据显著不同的情况（分布外推广）。

同时，大型语言模型（LLM）如GPT-4和LLaMA凭借其令人难以置信的自然语言理解和生成能力，正在不断发展。这些模型是在大量文本语料库上训练的，具有数十亿个参数，展现出令人惊叹的少样本学习能力、任务间的泛化能力和常识推理能力，这些能力曾经被认为是人工智能系统难以实现的。

LLM的巨大成功催生了利用其力量来增强图机器学习任务的探索。在一方面，LLM的知识和推理能力为传统GNN模型提供了增强的机会。另一方面，图中的结构化表示和事实知识可以帮助解决LLM的一些关键局限性，例如幻觉和缺乏可解释性。

图神经网络和自监督学习

为了提供必要的背景，我们将首先简要回顾图神经网络和自监督图表示学习的核心概念和方法。

图神经网络架构

图神经网络架构 – 来源

传统深度神经网络和GNN之间的关键区别在于它们直接操作图结构数据的能力。GNN遵循邻域聚合方案，每个节点聚合来自其邻居的特征向量来计算其自己的表示。

已经提出了许多GNN架构，具有不同的消息和更新函数实例化，例如图卷积网络（GCN）、GraphSAGE、图注意力网络（GAT）和图同构网络（GIN）等。

最近，图转换器通过将自然语言转换器中的自注意力机制适应图结构数据而获得了流行。一些例子包括GraphormerTransformer和GraphFormers。这些模型能够比纯粹基于邻域的GNN更好地捕获图中的长距离依赖。

图上的自监督学习

虽然GNN是强大的表示模型，但其性能往往受到缺乏大型标记数据集的限制。自监督学习已经成为一种有前途的范式，用于在无标记图数据上预训练GNN，利用仅需要图的内在结构和节点特征的预训练任务。

图自监督

一些常见的预训练GNN的预训练任务包括：

1. 节点属性预测：随机掩蔽或破坏节点属性的一部分，并要求GNN重构它们。
2. 边/链接预测：学习预测节点对之间是否存在边，通常基于随机边掩蔽。
3. 对比学习：最大化同一图样本的图视图之间的相似性，同时将不同图的视图推开。
4. 互信息最大化：最大化局部节点表示和目标表示（如全局图嵌入）之间的互信息。

这些预训练任务使GNN能够从无标记图数据中提取有意义的结构和语义模式。在预训练后，GNN可以在相对较小的标记子集上进行微调，以在节点分类、链接预测和图分类等任务中取得出色的性能。

通过利用自监督，GNN在大型无标记数据集上进行预训练，表现出更好的泛化、鲁棒性和效率，相比从头开始训练。然而，传统GNN基于自监督方法仍然存在一些关键限制，我们将探讨如何利用LLM来解决这些问题。

使用大型语言模型增强图机器学习

图和LLM集成 – 来源

LLM在自然语言理解、推理和少样本学习方面的卓越能力为增强图机器学习管道的各个方面提供了机会。我们将探讨一些关键的研究方向：

在应用GNN时，一个关键挑战是获取高质量的特征表示，特别是当节点和边包含丰富的文本属性时。传统上，简单的词袋或预训练的词嵌入模型被使用，但这些方法往往无法捕获细致的语义。

最近的工作已经证明了利用大型语言模型作为文本编码器来构建更好的节点/边特征表示的力量，然后将这些表示传递给GNN。例如，Chen等人利用GPT-3编码文本节点属性，展示了在节点分类任务上比传统的词嵌入模型有了显著的性能提升。

除了更好的文本编码器，LLM还可以用于半监督方式生成原始文本属性的增强信息。TAPE使用LLM生成节点的潜在标签/解释，并将这些作为额外的增强特征。KEA使用LLM从文本属性中提取术语，并为这些术语获取详细的描述，以增强特征。

通过提高输入特征的质量和表达能力，LLM可以将其卓越的自然语言理解能力赋予GNN，从而提高下游任务的性能。

缓解对标记数据的依赖

LLM的一个关键优势是其能够在没有大量标记数据的情况下表现良好，得益于其在大量文本语料库上的预训练。这一少样本学习能力可以被利用来减少GNN对大型标记数据集的依赖。

一种方法是使用LLM直接对图任务进行预测，通过将图结构和节点信息转换为自然语言提示。像InstructGLM和GPT4Graph这样的方法使用精心设计的提示来微调LLM，然后在推理期间以零样本方式生成预测。

虽然使用LLM作为黑盒预测器已经显示出希望，但其性能会在更复杂的图任务中下降，在这些任务中，显式地建模结构是有益的。一些方法使用LLM与GNN结合，GNN编码图结构，而LLM提供增强的语义理解。

图理解LLM框架 – 来源

GraphLLM探索两种策略：1）LLM作为增强器，LLM编码文本节点属性，然后传递给GNN；2）LLM作为预测器，LLM接受GNN的中间表示作为输入以进行最终预测。

GLEM进一步提出了一种变分EM算法，交替更新LLM和GNN组件以实现相互增强。

通过减少对标记数据的依赖，LLM增强的图学习方法可以解锁新的应用并提高数据效率。

使用图增强LLM

虽然LLM非常成功，但它们仍然存在一些关键局限性，例如幻觉、缺乏可解释性和无法保持一致的事实知识。

图，特别是知识图，代表了来自可靠来源的结构化的事实信息，提供了解决这些局限性的有前途的途径。我们将探讨一些新兴的方法：

知识图增强LLM预训练

与LLM在大型文本语料库上预训练类似，最近的工作已经探索了在知识图上预训练LLM，以赋予其更好的事实意识和推理能力。

一些方法通过简单地连接或对齐事实知识图三元组与自然语言文本来修改输入数据。E-BERT将知识图实体向量与BERT的词片嵌入对齐，而K-BERT构造了包含原始句子和相关知识图三元组的树。