Modèles et plateformes d’IA
Surpuissance des réseaux de neurones graphiques avec les grands modèles de langage : Le guide ultime
Ajouter Unite.AI à vos sources préférées sur Google
Les graphes sont des structures de données qui représentent des relations complexes dans une large gamme de domaines, notamment les réseaux sociaux, les bases de connaissances, les systèmes biologiques et bien d’autres. Dans ces graphes, les entités sont représentées par des nœuds et leurs relations sont représentées par des arêtes.
La capacité à représenter et à raisonner efficacement sur ces structures relationnelles complexes est cruciale pour permettre des progrès dans des domaines tels que la science des réseaux, la chimie informatique et les systèmes de recommandation.
Les réseaux de neurones graphiques (GNN) sont apparus comme un puissant cadre d’apprentissage profond pour les tâches d’apprentissage automatique sur les graphes. En incorporant la topologie du graphe dans l’architecture du réseau de neurones par le biais d’une agrégation de voisinage ou de convolutions graphiques, les GNN peuvent apprendre des représentations vectorielles de faible dimension qui codent à la fois les caractéristiques des nœuds et leurs rôles structurels. Cela permet aux GNN d’obtenir des performances de pointe sur des tâches telles que la classification de nœuds, la prédiction de liens et la classification de graphes dans divers domaines d’application.
Alors que les GNN ont conduit à des progrès importants, certains défis clés persistent. L’obtention de données étiquetées de haute qualité pour l’entraînement de modèles de GNN supervisés peut être coûteuse et chronophage. De plus, les GNN peuvent avoir du mal avec des structures de graphes hétérogènes et des situations où la distribution du graphe au moment du test diffère significativement de celle de l’entraînement (généralisation hors de la distribution).
Parallèlement, les grands modèles de langage (LLM) tels que GPT-4 et LLaMA ont pris d’assaut le monde avec leurs incroyables capacités de compréhension et de génération de langage naturel. Formés sur des corpus de texte massifs avec des milliards de paramètres, les LLM présentent des capacités remarquables d’apprentissage à quelques exemples, de généralisation entre les tâches et de raisonnement basé sur le sens commun qui étaient autrefois considérés comme extrêmement difficiles pour les systèmes d’IA.
Le succès considérable des LLM a catalysé l’exploration de leur utilisation pour améliorer les tâches d’apprentissage automatique sur les graphes. D’une part, les capacités de connaissance et de raisonnement des LLM présentent des opportunités pour améliorer les modèles de GNN traditionnels. D’autre part, les représentations structurées et les connaissances factuelles inhérentes aux graphes pourraient être instrumentales pour résoudre certaines limitations clés des LLM, telles que les hallucinations et le manque d’interprétabilité.
Réseaux de neurones graphiques et apprentissage auto-supervisé
Pour fournir le contexte nécessaire, nous allons d’abord brièvement examiner les concepts et les méthodes fondamentaux dans les réseaux de neurones graphiques et l’apprentissage auto-supervisé de représentation de graphes.
Architectures de réseaux de neurones graphiques
Architecture de réseau de neurones graphiques – source
La principale différence entre les réseaux de neurones profonds traditionnels et les GNN réside dans leur capacité à fonctionner directement sur des données structurées sous forme de graphes. Les GNN suivent un schéma d’agrégation de voisinage, où chaque nœud agrège des vecteurs de caractéristiques de ses voisins pour calculer sa propre représentation.
De nombreuses architectures de GNN ont été proposées avec différentes instances des fonctions de message et de mise à jour, telles que les réseaux de convolution graphiques (GCN), GraphSAGE, les réseaux d’attention graphiques (GAT) et les réseaux d’isomorphisme graphique (GIN) entre autres.
Plus récemment, les transformateurs de graphes ont gagné en popularité en adaptant le mécanisme d’auto-attention des transformateurs de langage naturelle pour fonctionner sur des données structurées sous forme de graphes. Certains exemples incluent GraphormerTransformer et GraphFormers. Ces modèles sont capables de capturer des dépendances à longue portée à travers le graphe mieux que les GNN purement basés sur les voisinages.
Apprentissage auto-supervisé sur les graphes
Alors que les GNN sont des modèles de représentation puissants, leur performance est souvent limitée par le manque de grands ensembles de données étiquetées nécessaires pour l’entraînement supervisé. L’apprentissage auto-supervisé est apparu comme un paradigme prometteur pour pré-entraîner les GNN sur des données de graphes non étiquetées en exploitant des tâches prétextes qui ne nécessitent que la structure intrinsèque du graphe et les caractéristiques des nœuds.
Certaines tâches prétextes couramment utilisées pour le pré-entraînement auto-supervisé des GNN incluent :
- Prédiction de propriétés de nœuds : masquer ou corrompre aléatoirement une partie des attributs/nœuds et demander au GNN de les reconstruire.
- Prédiction de liens : apprendre à prédire si un lien existe entre une paire de nœuds, souvent sur la base d’un masquage aléatoire de liens.
- Apprentissage contrastif : maximiser les similarités entre les vues du même échantillon de graphe tout en éloignant les vues de différents échantillons de graphes.
- Maximisation de l’information mutuelle : maximiser l’information mutuelle entre les représentations locales de nœuds et une représentation cible comme l’empreinte globale du graphe.
Des tâches prétextes comme celles-ci permettent au GNN d’extraire des modèles structurels et sémantiques significatifs à partir des données de graphes non étiquetées pendant le pré-entraînement. Le GNN pré-entraîné peut ensuite être affiné sur des sous-ensembles étiquetés relativement petits pour exceller dans diverses tâches en aval comme la classification de nœuds, la prédiction de liens et la classification de graphes.
En exploitant l’auto-supervision, les GNN pré-entraînés sur de grands ensembles de données non étiquetées présentent une meilleure généralisation, une robustesse aux changements de distribution et une efficacité par rapport à l’entraînement à partir de zéro. Cependant, certaines limitations clés des méthodes auto-supervisées basées sur les GNN traditionnelles persistent, que nous allons explorer en utilisant les LLM pour les résoudre.
Amélioration de l’apprentissage de graphes avec les grands modèles de langage
Intégration de graphes et de LLM – source
Les capacités remarquables des LLM en termes de compréhension du langage naturel, de raisonnement et d’apprentissage à quelques exemples présentent des opportunités pour améliorer de nombreux aspects des pipelines d’apprentissage automatique sur les graphes. Nous explorons certaines directions de recherche clés dans cet espace :
Un défi clé dans l’application des GNN est l’obtention de représentations de caractéristiques de haute qualité pour les nœuds et les arêtes, en particulier lorsqu’elles contiennent des attributs textuels riches comme des descriptions, des titres ou des résumés. Traditionnellement, des modèles d’incorporation de mots ou des modèles de représentation de mots pré-entraînés ont été utilisés, qui capturent souvent mal les nuances sémantiques.
Des travaux récents ont démontré le pouvoir de l’utilisation de grands modèles de langage comme encodeurs de texte pour construire de meilleures représentations de caractéristiques de nœuds et d’arêtes avant de les passer au GNN. Par exemple, Chen et al. utilisent des LLM comme GPT-3 pour encoder les attributs textuels des nœuds, montrant des gains de performance significatifs par rapport aux embeddings de mots traditionnels sur les tâches de classification de nœuds.
Au-delà de meilleurs encodeurs de texte, les LLM peuvent être utilisés pour générer des informations supplémentaires à partir des attributs textuels originaux de manière semi-supervisée. TAPE génère des étiquettes ou des explications potentielles pour les nœuds en utilisant un LLM et les utilise comme caractéristiques supplémentaires. KEA extrait des termes des attributs textuels en utilisant un LLM et obtient des descriptions détaillées pour ces termes pour augmenter les caractéristiques.
En améliorant la qualité et l’expressivité des caractéristiques d’entrée, les LLM peuvent transmettre leurs capacités supérieures de compréhension du langage naturel aux GNN, améliorant ainsi les performances sur les tâches en aval.
Atténuation de la dépendance aux données étiquetées
Un avantage clé des LLM est leur capacité à performer raisonnablement sur de nouvelles tâches avec peu ou pas de données étiquetées, grâce à leur pré-entraînement sur des corpus de texte massifs. Cette capacité d’apprentissage à quelques exemples peut être exploitée pour réduire la dépendance des GNN à de grands ensembles de données étiquetées.
Une approche consiste à utiliser les LLM pour faire directement des prédictions sur les tâches de graphes en décrivant la structure du graphe et les informations de nœuds dans des invites de langage naturel. Des méthodes comme InstructGLM et GPT4Graph affinent des LLM comme LLaMA et GPT-4 en utilisant des invites soigneusement conçues qui intègrent des détails de topologie de graphe comme les connexions de nœuds, les voisinages, etc. Les LLM affinés peuvent alors générer des prédictions pour des tâches comme la classification de nœuds et la prédiction de liens de manière zéro-shot pendant l’inférence.
Alors que l’utilisation des LLM comme prédicteurs boîtes noires a montré des promesses, leur performance se dégrade pour des tâches de graphes plus complexes où la modélisation explicite de la structure est bénéfique. Certaines approches utilisent donc les LLM en conjonction avec les GNN – le GNN encode la structure du graphe tandis que le LLM fournit une meilleure compréhension sémantique des nœuds à partir de leurs descriptions textuelles.
Compréhension de graphe avec le cadre LLM – Source
GraphLLM explore deux stratégies : 1) LLM en tant qu’améliorateurs où les LLM encodent les attributs textuels des nœuds avant de les passer au GNN, et 2) LLM en tant que prédicteurs où le LLM prend les représentations intermédiaires du GNN comme entrée pour faire des prédictions finales.
GLEM va plus loin en proposant un algorithme EM variationnel qui alterne entre la mise à jour des composants LLM et GNN pour une amélioration mutuelle.
En réduisant la dépendance aux données étiquetées grâce aux capacités d’apprentissage à quelques exemples et à l’augmentation semi-supervisée, les méthodes d’apprentissage de graphes améliorées par les LLM peuvent débloquer de nouvelles applications et améliorer l’efficacité des données.
Amélioration des LLM avec les graphes
Alors que les LLM ont été extrêmement réussis, ils souffrent encore de limitations clés comme les hallucinations (génération d’énoncés non factuels), le manque d’interprétabilité dans leur processus de raisonnement et l’incapacité à maintenir des connaissances factuelles cohérentes.
Les graphes, en particulier les graphes de connaissances qui représentent des informations factuelles structurées à partir de sources fiables, présentent des avenues prometteuses pour résoudre ces limites. Nous explorons certaines approches émergentes dans cette direction :
Pré-entraînement de LLM amélioré par les graphes de connaissances
De la même manière que les LLM sont pré-entraînés sur de grands corpus de texte, des travaux récents ont exploré leur pré-entraînement sur des graphes de connaissances pour leur insuffler une meilleure conscience factuelle et des capacités de raisonnement.
Certaines approches modifient les données d’entrée en concaténant simplement ou en alignant des triples de graphes de connaissances avec du texte de langage naturel pendant le pré-entraînement. E-BERT aligne les vecteurs d’entité de graphes de connaissances avec les embeddings de mots de BERT, tandis que K-BERT construit des arbres contenant la phrase originale et les triples de graphes de connaissances pertinents.
Le rôle des LLM dans l’apprentissage automatique de graphes :
Les chercheurs ont exploré plusieurs façons d’intégrer les LLM dans le pipeline d’apprentissage de graphes, chacune avec ses avantages et applications uniques. Voici certains des rôles principaux que les LLM peuvent jouer :
- LLM en tant qu’améliorateur : Dans cette approche, les LLM sont utilisés pour enrichir les attributs textuels associés aux nœuds dans un TAG. La capacité des LLM à générer des explications, des entités de connaissances ou des étiquettes pseudo peut augmenter les informations sémantiques disponibles pour le GNN, conduisant à de meilleures représentations de nœuds et à de meilleures performances sur les tâches en aval.
Par exemple, le modèle TAPE (Text Augmented Pre-trained Encoders) utilise ChatGPT pour générer des explications et des étiquettes pseudo pour des articles de réseau de citation, qui sont ensuite utilisés pour affiner un modèle de langage. Les embeddings résultants sont ensuite alimentés dans un GNN pour la classification de nœuds et la prédiction de liens, atteignant des résultats de pointe.
- LLM en tant que prédicteur : Plutôt que d’améliorer les caractéristiques d’entrée, certaines approches emploient directement les LLM comme composant prédicteur pour les tâches de graphes. Cela implique de convertir la structure du graphe en une représentation textuelle qui peut être traitée par le LLM, qui génère ensuite la sortie désirée, telle que des étiquettes de nœuds ou des prédictions de niveau de graphe.
Un exemple notable est le modèle GPT4Graph, qui représente les graphes en utilisant le langage de modélisation de graphes (GML) et exploite le puissant LLM GPT-4 pour des tâches de raisonnement de graphes zéro-shot.
- Alignement GNN-LLM : Une autre direction de recherche se concentre sur l’alignement des espaces d’embedding des GNN et des LLM, permettant une intégration transparente de l’information structurelle et sémantique. Ces approches traitent le GNN et le LLM comme des modalités distinctes et emploient des techniques telles que l’apprentissage contrastif ou la distillation pour aligner leurs représentations.
Le modèle MoleculeSTM, par exemple, utilise un objectif contrastif pour aligner les embeddings d’un GNN et d’un LLM, permettant ainsi au LLM d’incorporer des informations structurelles du GNN tandis que le GNN bénéficie des connaissances sémantiques du LLM.
Défis et solutions
Alors que l’intégration des LLM et de l’apprentissage de graphes présente un immense potentiel, plusieurs défis doivent être abordés :
- Efficacité et scalabilité : Les LLM sont notoirement gourmands en ressources, nécessitant souvent des milliards de paramètres et une puissance de calcul immense pour l’entraînement et l’inférence. Cela peut constituer un goulet d’étranglement important pour le déploiement de modèles d’apprentissage de graphes améliorés par les LLM dans des applications réelles, en particulier sur des appareils à ressources limitées.
Une solution prometteuse est la distillation de connaissances, où les connaissances d’un grand LLM (modèle enseignant) sont transférées à un GNN plus petit et plus efficace (modèle étudiant).
- Fuite de données et évaluation : Les LLM sont pré-entraînés sur des quantités massives de données publiques, qui peuvent inclure des ensembles de test à partir de jeux de données de référence, conduisant à une fuite potentielle de données et à des performances surestimées. Les chercheurs ont commencé à collecter de nouveaux ensembles de données ou à échantillonner des données de test à partir de périodes postérieures à la date de fin de l’entraînement du LLM pour atténuer ce problème.
De plus, établir des benchmarks d’évaluation équitables et complets pour les modèles d’apprentissage de graphes améliorés par les LLM est crucial pour mesurer leurs capacités réelles et permettre des comparaisons significatives.
- Transférabilité et interprétabilité : Alors que les LLM excellent dans l’apprentissage zéro-shot et à quelques exemples, leur capacité à transférer des connaissances à travers divers domaines et structures de graphes reste un défi ouvert. Améliorer la transférabilité de ces modèles est une direction de recherche critique.
De plus, améliorer l’interprétabilité des modèles d’apprentissage de graphes basés sur les LLM est essentiel pour établir la confiance et permettre leur adoption dans des applications à enjeu élevé. En exploitant les capacités de raisonnement inhérentes des LLM via des techniques telles que le prompting de chaîne de pensée, on peut contribuer à une meilleure interprétabilité.
- Intégration multimodale : Les graphes contiennent souvent plus que des informations textuelles, avec des nœuds et des arêtes pouvant être associés à diverses modalités, telles que des images, de l’audio ou des données numériques. Étendre l’intégration des LLM à ces contextes de graphes multimodaux présente une opportunité passionnante pour la recherche future.
Applications et études de cas dans le monde réel
L’intégration des LLM et de l’apprentissage de graphes a déjà montré des résultats prometteurs dans diverses applications réelles :
- Prédiction de propriétés moléculaires : Dans le domaine de la chimie informatique et de la découverte de médicaments, les LLM ont été utilisés pour améliorer la prédiction de propriétés moléculaires en incorporant des informations structurelles à partir de graphes moléculaires. Le modèle LLM4Mol, par exemple, utilise ChatGPT pour générer des explications pour les représentations SMILES (Simplified Molecular-Input Line-Entry System) de molécules, qui sont ensuite utilisées pour améliorer la précision des tâches de prédiction de propriétés.
- Complétion et raisonnement de graphes de connaissances : Les graphes de connaissances sont un type spécial de structure de graphe qui représente des entités et relations du monde réel. Les LLM ont été explorés pour des tâches telles que la complétion de graphes de connaissances et le raisonnement, où la structure du graphe et les informations textuelles (par exemple, les descriptions d’entités) doivent être considérées conjointement.
- Systèmes de recommandation : Dans le domaine des systèmes de recommandation, les structures de graphes sont souvent utilisées pour représenter les interactions entre utilisateurs et éléments, avec des nœuds représentant les utilisateurs et les éléments, et des arêtes indiquant les interactions ou les similarités. Les LLM peuvent être utilisés pour améliorer ces graphes en générant des informations de côté pour les utilisateurs ou les éléments, ou en renforçant les arêtes d’interaction.
Conclusion
La synergie entre les grands modèles de langage et l’apprentissage de graphes présente une frontière passionnante dans la recherche en intelligence artificielle. En combinant le biais inductif structurel des GNN avec les puissantes capacités de compréhension sémantique des LLM, nous pouvons débloquer de nouvelles possibilités dans les tâches d’apprentissage de graphes, en particulier pour les graphes attribués de texte.
Alors que des progrès importants ont été réalisés, des défis persistent dans des domaines tels que l’efficacité, la scalabilité, la transférabilité et l’interprétabilité. Des techniques telles que la distillation de connaissances, les benchmarks d’évaluation équitables et l’intégration multimodale ouvrent la voie au déploiement pratique de modèles d’apprentissage de graphes améliorés par les LLM dans des applications réelles.
