Modelli e piattaforme di IA
Potenziare le Reti Neurali Grafiche con Modelli Linguistici di Grande Scala: La Guida Definitiva
Aggiungi Unite.AI alle tue fonti preferite su Google
I grafi sono strutture di dati che rappresentano relazioni complesse in una vasta gamma di domini, tra cui reti sociali, basi di conoscenza, sistemi biologici e molti altri. In questi grafi, le entità sono rappresentate come nodi e le loro relazioni sono rappresentate come archi.
La capacità di rappresentare e ragionare efficacemente su queste strutture relazionali intricate è cruciale per consentire progressi in campi come la scienza delle reti, la chemioinformatica e i sistemi di raccomandazione.
Le Reti Neurali Grafiche (GNN) sono emerse come un potente framework di apprendimento profondo per compiti di apprendimento automatico su grafi. Incorporando la topologia del grafo nell’architettura della rete neurale attraverso la aggregazione dei vicini o le convoluzioni del grafo, le GNN possono apprendere rappresentazioni vettoriali a bassa dimensione che codificano sia le caratteristiche dei nodi che i loro ruoli strutturali. Ciò consente alle GNN di raggiungere prestazioni di stato dell’arte in compiti come la classificazione dei nodi, la previsione dei collegamenti e la classificazione dei grafi in diverse aree di applicazione.
Sebbene le GNN abbiano guidato notevoli progressi, alcune sfide chiave rimangono. Ottenere dati etichettati di alta qualità per l’addestramento di modelli GNN supervisionati può essere costoso e lungo. Inoltre, le GNN possono avere difficoltà con strutture di grafi eterogenee e situazioni in cui la distribuzione del grafo al momento del test differisce notevolmente dai dati di addestramento (generalizzazione fuori dalla distribuzione).
In parallelo, i Modelli Linguistici di Grande Scala (LLM) come GPT-4 e LLaMA hanno fatto sensazione con le loro incredibili capacità di comprensione e generazione del linguaggio naturale. Addestrati su enormi corpora di testo con miliardi di parametri, gli LLM esibiscono notevoli capacità di apprendimento a pochi esempi, generalizzazione tra compiti e abilità di ragionamento comune che un tempo si pensava fossero estremamente impegnative per i sistemi di intelligenza artificiale.
Il grande successo degli LLM ha catalizzato esplorazioni sull’utilizzo del loro potere per compiti di apprendimento automatico su grafi. Da un lato, le capacità di conoscenza e ragionamento degli LLM presentano opportunità per migliorare i modelli GNN tradizionali. D’altra parte, le rappresentazioni strutturate e la conoscenza fattuale intrinseca dei grafi potrebbero essere strumentali per affrontare alcune limitazioni chiave degli LLM, come le allucinazioni e la mancanza di interpretazione.
Reti Neurali Grafiche e Apprendimento Autonomo
Per fornire il contesto necessario, esamineremo brevemente i concetti e i metodi fondamentali nelle reti neurali grafiche e nell’apprendimento autonomo di rappresentazioni grafiche.
Architetture di Reti Neurali Grafiche
Architettura di Rete Neurale Grafica – fonte
La chiave di distinzione tra le reti neurali profonde tradizionali e le GNN risiede nella loro capacità di operare direttamente su dati strutturati come grafi. Le GNN seguono uno schema di aggregazione dei vicini, in cui ogni nodo aggrega vettori di caratteristiche dai suoi vicini per calcolare la sua rappresentazione.
Numerose architetture GNN sono state proposte con diverse istanze delle funzioni di messaggio e aggiornamento, come Reti Convolutionali Grafiche (GCN), GraphSAGE, Reti di Attenzione Grafiche (GAT) e Reti di Isomorfismo Grafico (GIN) tra gli altri.
Più recentemente, i trasformatori grafici hanno guadagnato popolarità adattando il meccanismo di auto-attenzione dai trasformatori del linguaggio naturale per operare su dati strutturati come grafi. Alcuni esempi includono GraphormerTransformer e GraphFormers. Questi modelli sono in grado di catturare dipendenze a lungo raggio nel grafo meglio delle GNN puramente basate sui vicini.
Apprendimento Autonomo su Grafi
Sebbene le GNN siano modelli rappresentativi potenti, le loro prestazioni sono spesso limitate dalla mancanza di grandi set di dati etichettati richiesti per l’addestramento supervisionato. L’apprendimento autonomo è emerso come un paradigma promettente per pre-addestrare le GNN su dati grafici non etichettati sfruttando compiti di pre-testo che richiedono solo la struttura intrinseca del grafo e le caratteristiche dei nodi.
Grafico di Apprendimento Autonomo – fonte
Alcuni compiti di pre-testo comuni utilizzati per il pre-addestramento delle GNN includono:
- Predizione delle Proprietà dei Nodi: Mascherare o corrompere casualmente una parte degli attributi dei nodi e chiedere alla GNN di ricostruirli.
- Predizione dei Collegamenti: Imparare a prevedere se un arco esiste tra una coppia di nodi, spesso basato sulla mascheratura casuale degli archi.
- Apprendimento Contrasto: Massimizzare le somiglianze tra visualizzazioni del grafo della stessa istanza del grafo mentre si spingono lontano le visualizzazioni di grafi diversi.
- Massimizzazione dell’Informazione Mutua: Massimizzare l’informazione mutua tra rappresentazioni locali dei nodi e una rappresentazione di destinazione come l’incorporazione globale del grafo.
Compiti di pre-testo come questi consentono alla GNN di estrarre modelli strutturali e semantici significativi dai dati grafici non etichettati durante il pre-addestramento. La GNN pre-addestrata può quindi essere ottimizzata su piccoli set di dati etichettati per eccellere in vari compiti a valle come la classificazione dei nodi, la previsione dei collegamenti e la classificazione dei grafi.
Sfruttando l’apprendimento autonomo, le GNN pre-addestrate su grandi set di dati non etichettati mostrano una migliore generalizzazione, robustezza ai cambiamenti di distribuzione e efficienza rispetto all’addestramento da zero. Tuttavia, alcune limitazioni chiave dei metodi di apprendimento autonomo basati su GNN tradizionali rimangono, che esploreremo per sfruttare gli LLM per affrontare.
Miglioramento dell’Apprendimento Grafico con Modelli Linguistici di Grande Scala
Integrazione di Grafi e LLM – fonte
Le capacità notevoli degli LLM nel comprendere il linguaggio naturale, il ragionamento e l’apprendimento a pochi esempi presentano opportunità per migliorare diversi aspetti delle pipeline di apprendimento automatico su grafi. Esploreremo alcune direzioni di ricerca chiave in questo spazio:
Una sfida chiave nell’applicazione delle GNN è ottenere rappresentazioni di caratteristiche di alta qualità per i nodi e gli archi, specialmente quando contengono attributi testuali ricchi come descrizioni, titoli o abstract. Tradizionalmente, sono stati utilizzati semplici modelli di insieme di parole o modelli di incorporamento di parole pre-addestrati, che spesso non riescono a catturare la semantica sfumata.
Lavori recenti hanno dimostrato il potere di sfruttare i modelli linguistici di grande scala come encoder di testo per costruire migliori rappresentazioni di caratteristiche dei nodi/archi prima di passarle alla GNN. Ad esempio, Chen et al. utilizzano gli LLM come GPT-3 per codificare gli attributi testuali dei nodi, mostrando guadagni di prestazioni significativi rispetto ai tradizionali modelli di incorporamento di parole sulla classificazione dei nodi.
Oltre a migliori encoder di testo, gli LLM possono essere utilizzati per generare informazioni aggiuntive dagli attributi testuali originali in modo semi-supervisionato. TAPE genera etichette/pseudo-etichette potenziali per i nodi utilizzando un LLM e le utilizza come caratteristiche aggiuntive. KEA estrae termini dagli attributi testuali utilizzando un LLM e ottiene descrizioni dettagliate per questi termini per arricchire le caratteristiche.
Migliorando la qualità e l’espressività delle caratteristiche di input, gli LLM possono impartire le loro superiori capacità di comprensione del linguaggio naturale alle GNN, aumentando le prestazioni sui compiti a valle.
Alleviare la Dipendenza dai Dati Etichettati
Un vantaggio chiave degli LLM è la loro capacità di eseguire ragionevolmente bene nuovi compiti con pochi o nessun dato etichettato, grazie al loro pre-addestramento su enormi corpora di testo. Questa capacità di apprendimento a pochi esempi può essere sfruttata per alleviare la dipendenza delle GNN da grandi set di dati etichettati.
Un approccio è utilizzare gli LLM per fare previsioni dirette sui compiti del grafo descrivendo la struttura del grafo e le informazioni sui nodi in prompt del linguaggio naturale. Metodi come InstructGLM e GPT4Graph ottimizzano gli LLM come LLaMA e GPT-4 utilizzando prompt progettati con cura che incorporano dettagli della topologia del grafo come connessioni dei nodi, vicinanze, ecc. Gli LLM ottimizzati possono quindi generare previsioni per compiti come la classificazione dei nodi e la previsione dei collegamenti in modalità zero-shot durante l’inferenza.
Sebbene utilizzare gli LLM come predittori in scatola nera abbia mostrato promesse, le loro prestazioni peggiorano per compiti del grafo più complessi dove la modellazione esplicita della struttura è benefica. Alcuni approcci utilizzano quindi gli LLM in congiunzione con le GNN – la GNN codifica la struttura del grafo mentre l’LLM fornisce una comprensione semantica migliorata dei nodi dalle loro descrizioni testuali.
Comprensione del Grafo con Framework LLM – Fonte
GraphLLM esplora due strategie: 1) LLM come Miglioratori dove gli LLM codificano gli attributi testuali dei nodi prima di passarli alla GNN, e 2) LLM come Predittori dove l’LLM prende le rappresentazioni intermedie della GNN come input per fare previsioni finali.
GLEM va oltre proponendo un algoritmo EM variazionale che alterna tra l’aggiornamento dei componenti LLM e GNN per un miglioramento reciproco.
Riducendo la dipendenza dai dati etichettati attraverso capacità a pochi esempi e arricchimento semi-supervisionato, i metodi di apprendimento del grafo migliorati con LLM possono sbloccare nuove applicazioni e migliorare l’efficienza dei dati.
Miglioramento degli LLM con Grafi
Sebbene gli LLM abbiano avuto un grande successo, soffrono ancora di limitazioni chiave come allucinazioni (generazione di affermazioni non fattuali), mancanza di interpretazione nel loro processo di ragionamento e incapacità di mantenere conoscenza fattuale coerente.
I grafi, specialmente i grafi di conoscenza che rappresentano informazioni fattuali strutturate da fonti affidabili, presentano vie promettenti per affrontare queste carenze. Esploreremo alcuni approcci emergenti in questa direzione:
Pre-addestramento degli LLM con Grafi di Conoscenza
Allo stesso modo in cui gli LLM vengono pre-addestrati su grandi corpora di testo, lavori recenti hanno esplorato il pre-addestramento degli LLM su grafi di conoscenza per infondere una migliore consapevolezza fattuale e capacità di ragionamento.
Alcuni approcci modificano i dati di input semplicemente concatenando o allineando triple di grafi di conoscenza con testo linguistico naturale durante il pre-addestramento. E-BERT allinea i vettori di entità del grafo con gli incorporamenti di wordpiece di BERT, mentre K-BERT costruisce alberi contenenti la frase originale e triple di grafi di conoscenza rilevanti.
Il Ruolo degli LLM nell’Apprendimento Automatico del Grafo:
I ricercatori hanno esplorato diversi modi per integrare gli LLM nella pipeline di apprendimento del grafo, ognuno con i propri vantaggi e applicazioni unici. Ecco alcuni dei ruoli prominenti che gli LLM possono svolgere:
- LLM come Miglioratore: In questo approccio, gli LLM vengono utilizzati per arricchire gli attributi testuali associati ai nodi in un TAG. La capacità dell’LLM di generare spiegazioni, entità di conoscenza o etichette pseudo può arricchire l’informazione semantica disponibile per la GNN, portando a rappresentazioni dei nodi migliorate e prestazioni dei compiti a valle.
Ad esempio, il modello TAPE (Text Augmented Pre-trained Encoders) sfrutta ChatGPT per generare spiegazioni e pseudo-etichette per articoli di reti di citazione, che vengono poi utilizzate per ottimizzare un modello linguistico. Le incorporazioni risultanti vengono quindi alimentate in una GNN per la classificazione dei nodi e la previsione dei collegamenti, raggiungendo risultati di stato dell’arte.
- LLM come Predittore: Alcuni approcci impiegano direttamente gli LLM come componente di previsione per compiti del grafo. Ciò comporta la conversione della struttura del grafo in una rappresentazione testuale che può essere elaborata dall’LLM, che quindi genera l’output desiderato, come etichette dei nodi o previsioni a livello di grafo.
Un esempio notevole è il modello GPT4Graph, che rappresenta i grafi utilizzando il Linguaggio di Modellazione del Grafo (GML) e sfrutta il potente LLM GPT-4 per compiti di ragionamento del grafo zero-shot.
- Allineamento GNN-LLM: Un’altra linea di ricerca si concentra sull’allineamento degli spazi di incorporamento delle GNN e degli LLM, consentendo un’integrazione senza soluzione di continuità tra informazioni strutturali e semantiche. Questi approcci trattano la GNN e l’LLM come modalità separate e impiegano tecniche come l’apprendimento contrastivo o la distillazione per allineare le loro rappresentazioni.
Il modello MoleculeSTM, ad esempio, utilizza un obiettivo contrastivo per allineare gli incorporamenti di una GNN e di un LLM, abilitando l’LLM a incorporare informazioni strutturali dalla GNN mentre la GNN beneficia della conoscenza semantica dell’LLM.
Sfide e Soluzioni
Sebbene l’integrazione degli LLM e dell’apprendimento del grafo tenga una grande promessa, diverse sfide devono essere affrontate:
- Efficienza e Scalabilità: Gli LLM sono notoriamente intensivi in termini di risorse, spesso richiedendo miliardi di parametri e una notevole potenza computazionale per l’addestramento e l’inferenza. Ciò può essere un notevole collo di bottiglia per il deploy di modelli di apprendimento del grafo migliorati con LLM in applicazioni reali, specialmente su dispositivi a risorse limitate.
Una soluzione promettente è la distillazione della conoscenza, dove la conoscenza da un grande LLM (modello insegnante) viene trasferita a un più piccolo e efficiente modello GNN (modello studente).
- Perdita di Dati e Valutazione: Gli LLM sono pre-addestrati su enormi quantità di dati pubblicamente disponibili, che possono includere set di test da dataset di benchmark comuni, portando a potenziali perdite di dati e sovrastime delle prestazioni. I ricercatori hanno iniziato a raccogliere nuovi dataset o a campionare dati di test da periodi di tempo successivi al taglio di addestramento dell’LLM per mitigare questo problema.
Inoltre, stabilire benchmark di valutazione equi e completi per i modelli di apprendimento del grafo migliorati con LLM è cruciale per misurare le loro vere capacità e consentire confronti significativi.
- Trasferibilità e Spiegabilità: Sebbene gli LLM eccellano nell’apprendimento a pochi esempi, la loro capacità di trasferire conoscenza attraverso diversi domini e strutture di grafi rimane una sfida aperta. Migliorare la trasferibilità di questi modelli è una direzione di ricerca critica.
Inoltre, migliorare la spiegabilità dei modelli di apprendimento del grafo basati su LLM è essenziale per costruire fiducia e consentire la loro adozione in applicazioni ad alto rischio. Sfruttare le capacità di ragionamento innate degli LLM attraverso tecniche come il prompting della catena di pensieri può contribuire a una migliore spiegabilità.
- Integrazione Multimodale: I grafi spesso contengono più che semplici informazioni testuali, con nodi e archi potenzialmente associati a diverse modalità, come immagini, audio o dati numerici. Estendere l’integrazione degli LLM a questi ambienti di grafi multimodali presenta un’opportunità emozionante per la ricerca futura.
Applicazioni e Studi di Caso nel Mondo Reale
L’integrazione degli LLM e dell’apprendimento del grafo ha già mostrato risultati promettenti in diverse applicazioni reali:
- Previsione delle Proprietà Molecolari: Nel campo della chimica computazionale e della scoperta di farmaci, gli LLM sono stati impiegati per migliorare la previsione delle proprietà molecolari incorporando informazioni strutturali da grafi molecolari. Il modello LLM4Mol, ad esempio, sfrutta ChatGPT per generare spiegazioni per rappresentazioni SMILES (Simplified Molecular-Input Line-Entry System) di molecole, che vengono poi utilizzate per migliorare l’accuratezza delle attività di previsione delle proprietà.
- Completamento e Ragionamento del Grafo di Conoscenza: I grafi di conoscenza sono un tipo speciale di struttura di grafo che rappresenta entità e relazioni del mondo reale. Gli LLM sono stati esplorati per compiti come il completamento del grafo di conoscenza e il ragionamento, dove la struttura del grafo e le informazioni testuali (ad esempio, descrizioni di entità) devono essere considerate congiuntamente.
- Sistemi di Raccomandazione: Nel dominio dei sistemi di raccomandazione, le strutture di grafo vengono spesso utilizzate per rappresentare interazioni utente-elemento, con nodi che rappresentano utenti ed elementi e archi che denotano interazioni o somiglianze. Gli LLM possono essere sfruttati per migliorare questi grafi generando informazioni laterali per utenti o elementi o rafforzando gli archi di interazione.
Conclusione
La sinergia tra Modelli Linguistici di Grande Scala e Apprendimento Automatico del Grafo presenta un fronte emozionante nella ricerca di intelligenza artificiale. Combinando il bias induttivo strutturale delle GNN con le potenti capacità di comprensione semantica degli LLM, possiamo sbloccare nuove possibilità nei compiti di apprendimento del grafo, in particolare per grafi attribuiti con testo.
Sebbene sia stato fatto un notevole progresso, rimangono sfide in aree come efficienza, scalabilità, trasferibilità e spiegabilità. Tecniche come la distillazione della conoscenza, benchmark di valutazione equi e integrazione multimodale stanno aprendo la strada per il deploy pratico di modelli di apprendimento del grafo migliorati con LLM in applicazioni reali.
