AI-modeller og plattformer
Supercharging Graph Neural Networks med Large Language Models: Den Ultimate Guide
Legg til Unite.AI blant dine foretrukne kilder på Google
Grafer er datastrukturer som representerer komplekse relasjoner over et bredt spekter av domener, inkludert sosiale nettverk, kunnskapsbasert, biologiske systemer og mange flere. I disse grafene representeres enheter som noder, og deres relasjoner avbildes som kanter.
Evnen til å effektivt representere og resonnere om disse intrikate relasjonelle strukturer er avgjørende for å muliggjøre fremgang i felt som nettverksvitenskap, kemoinformatikk og anbefalingsystemer.
Graph Neural Networks (GNNs) har oppstått som en kraftfull dyp læring ramme for graf maskinlæringsoppgaver. Ved å inkorporere graf topologien i neuralt nettverksarkitektur gjennom naboaggregasjon eller grafkonvolusjoner, kan GNNs lære lavdimensjonale vektorrepresentasjoner som koder både nodens egenskaper og deres strukturelle roller. Dette gjør at GNNs kan oppnå state-of-the-art ytelse på oppgaver som nodklassifisering, lenkeprediksjon og grafklassifisering over diverse anvendelsesområder.
Selv om GNNs har drevet betydelig fremgang, finnes det noen nøkkelutfordringer igjen. Å få høykvalitetsmerket treningdata for overvåket GNN-modell kan være dyrt og tidskrevende. I tillegg kan GNNs slite med heterogene grafstrukturer og situasjoner hvor graf fordelt på testtidspunktet skilles betydelig fra treningsdata (ut-av-distribusjons generalisering).
I parallell har Large Language Models (LLMs) som GPT-4 og LLaMA tatt verden med storm med deres utrolige naturlige språkforståelse og genereringskapasiteter. Trenet på massive tekstkorpus med milliarder av parametre, viser LLMs bemerkelsesverdige få-skuddlærings evner, generalisering over oppgaver og sunn fornuftsfølelse som tidligere ble ansett å være ekstremt utfordrende for AI-systemer.
Den enorme suksessen til LLMs har katalysert utforskninger av å utnytte deres kraft for graf maskinlæringsoppgaver. På den ene siden presenterer kunnskaps- og resonnemangsevnen til LLMs muligheter for å forbedre tradisjonelle GNN-modeller. Omvendt kan de strukturerte representasjonene og faktiske kunnskapen som er innebygget i grafer være avgjørende for å håndtere noen nøkkelbegrensninger i LLMs, som hallusinasjoner og mangel på forklarbarhet.
Grafneurale nettverk og selv-superviset læring
For å gi den nødvendige konteksten, vil vi først kort gjennomgå de grunnleggende konseptene og metodene i grafneurale nettverk og selv-superviset grafrepresentasjonslæring.
Grafneuralt nettverksarkitektur
Grafneuralt nettverksarkitektur – kilde
Den viktigste forskjellen mellom tradisjonelle dype neurale nettverk og GNNs ligger i deres evne til å operere direkte på grafstrukturert data. GNNs følger en naboaggregasjonsordning, hvor hver node agreggerer egenskapsvektorer fra sine naboer for å beregne sin egen representasjon.
Mange GNN-arkitekturer har blitt foreslått med forskjellige instansieringer av meldings- og oppdateringsfunksjoner, som for eksempel Grafkonvolusjonsnettverk (GCNs), GraphSAGE, Grafoppmerksomhetsnettverk (GATs) og Grafisomorfine nettverk (GINs) blant andre.
Mer nylig har graftransformatorer blitt populære ved å tilpasse selv-oppmerksomhetsmekanismen fra naturlige språktransformatorer for å operere på grafstrukturert data. Noen eksempler inkluderer GraphormerTransformer og GraphFormers. Disse modellene kan fange lang-rekkeavhengigheter over grafen bedre enn ren nabo-basert GNNs.
Selv-superviset læring på grafer
Selv om GNNs er kraftfulle representasjonsmodeller, er deres ytelse ofte begrenset av mangel på store merkette datasamlinger som kreves for overvåket trening. Selv-superviset læring har oppstått som et løftende paradigme for å for-trene GNNs på umerkede grafdata ved å utnytte pretext-oppdrag som bare krever den innebygde grafstrukturen og nodeegenskapene.
Selv-superviset graf – kilde
Noen vanlige pretext-oppdrag som brukes for selv-superviset GNN-for-trening inkluderer:
- Nodens egenskapsprediksjon: Tilfeldig maskering eller korrupsjon av en del av nodeattributtene/egenskapene og oppgaven til GNN å rekonstruere dem.
- Kant/lenkeprediksjon: Læring til å predikere om en kant eksisterer mellom et par noder, ofte basert på tilfeldig kantmaskering.
- Kontrastiv læring: Maksimering av likheter mellom grafvisninger av samme grafprøve mens man skyver fra hverandre visninger fra forskjellige grafer.
- Maksimering av gjensidig informasjon: Maksimering av den gjensidige informasjonen mellom lokale noderepresentasjoner og en målrepresentasjon som den globale grafembingen.
Pretext-oppdrag som disse tillater GNN å trekke ut meningfulle struktur- og semantiske mønster fra den umerkede grafdata under for-trening. Den for-trente GNN kan deretter finjusteres på relativt små merkette underdataset for å utmerke seg på nedstrømsoppgaver som nodklassifisering, lenkeprediksjon og grafklassifisering.
Ved å utnytte selv-supervisjon, viser GNNs som er for-trent på store umerkede datasamlinger bedre generalisering, robusthet til distribusjonsskift og effektivitet sammenlignet med trening fra scratch. Likevel finnes det noen nøkkelbegrensninger i tradisjonelle GNN-baserte selv-superviset metoder som vi vil utforske å utnytte LLMs for å håndtere neste.
Forbedring av grafmaskinlæring med store språkmodeller
Integrering av grafer og LLM – kilde
De bemerkelsesverdige evnene til LLMs i å forstå naturlige språk, resonnere og få-skuddlære presenterer muligheter for å forbedre flere aspekter av grafmaskinlæringspipeliner. Vi utforsker noen nøkkel forskningsretninger i dette området:
En nøkkelutfordring i å anvende GNNs er å få høykvalitets egenskapsrepresentasjoner for noder og kanter, spesielt når de inneholder rike tekstuelle attributter som beskrivelser, titler eller abstrakter. Tradisjonelt har enkle sekke-av-ord eller for-trente ord-embedding-modeller blitt brukt, som ofte ikke fanger de nyanserte semantikkene.
Nylige arbeider har demonstrert kraften til å utnytte store språkmodeller som tekst-encodere for å konstruere bedre nod-/kant-egenskapsrepresentasjoner før de sendes til GNN. For eksempel Chen et al. utnytter LLMs som GPT-3 for å kode tekstuelle nodeattributter, viser betydelige ytelsesforbedringer over tradisjonelle ord-embeddings på nodklassifiseringsoppgaver.
Utenfor bedre tekst-encodere kan LLMs brukes til å generere augmentert informasjon fra de opprinnelige tekstattributtene på en semi-overvåket måte. TAPE genererer potensielle etiketter/forklaringer for noder ved hjelp av en LLM og bruker disse som ekstra augmenterte egenskaper. KEA trekker ut termer fra tekstattributter ved hjelp av en LLM og får detaljerte beskrivelser for disse termene for å augmentere egenskaper.
Ved å forbedre kvaliteten og uttrykkskraften til inndata-egenskaper, kan LLMs overføre deres overlegne naturlige språkforståelsesevner til GNNs, og forbedre ytelsen på nedstrømsoppgaver.
Lettelse av avhengighet av merket data
En nøkkel fordelen med LLMs er deres evne til å fungere rimelig godt på nye oppgaver med lite eller ingen merket data, takket være deres for-trening på massive tekstkorpus. Denne få-skuddlærings evnen kan utnyttes for å lettet avhengigheten til GNNs på store merkette datasamlinger.
En tilnærming er å bruke LLMs direkte for å gjøre prediksjoner på grafrelaterte oppgaver ved å beskrive grafstrukturen og nodeinformasjonen i naturlige språkprompt. Metoder som InstructGLM og GPT4Graph finjusterer LLMs som LLaMA og GPT-4 ved hjelp av nøye designede prompt som inkorporerer graf-topologi detaljer som node-tilkoblinger, naboer osv. De justerte LLMs kan deretter generere prediksjoner for oppgaver som nodklassifisering og lenkeprediksjon på en null-skudd måte under inferens.
Selv om å bruke LLMs som svart-boks-prediktorer har vist løft, degraderer deres ytelse for mer komplekse grafoppgaver hvor eksplisitt modellering av strukturen er gunstig. Noen tilnærminger bruker derfor LLMs i kombinasjon med GNNs – GNN koder grafstrukturen mens LLM gir forbedret semantisk forståelse av noder fra deres tekstbeskrivelser.
Graf-forståelse med LLM-ramme – Kilde
GraphLLM utforsker to strategier: 1) LLMs som forbedringsmidler hvor LLMs koder tekstuelle nodeattributter før de sendes til GNN, og 2) LLMs som prediktorer hvor LLM tar GNNs mellomliggende representasjoner som inndata for å gjøre endelige prediksjoner.
GLEM går videre ved å foreslå en variabel EM-algoritme som alternerer mellom å oppdatere LLM- og GNN-komponenter for gjensidig forbedring.
Ved å redusere avhengigheten av merket data gjennom få-skudd evner og semi-overvåket augmentering, kan LLM-forbedrede graf-læringsmetoder låse opp nye anvendelser og forbedre dataeffektiviteten.
Forbedring av LLMs med grafer
Selv om LLMs har vært usedvanlig suksessfulle, lider de fortsatt under noen nøkkelbegrensninger som hallusinasjoner (generering av ikke-faktiske uttalelser), mangel på forklarbarhet i deres resonnemangsprosess og evne til å opprettholde konsistent faktisk kunnskap.
Grafer, spesielt kunnskapsgrafer som representerer strukturert faktisk informasjon fra pålitelige kilder, presenterer løftende muligheter for å håndtere disse begrensningene. Vi utforsker noen oppkomende tilnærminger i denne retningen:
Kunnskapsgraf-forbedret LLM-for-trening
Tilsvarende hvordan LLMs er for-trent på store tekstkorpus, har nye arbeider utforsket å for-trene dem på kunnskapsgrafer for å innføre bedre faktisk bevissthet og resonnemangsevner.
Noen tilnærminger modifiserer inndata ved å enkelt konkatenerer eller justere faktiske KG-tripletter med naturlige språktekst under for-trening. E-BERT justerer KG-entitetsvektorer med BERTs wordpiece-embeddings, mens K-BERT konstruerer trær som inneholder den opprinnelige setningen og relevante KG-tripletter.
Rollen til LLMs i grafmaskinlæring:
Forskere har utforsket flere måter å integrere LLMs i graf-læringspipelinen, hver med sine unike fordeler og anvendelser. Her er noen av de fremtredende rollene LLMs kan spille:
- LLM som forbedringsmidler: I denne tilnærmingen brukes LLMs til å berike tekstuelle attributter assosiert med nodene i en TAG. LLMs evne til å generere forklaringer, kunnskapsenheter eller pseudo-etiketter kan augmentere den semantiske informasjonen tilgjengelig for GNN, og føre til bedre noderepresentasjoner og nedstrømsoppgave-ytelse.
For eksempel utnytter TAPE-modellen ChatGPT til å generere forklaringer og pseudo-etiketter for sitatnettverksartikler, som deretter brukes til å finjustere en språkmodell. De resulterende embeddingene sendes til en GNN for nodklassifisering og lenkeprediksjonsoppgaver, og oppnår state-of-the-art resultater.
- LLM som prediktor: I stedet for å forbedre inndata-egenskaper, brukes noen tilnærminger LLMs direkte som prediktor-komponent for graf-relaterte oppgaver. Dette innebærer å konvertere grafstrukturen til en tekstuell representasjon som kan prosesseres av LLM, som deretter genererer ønsket utgang, som nod-etiketter eller graf-nivå-prediksjoner.
Et bemerkelsesverdig eksempel er GPT4Graph-modellen, som representerer grafer ved hjelp av Graf-modelleringsspråket (GML) og utnytter den kraftfulle GPT-4 LLM for null-skudd graf-resonnemingsoppgaver.
- GNN-LLM-justering: En annen forskningsretning fokuserer på å justere embedding-rommene til GNNs og LLMs, og å muliggjøre en sømløs integrasjon av struktur- og semantisk informasjon. Disse tilnærminger behandler GNN og LLM som separate modaliteter og utnytter tekniker som kontrastiv læring eller destillasjon for å justere deres representasjoner.
MolekylSTM-modellen, for eksempel, utnytter en kontrastiv objekt for å justere embeddingene til en GNN og en LLM, og muliggjør at LLM inkorporerer struktur-informasjon fra GNN mens GNN nyter godt av LLMs semantisk kunnskap.
Utfordringer og løsninger
Selv om integreringen av LLMs og graf-læring har stor potensial, må flere utfordringer håndteres:
- Effektivitet og skalerbarhet: LLMs er notorisk ressurskrevende, og krever ofte milliarder av parametre og enorme beregningskraft for trening og inferens. Dette kan være en betydelig bottleneck for å deployere LLM-forbedrede graf-læringsmodeller i realverden, spesielt på ressurs-begrensede enheter.
En løftende løsning er kunnskaps-destillasjon, hvor kunnskapen fra en stor LLM (lærermodell) overføres til en mindre, mer effektiv GNN (elevmodell).
- Data-lekkasje og evaluering: LLMs er for-trent på store offentlige datasamlinger, som kan inkludere testsett fra vanlige benchmark-datasamlinger, og føre til potensiell data-lekkasje og overestimert ytelse. Forskere har begynt å samle inn nye datasamlinger eller å sampile testdata fra tidspunkt etter LLMs treningsslutt for å mildne dette problemet.
I tillegg er det viktig å etablere rettferdige og omfattende evalueringssystemer for LLM-forbedrede graf-læringsmodeller for å måle deres sanne evner og muliggjøre meningfulle sammenligninger.
- Overførbarhet og forklarbarhet: Selv om LLMs utmerker seg i null-skudd- og få-skudd-læring, er deres evne til å overføre kunnskap over diverse graf-domen og strukturer fortsatt et åpent problem. Forbedring av overførbarheten til disse modellene er en kritisk forskningsretning.
I tillegg er det viktig å forbedre forklarbarheten til LLM-baserte graf-læringsmodeller for å bygge tillit og muliggjøre deres adopsjon i høy-utfordringsapplikasjoner. Å utnytte de innebygde resonnemangsevner til LLMs gjennom teknikker som kjede-av-tanker-prompting kan bidra til bedre forklarbarhet.
- Fler-modal integrasjon: Grafer inneholder ofte mer enn bare tekstuell informasjon, med noder og kanter som potensielt kan assosieres med forskjellige modaliteter, som bilder, lyd eller numerisk data. Å utvide integreringen av LLMs til disse fler-modale graf-settingene presenterer en spennende mulighet for fremtidig forskning.
Reelle anvendelser og case-studier
Integreringen av LLMs og grafmaskinlæring har allerede vist løftende resultater i diverse reelle anvendelser:
- Molekyl-egenskapsprediksjon: I feltet komputasjonskjemisk og legemiddelforskning, er LLMs blitt brukt til å forbedre prediksjonen av molekyl-egenskaper ved å inkorporere struktur-informasjon fra molekylgrafer. LLM4Mol-modellen, for eksempel, utnytter ChatGPT til å generere forklaringer for SMILES (Simplified Molecular-Input Line-Entry System)-representasjoner av molekyler, som deretter brukes til å forbedre nøyaktigheten av egenskaps-prediksjonsoppgaver.
- Kunnskapsgraf-komplettering og resonnemang: Kunnskapsgrafer er en spesiell type graf-struktur som representerer virkelige enheter og deres relasjoner. LLMs er blitt utforsket for oppgaver som kunnskapsgraf-komplettering og resonnemang, hvor graf-strukturen og tekstuell informasjon (f.eks. enhetsbeskrivelser) må vurderes sammen.
- Anbefalings-systemer: I domenet anbefalings-systemer, brukes graf-strukturer ofte til å representere bruker-objekt-interaksjoner, med noder som representerer brukere og objekter, og kanter som indikerer interaksjoner eller likheter. LLMs kan brukes til å forbedre disse grafene ved å generere bruker/objekt-side-informasjon eller å forsterke interaksjons-kanter.
Konklusjon
Synergien mellom store språkmodeller og grafmaskinlæring presenterer en spennende grense i kunstig intelligens-forskning. Ved å kombinere den struktur-informerte biasen til GNNs med den kraftfulle semantiske forståelsesevnen til LLMs, kan vi låse opp nye muligheter i graf-læringsoppgaver, spesielt for tekst-attriberte grafer.
Selv om betydelig fremgang er gjort, finnes det fortsatt utfordringer i områder som effektivitet, skalerbarhet, overførbarhet og forklarbarhet. Teknikker som kunnskaps-destillasjon, rettferdige evalueringssystemer og fler-modal integrasjon åpner veien for praktisk deployering av LLM-forbedrede graf-læringsmodeller i reelle anvendelser.
