AI-mallit ja alustat
Suorittavat verkkoneuraaliset verkot suurten kielen mallien avulla: Ultimaattinen opas
Lisää Unite.AI suosikkilähteisiisi Google-palvelussa
Verkkorakenteet ovat tietorakenteita, jotka edustavat monimutkaisia suhteita laajalla alueella, mukaan lukien sosiaaliset verkostot, tietokannat, biologiset järjestelmät ja monet muut. Nämä verkostot edustavat solmuja, ja niiden suhteita kuvaavat reunat.
Kyky edustaa ja päätellä näistä monimutkaisista suhteellisista rakenteista on tärkeää edistääkseen kehitystä aloilla, kuten verkostotieteessä, kemoinformatiikassa ja suositussysteemeissä.
Verkkoneuraaliset verkot (GNN) ovat nousseet voimakkaaksi syväoppimisen kehykseksi verkkotietokoneen tehtävissä. Sisällyttämällä verkkotopologian neuroverkkorakenteeseen naapuruusaggregaation tai verkkokonvoluution kautta, GNN:t voivat oppia matala-ulotteisia vektoriesityksiä, jotka koodaavat sekä solmun ominaisuudet että niiden rakenteelliset roolit. Tämä mahdollistaa GNN:lle saavuttaa huipputason suorituskyky tehtävissä, kuten solmun luokittelu, linkin ennustaminen ja verkkoluokittelu eri soveltamisaloilla.
Vaikka GNN:t ovat edistäneet merkittävästi, jotkut avainhaasteet ovat edelleen olemassa. Laadukkaiden merkittyjen aineistojen hankkiminen valvottujen GNN-mallien koulutukseen voi olla kallista ja aikaa vievää. Lisäksi GNN:t voivat kamppailla epähomogeenisten verkkorakenteiden ja tilanteiden kanssa, joissa verkkojakelu testiajassa poikkeaa merkittävästi koulutusaineistosta (jakautumisen ulkopuolella oleva yleistäminen).
Rinnakkain suurten kielen mallit (LLM), kuten GPT-4 ja LLaMA, ovat saavuttaneet maailmanlaajuisen suosion uskomattomilla luonnollisen kielen ymmärtämis- ja generointikapasiteeteillaan. Koulutettuina valtavilla tekstikorporeilla, joissa on miljardeja parametreja, LLM:t osoittavat merkittäviä vähäiskotelo-oppimiskykyjä, yleistymistä tehtävien välillä ja järkevyyden taitoja, jotka olivat aiemmin koettu erittäin haasteellisiksi tekoälyjärjestelmissä.
LLMien merkittävä menestys on kiihdyttänyt tutkimusta hyödyntääkseen niiden voimaa verkkotietokoneen tehtävissä. Toisaalta LLMien tieto- ja päätöskyky tarjoaa mahdollisuuksia parantaa perinteisiä GNN-malleja. Toisaalta verkkorakenteiden ja faktatietojen edustaminen voi olla avainasemassa ratkaisemassa joitakin LLMien avainrajoituksia, kuten harhaluuloja ja puutteellista selittävyyttä.
Verkkoneuraaliset verkot ja itseohjautuva oppiminen
Tarjoaksemme tarvittavan kontekstin, tarkastelemme lyhyesti verkkoneuraalisten verkkojen ja itseohjautuvan verkkoesitysoppimisen peruskäsitteitä ja menetelmiä.
Verkkoneuraalisen verkon arkkitehtuuri
Verkkoneuraalisen verkon arkkitehtuuri – lähde
Perussääntöinen ero perinteisten syväoppimisverkkojen ja GNN:ien välillä on heidän kykynsä toimia suoraan verkkorakenteisiin tietoihin. GNN:t noudattavat naapuruusaggregaatiota, jossa kunkin solmun ominaisuusvektori aggregoidaan sen naapureiden ominaisuusvektoreista laskemaan sen omaa esitystä.
Useita GNN-arkkitehtuureja on ehdotettu eri vieste- ja päivitysfunktioiden kanssa, kuten Graph Convolutional Networks (GCN), GraphSAGE, Graph Attention Networks (GAT) ja Graph Isomorphism Networks (GIN) muun muassa.
Viimeaikaisissa tutkimuksissa verkkotransformerit ovat saavuttaneet suosiota soveltamalla itsehuomio-mekanismia luonnollisen kielen transformerista toimimaan verkkorakenteisiin tietoihin. Joitakin esimerkkejä ovat GraphormerTransformer ja GraphFormers. Nämä mallit pystyvät havainnoimaan pitkän aikavälin riippuvuudet verkkoon paremmin kuin pelkästään naapuruusperusteiset GNN:t.
Itseohjautuva oppiminen verkoissa
Vaikka GNN:t ovat voimakkaita esitysmalli, niiden suorituskyky on usein pullonkaula valmiiden merkittyjen aineistojen puutteen takia. Itseohjautuva oppiminen on lupaava paradigma GNN:ien esikoulutukseen merkittymättömissä verkkodataissa hyödyntämällä pretext-tehtäviä, jotka vaativat ainoastaan verkon sisäisen rakenteen ja solmuominaisuuksien.
Itseohjautuva verkkoesitys – lähde
Jotkut yleiset pretext-tehtävät, joita käytetään GNN:ien itseohjautuvassa esikoulutuksessa, ovat:
- Solmuominaisuuden ennustaminen: Satunnaisesti maskaamalla tai vahingoittamalla osaa solmuominaisuuksista ja tehtävänä on GNN:lle palauttaa ne.
- Reunan/Linkin ennustaminen: Oppiminen reunaan tai linkin ennustamiseen kahden solmun välillä usein perustuen satunnaisiin reunaan maskauksiin.
- Vastakkainen oppiminen: Maksimoidaan samankaltaisuudet saman verkon näkymien välillä samalla minimoidaan näkymien samankaltaisuudet eri verkoista.
- Mutuaalisen tiedon maksimointi: Maksimoidaan mutuaalista tietoa paikallisten solmuesitysten ja kohdesesityksen, kuten globaalin verkkoesityksen, välillä.
Nämä pretext-tehtävät sallivat GNN:ille extrahoida merkityksellisiä rakenteellisia ja semanttisia kuvioita merkittymättömistä verkkodataista esikoulutuksen aikana. Esikoulutettu GNN voidaan sitten hienosäätää suhteellisen pienillä merkityillä alijoukoilla erinomaisiin tuloksiin eri laskentatehtävissä, kuten solmun luokittelu, linkin ennustaminen ja verkkoluokittelu.
Itseohjautuvan koulutuksen avulla GNN:t, jotka on koulutettu suurilla merkittymättömillä aineistoilla, osoittavat parempaa yleistettävyyttä, robustisuutta jakautumisen siirtymisiin ja tehokkuutta verrattuna koulutukseen alusta alkaen. Vaikka perinteisiin GNN-pohjaisiin itseohjautuviin menetelmiin liittyy edelleen joitakin avainrajoituksia, joita tullaan tutkimaan LLM:ien avulla seuraavaksi.
Parantamalla verkkotietokonetta suurten kielen mallien avulla
Verkkorakenteiden ja LLM:ien integrointi – lähde
LLM:ien merkittävät kyvyt luonnollisen kielen ymmärtämisessä, päätöksenteossa ja vähäiskotelossa tarjoavat mahdollisuuksia parantaa useita verkkotietokoneen putkistojen osia. Tarkastelemme joitakin tärkeitä tutkimussuuntauksia tässä tilassa:
Yksi avainhaaste GNN:ien soveltamisessa on saada korkealaatuiset ominaisuusesitykset solmuille ja reunoille, erityisesti kun ne sisältävät rikkaan tekstuaalisen informaation, kuten kuvauksia, otsikkoja tai abstrakteja. Perinteisesti on käytetty yksinkertaisia salkkuja tai esikoulutettuja sanavektoreita, jotka usein eivät kykene havainnoimaan hienostuneita semanttisia merkityksiä.
Viimeaikaiset tutkimukset ovat osoittaneet suurten kielen mallien voimaa tekstienkoodaajina parantamaan solmu- ja reunaominaisuusesityksiä ennen niiden lähettämistä GNN:lle. Esimerkiksi Chen et al. käyttävät LLM:ejä, kuten GPT-3:aa, koodaamaan tekstuaalisia solmuominaisuuksia, osoittaen merkittäviä suorituskyvyn parannuksia perinteisiin sana-vektoreihin verrattuna solmun luokittelutehtävissä.
LLM:ien avulla voidaan myös generoida lisätty tietoa alkuperäisistä tekstuaalisista ominaisuuksista puolivalvottuna. TAPE generoi mahdollisia etikettejä/selityksiä solmuille LLM:ien avulla ja käyttää niitä lisäominaisuuksina. KEA:lla voidaan myös extrahoida termejä tekstuaalisista ominaisuuksista LLM:ien avulla ja hankkia yksityiskohtaiset kuvaukset näille termeille ominaisuuksien täydentämiseksi.
Parantamalla syötteen laatuja ja ilmaisukykyä LLM:t voivat siirtää GNN:ille heidän ylemmän tason luonnollisen kielen ymmärtämiskykynsä, parantaen suorituskykyä laskentatehtävissä.
Vähentämällä riippuvuutta merkityistä aineistoista
Yksi LLM:ien etu on heidän kykynsä suoriutua uusista tehtävistä vähäisellä tai ilman merkittyjä aineistoja heidän esikoulutuksensa ansiosta valtavilla tekstikorporeilla. Tämä vähäiskoteloinen oppimiskyky voidaan hyödyntää vähentämällä GNN:ien riippuvuutta suurista merkityistä aineistoista.
Yksi lähestymistapa on käyttää LLM:ejä suoraan verkkotehtävien ennustamiseen kuvaamalla verkkorakennetta ja solmutietoja luonnollisen kielen vihjein. Menetelmiä, kuten InstructGLM ja GPT4Graph, voidaan hienosäätää LLM:ejä, kuten LLaMA:aa ja GPT-4:ää, käyttäen huolellisesti suunniteltuja vihjeitä, jotka sisältävät verkkotopologian yksityiskohtia, kuten solmuyhteydet, naapurustot jne. Säädetyt LLM:t voivat sitten generoida ennusteita tehtävissä, kuten solmun luokittelu ja linkin ennustaminen, nollasuorituksena inference-ajassa.
Vaikka LLM:ien käyttäminen mustana laatikkomallina on osoittanut lupaavaa, niiden suorituskyky heikkenee monimutkaisemmissa verkkotehtävissä, joissa verkkorakenteen eksplisiittinen mallintaminen on edullista. Jotkut lähestymistavat käyttävät LLM:ejä yhdessä GNN:ien kanssa – GNN koodaa verkkorakenteen, kun taas LLM tarjoaa parannetun semanttisen ymmärtämiskyvyn solmujen tekstikuvauksista.
Verkkoymmärrys LLM-kehyksessä – Lähde
GraphLLM tutkii kahta strategiaa: 1) LLM:ejä vahvistimina, joissa LLM:t koodaavat tekstuaalisia solmuominaisuuksia ennen niiden lähettämistä GNN:lle, ja 2) LLM:ejä ennustimina, joissa LLM ottaa GNN:n välimuistoesitykset syötteenä tehdäkseen lopulliset ennusteet.
GLEM menee pidemmälle ehdottamalla variational EM-algoritmin, jossa LLM- ja GNN-komponentit päivitetään vaihdellen toisiinsa nähden.
Vähentämällä riippuvuutta merkityistä aineistoista vähäiskoteloinen kyvyllä ja puolivalvottuna täydentämällä, LLM:illä parannetut verkkomallit voivat avata uusia sovelluksia ja parantaa datatehokkuutta.
Parantamalla LLM:ejä verkoilla
Vaikka LLM:t ovat olleet erittäin onnistuneita, ne kärsivät edelleen tiettyistä rajoituksista, kuten harhaluuloista (luomisesta epätodellisista lauseista), selittämättömyydestä heidän päätöksentekoprosessissaan ja kyvyttömyydestä ylläpitää johdonmukaista faktatietoa.
Verkkorakenteet, erityisesti tietoverkot, jotka edustavat rakenteellista faktatietoa luotettavista lähteistä, tarjoavat lupaavia keinoja ratkaista nämä puutteet. Tarkastelemme joitakin nousseita lähestymistapoja tässä suunnassa:
Tietoverkkopohjainen LLM-esikoulutus
Samalla tavalla kuin LLM:t koulutetaan suurilla tekstikorporeilla, viimeaikaiset tutkimukset ovat tutkineet niiden kouluttamista tietoverkoilla faktuaalisen tietämyksen ja päätöksenteon parantamiseksi.
Jotkut lähestymistavat muokkaavat syötetietoja yksinkertaisesti liittämällä tai kohdistamalla faktuaalisia tietoverkkotriplejä luonnolliseen kielen tekstiin esikoulutuksen aikana. E-BERT kohdistaa tietoverkkoyksiköiden vektoreita BERT:n sanavektoreihin, kun taas K-BERT rakentaa puut, jotka sisältävät alkuperäisen lauseen ja merkitykselliset tietoverkkotriplet.
LLM:ien rooli verkkotietokoneessa:
Tutkijat ovat tutkineet useita tapoja integroida LLM:ejä verkkotietokoneen putkiin, kullekin omalla eturistiriidallaan ja sovelluksillaan. Tässä on joitakin merkittäviä rooleja, joita LLM:t voivat pelata:
- LLM vahvistimena: Tässä lähestymistavassa LLM:t käytetään tekstuaalisten ominaisuuksien vahvistamiseen, jotka liittyvät solmuun TAG:ssa. LLM:ien kyky generoida selityksiä, tietoentiteettejä tai pseudo-etikettejä voidaan täydentää semanttista tietoa, joka on GNN:lle saatavilla, johtaen parannettuihin solmuesityksiin ja laskentatehtävien suorituskykyyn.
Esimerkiksi TAPE-malli hyödyntää ChatGPT:ä generoimaan selityksiä ja pseudo-etikettejä viittausverkon asiakirjoille, joita sitten käytetään hienosäätämään kielen mallia. Tuloksena olevat upotukset syötetään GNN:lle solmun luokittelutehtäviin ja linkin ennustamiseen, saavuttaen huipputason tulokset.
- LLM ennustimena: Jotkut lähestymistavat käyttävät LLM:ejä suoraan verkkotehtävien ennustimina. Tämä käsittää verkkorakenteen muuttamisen tekstuaaliseksi esitykseksi, jota LLM voi prosessoida, jolloin se generoi haluttuja tuloksia, kuten solmuetikettejä tai verkkotason ennusteita.
Yksi merkittävä esimerkki on GPT4Graph-malli, joka edustaa verkkorakennetta Graph Modelling Language (GML):llä ja hyödyntää voimakasta GPT-4 LLM:ää nollasuorituksessa verkkopäätöksenteossa.
- GNN-LLM kohdistus: Tutkimuksen toinen suunta keskittyy GNN:ien ja LLM:ien upotusavaruuden kohdistamiseen, mahdollistaen niiden ominaisuuksien yhdistämisen. Nämä lähestymistavat käsittelevät GNN:ia ja LLM:ia eri modaalina ja käyttävät tekniikoita, kuten vastakkaisen oppimisen tai tislaamisen, kohdistamaan niiden esityksiä.
Esimerkiksi MoleculeSTM-malli käyttää vastakkaisen oppimisen kohdetta kohdistamaan GNN:n ja LLM:n upotukset, mahdollistaen LLM:ille sisällyttää GNN:istä rakenteellista tietoa, kun taas GNN hyötyy LLM:n semanttisesta tietämyksestä.
Haasteet ja ratkaisut
Vaikka LLM:ien ja verkkotietokoneen integrointi lupaa paljon, useita haasteita on ratkaistava:
- Tehokkuus ja skaalautuvuus: LLM:t ovat mainittavasti resursseja vaativia, usein vaativia miljardeja parametreja ja valtavia laskentakapasiteetteja koulutukseen ja inferenceen. Tämä voi olla merkittävä pullonkaula LLM:illä parannettujen verkkomallien käyttöönotossa, erityisesti resursseja rajoittavilla laitteilla.
Yksi lupaava ratkaisu on tietämysjohdatus, jossa suuren LLM:n (opettajamalli) tietämys siirretään pienempään, tehokkaampaan GNN-malliin (oppilasmalliin).
- Datavuoto ja arviointi: LLM:t on koulutettu laajoilla julkaistuilla aineistoilla, jotka saattavat sisältää testijoukkoja yleisistä benchmark-aineistoista, johtaen potentiaalisiin datavuotoihin ja yliarvioituun suorituskykyyn. Tutkijat ovat alkaneet keräämään uusia aineistoja tai ottaa testidataa ajanjaksolta LLM:ien koulutuksen jälkeen vähentämään tätä ongelmaa.
Lisäksi perustamalla reilut ja kattavat arviointikehykset LLM:illä parannetuille verkkomalleille on tärkeää mitata heidän todellisia kykyjään ja mahdollistaa merkitykselliset vertailut.
- Siirtäminen ja selittäminen: Vaikka LLM:t menestyvät vähäiskotelossa ja vähäisessä koulutuksessa, heidän kykynsä siirtää tietoa eri verkkodomeeneihin ja rakenteisiin on avoin haaste. Parantaminen näiden mallien siirtämisessä on kriittinen tutkimussuuntaus.
Lisäksi parantaminen LLM-pohjaisissa verkkomallien selittävyydessä on olennainen luotettavuuden rakentamiseksi ja niiden soveltamiseksi korkean panoksen sovelluksissa. Hyödyntämällä LLM:ien sisäisiä päätöksentekomekanismeja tekniikoilla, kuten ketjuajattelupromptausta, voidaan parantaa selittävyyttä.
- Monimodaalinen integrointi: Verkot sisältävät usein enemmän kuin pelkästään tekstuaalista tietoa, solmujen ja reunojen liittyessä muihin modaaluuksiin, kuten kuviin, ääneen tai numeeriseen dataan. Laajentaminen LLM:ien integrointiin näihin monimodaalisiin verkkoympäristöihin tarjoaa jännittävän mahdollisuuden tulevaisuuden tutkimukselle.
Reaalielämän sovellukset ja tapaustutkimukset
LLM:ien ja verkkotietokoneen integrointi on jo osoittanut lupaavia tuloksia erilaisissa reaalielämän sovelluksissa:
- Molekyyliongensuojelu: Laskennallisen kemian ja lääkekehityksen alalla LLM:t on käytetty parantamaan molekyyliongensuojelun ennustamista sisällyttämällä rakenteellista tietoa molekyyliverkoista. LLM4Mol-malli esimerkiksi käyttää ChatGPT:ä generoimaan selityksiä SMILES (Simplified Molecular-Input Line-Entry System) -esityksille molekyyleille, joita sitten käytetään parantamaan ominaisuusennustustehtävien tarkkuutta.
- Tietoverkon täydentäminen ja päätöksenteko: Tietoverkot ovat erityinen verkkorakenne, joka edustaa todellisia entiteettejä ja niiden suhteita. LLM:t on tutkittu tehtävissä, kuten tietoverkon täydentäminen ja päätöksenteko, joissa verkkorakennetta ja tekstuaalista tietoa (esim. entiteettikuvauksia) on käsiteltävä yhdessä.
- Suositussysteemit: Suositussysteemien alueella verkkorakenteita käytetään usein edustamaan käyttäjä-esinevuorovaikutuksia, solmujen edustaen käyttäjiä ja esineitä ja reunojen edustaen vuorovaikutuksia tai samankaltaisuuksia. LLM:t voidaan käyttää parantamaan näitä verkkorakenteita generoimalla käyttäjä/esine-sivutietoa tai vahvistamalla vuorovaikutusreunoja.
Johtopäätös
Suurten kielen mallien ja verkkotietokoneen välinen symbioosi edustaa jännittävää eteenpäinpyrkimistä tekoälytutkimuksessa. Yhdistämällä GNN:ien rakenteellisen induktiivisen vinouman LLM:ien voimakkaan semanttisen ymmärtämiskyvyn, voidaan avata uusia mahdollisuuksia verkkolaskentatehtävissä, erityisesti teksti-attribuuttipohjaisissa verkoissa.
Vaikka merkittävää edistystä on saavutettu, haasteita on edelleen alueilla, kuten tehokkuus, skaalautuvuus, siirtäminen ja selittäminen. Tekniikat, kuten tietämysjohdatus, reilut arviointikehykset ja monimodaalinen integrointi, ovat avaamassa tietä käytännön sovelluksille LLM:illä parannetuille verkkomalleille.
