Hallitseminen suurten kielen mallien hallucinaatio: Uusimpien tekniikoiden katsaus

Suuret kielen mallit (LLM) kuten GPT-4, PaLM ja Llama ovat avaaneet merkittäviä edistysaskeleita luonnollisen kielen generoinnin kyvyssä. Niiden luotettavuutta ja turvallista käyttöä kuitenkin rajoittaa heidän taipumus hallucinoida – luoda sisältöä, joka vaikuttaa johdonmukaiselta, mutta on tosiasiallisesti väärä tai perustuu vain osittain syötteen kontekstiin.

Koska LLM:t jatkavat kasvamistaan ja yleistymistään erilaisissa sovelluksissa, hallucinaatioiden torjunta on välttämätöntä. Tämä artikkeli tarjoaa kattavan katsauksen uusimpiin tekniikoihin, joita tutkijat ovat esittäneet hallucinaatioiden havaitsemiseksi, mittaamiseksi ja vähentämiseksi LLM:eissä.

Ymmärtäminen hallucinaatiosta LLM:eissä

Hallucinaatio viittaa LLM:eiden tuottamiin tosiasiallisiin virheisiin tai keksintöihin, jotka eivät perustu todellisuuteen tai annettuun kontekstiin. Joitakin esimerkkejä ovat:

• Keksiminen elämänkertatietoja tai tapahtumia, joita ei ole osoitettu alkuperäisissä lähteissä, kun tekstiä luodaan jonkun henkilön kanssa.
• Antaminen virheellistä lääketieteellistä neuvontaa keksimällä lääkkeiden sivuvaikutuksia tai hoitomenetelmiä.
• Keksiminen olemattomia tietoja, tutkimuksia tai lähteitä tukemaan väittämää.

Tämä ilmiö johtuu siitä, että LLM:t on koulutettu laajojen verkkotekstien aineistojen avulla. Vaikka tämä mahdollistaa vahvan kielen mallinnuksen, se myös tarkoittaa, että ne oppivat extrapoloida tietoa, tekemään loogisia hyppyjä ja täyttämään aukkoja tavalla, joka vaikuttaa vakuuttavalta, mutta voi olla harhaanjohtavaa tai virheellistä.

Joitakin avaintekijöitä, jotka ovat vastuussa hallucinaatioista, ovat:

• Mallin yleistäminen – LLM:t tunnistavat ja laajentavat malleja koulutusaineistossa, jotka eivät välttämättä yleistä hyvin.
• <strong VANHENNEET tiedot – Statiset esikoulutus estävät uusien tietojen integroinnin.
• Epäselvyydet – Epämääräiset ohjeet antavat tilaa virheellisille oletuksille.
• Harhat – Mallit ylläpitävät ja vahvistavat vinoutuneita näkökulmia.
• Riittämätön perustuminen – Puutteellinen ymmärrys ja päättely tarkoittaa, että mallit tuottavat sisältöä, jota ne eivät täysin ymmärrä.

Hallucinaatioiden torjunta on kriittistä luotettavan käytön kannalta herkillä aloilla, kuten lääketieteessä, oikeudessa, rahoituksessa ja koulutuksessa, joissa virheellisen tiedon tuottaminen voi johtaa vahinkoon.

Luokittelu hallucinaation torjuntatekniikoista

Tutkijat ovat esittäneet monia tekniikoita LLM:eiden hallucinaatioiden torjumiseksi, jotka voidaan luokitella seuraavasti:

1. Ohjeiden suunnittelu

Tämä käytännössä tarkoittaa ohjeiden huolellista suunnittelua, jotta LLM:t voivat tuottaa tosiasiallisia ja perustuvia vastauksia.

• Hakuvahvistus – Haetaan ulkoisia todisteita, jotta sisältö voidaan perustaa siihen.
• Palautekierrat – Toistuvasti annetaan palautetta, jotta vastauksia voidaan tarkentaa.
• Ohjeiden säätö – Ohjeita säätöö käytännön koulutuksen aikana toivottujen käyttäytymisen muodojen saavuttamiseksi.

2. Mallin kehittäminen

Mallien luominen, jotka ovat luonnostaan vähemmän alttiita hallucinaatioille arkkitehtuurin muutosten kautta.

• Decoding-strategiat – Tekstin generointi tavoin, jotka lisäävät uskottavuutta.
• Tietoperusta – Ulkoisten tietokantojen integrointi.
• Uudet menetelmät – Optimoiminen uskottavuuden suhteen koulutuksen aikana.
• Valvottu hienosäätö – Ihmisen merkittyjen datojen käyttäminen tosiasiallisen sisällön parantamiseen.

Seuraavaksi katsotaan merkittäviä tekniikoita kunkin lähestymistavan alla.

Merkittävät hallucinaation torjuntatekniikat

Hakuvahvistettu generointi

Hakuvahvistettu generointi parantaa LLM:eitä hakemalla ja ehdolla tekstiä ulkoisista todisteista, sen sijaan, että riippuisi ainoastaan mallin implisiittisestä tietämyksestä. Tämä perustaa sisällön ajantasaisiin, verifioituihin tietoihin, vähentäen hallucinaatioita.

Merkittäviä tekniikoita ovat:

• RAG – Käyttää hakijamoduulia, joka tarjoaa relevantteja kappaleita sekvenssimallille generoida. Molemmat komponentit koulutetaan loppuun asti.
• RARR – Käyttää LLM:eitä tutkimaan perustelemattomia väittämiä generoidussa tekstissä ja muokkaamaan niitä yhdenmukaisiksi haettujen todisteiden kanssa.
• Tietohaku – Vahvistaa epävarmoja generointeja haettujen tietojen avulla ennen kuin tuottaa tekstiä.
• LLM-vahvistin – Etsii iteraatiivisesti tietoa muodostaakseen todisteiden ketjuja LLM-ohjeille.

Palaute ja päättely

Iteratiivisen luonnollisen kielen palautteen tai itseään päättelyn hyödyntäminen mahdollistaa LLM:eiden parantamisen ja tarkentamisen alkuperäisistä tuloksista, vähentäen hallucinaatioita.

CoVe käyttää verifioinnin ketjutekniikkaa. LLM luonnostelee ensin vastauksen käyttäjän kysymykseen. Se sitten generoi potentiaalisia verifioimiskysymyksiä tarkistamaan omia vastauksiaan, perustuen varmuuteen eri lausumissa. Esimerkiksi uudesta lääkehoitomenetelmästä kerrottaessa CoVe voi generoida kysymyksiä kuten “Mikä on hoidon tehokkuus?”, “Onko se saanut sääntelyhyväksynnän?” tai “Mitkä ovat mahdolliset sivuvaikutukset?”. Olennaisesti, LLM yrittää vastata näihin verifioimiskysymyksiin ilman, että se on vinoutunut alkuperäisestä vastauksesta. Jos verifioimiskysymyksiin annetut vastaukset ristiriitaisia tai eivät tue alkuperäisen vastauksen lausumia, järjestelmä tunnistaa ne todennäköisinä hallucinaatioina ja tarkentaa vastausta ennen kuin esittää sen käyttäjälle.

DRESS keskittyy LLM:eiden säätöön, jotta ne paremmin vastaavat ihmisten preferenssejä luonnollisen kielen palautteen kautta. Lähestymistapa sallii ei-asiantuntijoiden antaa vapaamuotoisia arvosteluita mallin generoinneista, kuten “Sivuvaikutukset vaikuttavat liioitelluilta” tai tarkennusohjeita kuten “Olkaa hyvä ja käsitelkää myös kustannustehokkuutta”. DRESS käyttää vahvistusoppimista kouluttaakseen malleja generoimaan vastauksia, jotka ovat ehdolla tällaisella palautteella, parantaen vuorovaikutusta ja vähentäen epätodellisia tai perusteettomia lausumia.

MixAlign puuttuu tilanteisiin, joissa käyttäjät esittävät kysymyksiä, jotka eivät suoraan vastaa järjestelmän hakemaa tietoa. Esimerkiksi käyttäjä voi kysyä “Paheneeko saasteiden tilanne Kiinassa?”, kun taas haetut kappaleet käsittelevät maailmanlaajuista saasteiden tilannetta. Välttääkseen perusteettoman vastaamisen riittämättömän kontekstin kanssa, MixAlign pyytää käyttäjältä selitystä, kun se epäilee, miten liittää kysymyksen haettuun tietoon. Tämä ihmisen osallistuminen mahdollistaa palautteen saamisen ja oikean perusteen löytämisen, estäen perusteettomat vastaukset.

Tekniikka Itseään tarkkailu kouluttaa LLM:eitä arvioimaan, antamaan palautetta omista vastauksistaan ja tarkentamaan niitä monitehtävälähestymistavalla. Esimerkiksi annettuaan vastauksen lääketieteelliseen kysymykseen, malli oppii arvioimaan faktuaalisen tarkkuuden, tunnistamaan ristiriitaisia tai perusteettomia lausumia ja muokkaamaan niitä hakemalla relevanttia tietoa. Opettamalla LLM:eille tämän palautekierron, jossa ne tarkastavat, arvostelevat ja iteratiivisesti parantavat omia tuloksiaan, lähestymistapa vähentää sokeita hallucinaatioita.

Ohjeiden säätö

Ohjeiden säätö mahdollistaa ohjeiden mukauttamisen LLM:eille koulutuksen aikana toivottujen käyttäytymisen muotojen saavuttamiseksi.

Menetelmä SynTra käyttää synteettistä yhteenvetotekniikkaa minimoidakseen hallucinaation ennen mallin siirtämistä todellisiin yhteenvetodatamäärityksiin. Synteettinen tehtävä tarjoaa syötetekstejä ja pyytää malleja yhteenvetoon niitä pelkästään hakemalla, ilman abstrahointia. Tämä kouluttaa malleja riippumaan täysin lähdemateriaalista eikä keksimään uutta tietoa yhteenvetoa varten. SynTra osoittaa vähentävän hallucinaatio-ongelmia, kun mallit on hienosäätelty ja otettu käyttöön kohdekäytössä.

UPRISE kouluttaa yleisen ohjeen hakijan, joka tarjoaa optimaalisen pehmeän ohjeen vähäiskoulutukselle näkemättömissä alatason tehtävissä. Hakemalla tehokkaita ohjeita, jotka on säätelty monilla tehtävillä, malli oppii yleistämään ja sopeutumaan uusiin tehtäviin, joissa se ei ole koulutettu. Tämä parantaa suorituskykyä ilman tehtäväkohtaisia säätöjä.

Uudet mallirakenteet

FLEEK on järjestelmä, joka auttaa ihmisiä tarkistajia ja validaatoreja. Se tunnistaa automaattisesti potentiaalisesti verifioitavat faktatiedot annetuissa teksteissä. FLEEK muuttaa nämä tarkistettavat lausumat kysymyksiksi, hakee niihin liittyvää tietoa tietokannoista ja tarjoaa tämän kontekstuaalisen tiedon ihmisille validoidaakseen asiakirjan tarkkuuden ja tarvittavat muutokset.

Lähestymistapa CAD vähentää hallucinaatioita kielen generoinnissa kontekstiajoittaisen dekoodauksen kautta. Nimenomaan CAD vahvistaa eroja LLM:n tulostejakautumisen välillä, kun se on ehdolla kontekstille verrattuna siihen, mitä se generoi ehdotta. Tämä estää kontekstin vastaisia ristiriitoja ja ohjaa mallin perustuvampiin generoinneihin.

DoLA lievittää faktuaalisia hallucinaatioita kontrastoiden logiikkaa eri transformer-verkkojen kerroksista. Koska faktuaalinen tietämys on usein paikallistettu tiettyihin keskikerroksiin, vahvistamalla signaaleja näistä faktuaalisista kerroksista DoLA:n logiikkavastakkaisuuden kautta, vähennetään virheellisiä faktuaalisia generointeja.

Runko THAM esittää säännöllistämistermin koulutuksen aikana minimoidakseen vastakkaisen informaation määrän syötteen ja hallucinoitujen tulosteen välillä. Tämä auttaa kasvattamaan mallin riippuvuutta annetusta syötekontekstista eikä irtautuneesta mielikuvituksesta, vähentäen sokeita hallucinaatioita.

Tietoperusta

Perustaa LLM:eiden generoinnit rakenteellisiin tietoihin estää hillittömän spekulaation ja keksimisen.

Malli RHO tunnistaa entiteettejä keskustelukontekstissa ja linkittää ne tietokantaan (KG). Aiheeseen liittyvät faktat ja suhteet haetaan KG:stä ja yhdistetään kontekstiin, jota LLM:lle annetaan. Tämä tietopohjainen konteksti ohjaa vastauksia perustuen faktuaalisiin tietoihin mainittujen entiteettien tai tapahtumien osalta, vähentäen perusteettomia vastauksia.

HAR luo vastakkaisten koulutusdatamäärityksiä, jotka sisältävät mallin generoimia hallucinaatioita tai vääristymiä. Annettaessa faktuaalista kappaleita, malleja pyydetään esittämään hallucinaatioita tai muokkaamaan niitä yhdenmukaisiksi haettujen todisteiden kanssa. Hienosäätö tällaisilla aineistoilla pakottaa malleja perustamaan sisällön alkuperäisiin faktuaalisiin lähteisiin, vähentäen keksimistä.

Valvottu hienosäätö

• Valmentaja – Interaktiivinen kehys, joka vastaa käyttäjän kysymyksiin ja pyytää korjauksia parantamiseksi.
• R-Tuning – Kieltäytyminen tukemattomista kysymyksistä, jotka on tunnistettu koulutusdatan tietojen aukkojen kautta.
• TWEAK – Dekoodausmenetelmä, joka arvioi generointeja sen mukaan, miten hyvin hypoteesit tukevat syötefaktia.

Haasteet ja rajoitukset

Vaikka lupaava kehitys on tapahtunut, joitakin avainhaasteita hallitsemisessä hallucinaatioita on edelleen:

• Tekniikat usein vaihtavat laadun, yhtenäisyyden ja luovuuden uskottavuuden vuoksi.
• Vaikeus tiukassa arvioinnissa rajoitettujen alojen ulkopuolella. Mittarit eivät kata kaikkia nuansseja.
• Monet menetelmät ovat laskennallisesti kalliita, vaativat laajaa hakua tai itseään päättelyä.
• Riippuvat voimakkaasti koulutusdatan laadusta ja ulkoisista tietolähteistä.
• Vakuuttava yleistettävyys eri aloille ja modaalisuuksille on haasteellista.
• Hallucinaation perimmäiset syyt, kuten yliextrapolointi, ovat edelleen ratkaisematta.

Näiden haasteiden ratkaiseminen vaatinee luultavasti monikerroksisen lähestymistavan, joka yhdistää koulutusdatan parantamisen, mallirakenteiden parantamisen, uskottavuutta parantavat tappiot ja johdonmukaisuuden aikaiset tekniikat.

Tie eteenpäin

Hallucinaation torjunta LLM:eissä on edelleen avoin tutkimusongelma, jossa edistystä tapahtuu. Joitakin lupaavia tulevaisuuden suuntia ovat:

• Hybriditekniikat: Yhdistävät komplementaarisia lähestymistapoja, kuten hakua, tietoperustaa ja palautetta.
• Kausaaliset mallit: Parantavat ymmärrystä ja päättelyä.
• Verkkotietojen integrointi: Pitää maailmantietoa ajan tasalla.
• Formaali verifikaatio: Tarjoaa matemaattiset takuut mallin käyttäytymisestä.
• Selkeät rakenteet: Rakentaa avoimuutta torjuntatekniikoihin.

Koska LLM:t jatkavat leviämistään korkean panoksen aloilla, kehittäminen kestäviä ratkaisuja hallucinaatioiden rajoittamiseksi on avainasemassa niiden turvallisen, eettisen ja luotettavan käytön varmistamiseksi. Tässä artikkelissa esitetyt tekniikat antavat katsauksen esitettyihin tekniikoihin tähän asti, ja edelleen avoimia tutkimushaasteita on jäljellä. Yleisesti ottaen on positiivinen suuntaus kohti mallien faktuaalisen tarkkuuden parantamista, mutta jatkuvan edistyksen tarjoaminen edellyttää rajoitusten käsittelyä ja uusien suuntien, kuten kausaalisuuden, verifikaation ja hybridimenetelmien, tutkimista. Tutkijoiden ahkeran työn ansiosta eri aloilta voidaan toteuttaa voimakkaat ja luotettavat LLM:t.