Hallusinaatioiden torjuminen suurissa kielimalleissa: huipputekniikkoja koskeva tutkimus

Suuret kielimallit (LLM), kuten GPT-4, PaLM ja Llama, ovat saavuttaneet merkittäviä edistysaskeleita luonnollisen kielen luontiominaisuuksissa. Niiden luotettavuutta ja turvallista käyttöönottoa rajoittava jatkuva haaste on kuitenkin niiden taipumus hallusinoida – luoda sisältöä, joka näyttää johdonmukaiselta, mutta on tosiasiallisesti virheellistä tai perusteetonta syöttökontekstin perusteella.

Koska LLM:t kasvavat jatkuvasti tehokkaammiksi ja kaikkialla reaalimaailman sovelluksissa, hallusinaatioihin puuttumisesta tulee välttämätöntä. Tämä artikkeli tarjoaa kattavan yleiskatsauksen viimeisimmistä tekniikoista, joita tutkijat ovat ottaneet käyttöön hallusinaatioiden havaitsemiseksi, kvantifioimiseksi ja lieventämiseksi LLM:issä.

Hallusinaatioiden ymmärtäminen LLM:issä

Hallusinaatiot viittaavat LLM:ien tuottamiin tosiasiallisiin epätarkkuuksiin tai kuvitelmiin, jotka eivät perustu todellisuuteen tai tarjottuun kontekstiin. Joitakin esimerkkejä ovat:

• Sellaisten elämäkerrallisten yksityiskohtien tai tapahtumien keksiminen, jotka eivät näy lähdemateriaalissa, luotaessa tekstiä henkilöstä.
• Virheellisten lääketieteellisten neuvojen antaminen lääkkeiden sivuvaikutuksista tai hoitotoimenpiteistä.
• Olemattomien tietojen, tutkimusten tai lähteiden keksiminen väitteen tueksi.

Tämä ilmiö johtuu siitä, että LLM:t ovat koulutettuja valtavan määrän online-tekstidataa. Vaikka tämä antaa heille mahdollisuuden saavuttaa vahvat kielimallinnusominaisuudet, se tarkoittaa myös, että he oppivat ekstrapoloimaan tietoa, tekemään loogisia harppauksia ja täyttämään aukkoja tavalla, joka vaikuttaa vakuuttavalta, mutta saattaa olla harhaanjohtavaa tai virheellistä.

Joitakin avaintekijöitä, jotka ovat vastuussa hallusinaatioista, ovat:

• Mallin yleistys – LLM:t tunnistavat ja laajentavat harjoitusdatan malleja, jotka eivät välttämättä yleisty hyvin.
• Vanhentunut tieto – Staattinen esikoulutus estää uuden tiedon integroinnin.
• epäselvyys – Epämääräiset kehotukset antavat tilaa väärille olettamuksille.
• harhat – Mallit säilyttävät ja vahvistavat vääristyneitä näkökulmia.
• Riittämätön maadoitus – Ymmärtämisen ja päättelyn puute tarkoittaa, että mallit luovat sisältöä, jota he eivät täysin ymmärrä.

Hallusinaatioihin puuttuminen on ratkaisevan tärkeää luotettavan käyttöönoton kannalta arkaluontoisilla aloilla, kuten lääketiede, laki, talous ja koulutus, joissa väärän tiedon tuottaminen voi aiheuttaa vahinkoa.

Hallusinaatioiden lieventämistekniikoiden taksonomia

Tutkijat ovat ottaneet käyttöön erilaisia ​​tekniikoita hallusinaatioiden torjumiseksi LLM:issä, jotka voidaan luokitella:

1. Nopea suunnittelu

Tämä edellyttää kehotteiden huolellista laatimista kontekstin tarjoamiseksi ja LLM:n ohjaamiseksi kohti asiallisia, perusteltuja vastauksia.

• Haun lisäys – Ulkoisten todisteiden hakeminen maasisältöön.
• Palautepiirit – Palautteen antaminen iteratiivisesti vastausten tarkentamiseksi.
• Nopea viritys – Kehotteiden säätäminen halutun toiminnan hienosäädön aikana.

2. Mallin kehittäminen

Mallien luominen, jotka ovat luonnostaan ​​vähemmän alttiita hallusinaatioille arkkitehtonisten muutosten kautta.

• Dekoodausstrategiat – Tekstin luominen uskollisuutta lisäävillä tavoilla.
• Tiedon maadoitus – Ulkoisten tietokantojen sisällyttäminen.
• Uudet häviöfunktiot – Optimointi uskollisuuteen harjoittelun aikana.
• Valvottu hienosäätö – Ihmisten merkitsemien tietojen käyttö todellisuuden parantamiseksi.

Seuraavaksi tarkastelemme kunkin lähestymistavan mukaisia ​​merkittäviä tekniikoita.

Merkittäviä hallusinaatioiden lieventämistekniikoita

Haku laajennettu sukupolvi

Haun lisätty sukupolvi parantaa LLM:itä hakemalla ja ehdoittamalla tekstin luomista ulkoisten todisteiden asiakirjoihin sen sijaan, että luottaisi pelkästään mallin implisiittiseen tietoon. Tämä perustaa sisällön ajantasaiseen, todennettavissa olevaan tietoon, mikä vähentää hallusinaatioita.

Näkyviä tekniikoita ovat:

• RÄTTI – Käyttää noutajamoduulia, joka tarjoaa tarvittavat kohdat seq2seq-mallille, josta se voidaan luoda. Molemmat komponentit on koulutettu päästä päähän.
• RARR – Työllistää LLM:itä tutkimaan luodun tekstin aiheuttamattomia väitteitä ja tarkistamaan niitä haettujen todisteiden mukaisiksi.
• Tiedonhaku – Vahvistaa epävarmat sukupolvet käyttämällä haettua tietoa ennen tekstin tuottamista.
• LLM-Augmenter – Etsii iteratiivisesti tietoa rakentaakseen todisteketjuja LLM-kehotteille.

Palaute ja perustelut

Iteratiivisen luonnollisen kielen palautteen tai itseperustelun hyödyntäminen antaa LLM:ille mahdollisuuden tarkentaa ja parantaa alkuperäisiä tuloksiaan, mikä vähentää hallusinaatioita.

Lahti käyttää ketjun varmennustekniikkaa. LLM laatii ensin vastauksen käyttäjän kyselyyn. Sen jälkeen se luo mahdollisia varmistuskysymyksiä tarkistaakseen oman vastauksensa perustuen siihen, että se luottaa erilaisiin lausuntoihin. Esimerkiksi uutta lääkehoitoa kuvaavassa vastauksessa CoVe voi tuottaa kysymyksiä, kuten "Mikä on hoidon tehokkuus?", "Onko se saanut viranomaishyväksynnän?", "Mitä ovat mahdolliset sivuvaikutukset?". Ratkaisevaa on, että LLM yrittää sitten itsenäisesti vastata näihin varmistuskysymyksiin ilman, että sen alkuperäinen vastaus vääristelee. Jos vastaukset varmistuskysymyksiin ovat ristiriidassa alkuperäisen vastauksen väittämien kanssa tai eivät voi tukea niitä, järjestelmä tunnistaa ne todennäköisiksi hallusinaatioiksi ja tarkentaa vastausta ennen sen esittämistä käyttäjälle.

MEKKO keskittyy LLM:ien virittämiseen vastaamaan paremmin ihmisten mieltymyksiä luonnollisen kielen palautteen avulla. Lähestymistavan avulla ei-asiantuntijat voivat esittää vapaamuotoisia kritiikkiä mallisukupolvesta, kuten "Maitetut sivuvaikutukset näyttävät liioitelluilta" tai tarkennusohjeita, kuten "Keskustelkaa myös kustannustehokkuudesta". DRESS käyttää vahvistusoppimista mallien kouluttamiseen luomaan palautetta koskevia vastauksia, jotka vastaavat paremmin ihmisten mieltymyksiä. Tämä parantaa vuorovaikutusta ja vähentää epärealistisia tai tukemattomia lausuntoja.

MixAlign käsittelee tilanteita, joissa käyttäjät esittävät kysymyksiä, jotka eivät suoraan vastaa järjestelmän hakemia todisteita. Käyttäjä voi esimerkiksi kysyä "Paheneeko saastuminen Kiinassa?" ottaa huomioon, että haetut kohdat keskustelevat saastetrendeistä maailmanlaajuisesti. Välttääkseen hallusinaatioita riittämättömällä kontekstilla MixAlign selventää käyttäjälle, kun hän ei ole varma, kuinka hänen kysymyksensä suhteutetaan haettuihin tietoihin. Tämä in-the-loop-mekanismi mahdollistaa palautteen saamisen todisteiden maadoittamiseksi ja kontekstualisoimiseksi oikein, mikä estää perusteettomat vastaukset.

- Itse heijastus tekniikka kouluttaa LLM:itä arvioimaan, antamaan palautetta ja iteratiivisesti tarkentamaan omia vastauksiaan käyttämällä usean tehtävän lähestymistapaa. Esimerkiksi lääketieteelliseen kyselyyn luodun vastauksen perusteella malli oppii arvioimaan sen tosiasiallisen tarkkuuden, tunnistamaan ristiriitaiset tai tukemattomat väitteet ja muokkaamaan niitä hakemalla asiaankuuluvaa tietoa. Opettamalla LLM:ille tätä palautesilmukkaa, jossa he tarkistavat, kritisoivat ja iteratiivisesti parantavat omia tuloksiaan, lähestymistapa vähentää sokeita hallusinaatioita.

Pikaviritys

Kehotteen virityksen avulla voidaan säätää LLM:ille annettuja ohjeita halutun toiminnan hienosäädön aikana.

- SynTra menetelmä käyttää synteettistä yhteenvetotehtävää hallusinaatioiden minimoimiseksi ennen mallin siirtämistä todellisiin yhteenvetotietosarjoihin. Synteettinen tehtävä tarjoaa syöttökohtia ja pyytää malleja tiivistämään ne vain haun kautta, ilman abstraktiota. Tämä kouluttaa mallit luottamaan täysin lähdesisältöön sen sijaan, että hallusinoitaisiin uutta tietoa yhteenvedon aikana. SynTran on osoitettu vähentävän hallusinaatioongelmia, kun hienosäädettyjä malleja käytetään kohdetehtäviin.

YLÖS kouluttaa yleisen kehotteen noutajan, joka tarjoaa optimaalisen pehmeän kehotteen muutaman otoksen oppimiseen näkymättömissä loppupään tehtävissä. Hakemalla tehokkaita kehotteita, jotka on viritetty erilaisiin tehtäviin, malli oppii yleistämään ja mukautumaan uusiin tehtäviin siellä, missä siitä puuttuu koulutusesimerkkejä. Tämä parantaa suorituskykyä ilman tehtäväkohtaista viritystä.

Uusi malliarkkitehtuuri

FLEEK on järjestelmä, joka keskittyy auttamaan ihmisten faktantarkistajia ja validaattoreita. Se tunnistaa automaattisesti tietyssä tekstissä esitetyt mahdollisesti todennettavissa olevat tosiasiaväitteet. FLEEK muuntaa nämä tarkastettavat lausunnot kyselyiksi, hakee asiaan liittyviä todisteita tietokannoista ja toimittaa nämä kontekstuaaliset tiedot ihmisvalidaattoreille dokumenttien tarkkuuden ja tarkistustarpeiden tarkistamiseksi tehokkaasti.

- CAD dekoodausmenetelmä vähentää hallusinaatioita kielen synnyssä kontekstitietoisen dekoodauksen avulla. Tarkemmin sanottuna CAD vahvistaa eroja LLM:n lähtöjakauman välillä, kun se on ehdollinen kontekstiin verrattuna ehdoitta generoituun. Tämä estää ristiriitaisen kontekstuaalisen näytön ohjaamisen mallia kohti maadoitettuja sukupolvia.

DoLA lieventää todellisia hallusinaatioita vertaamalla muuntajaverkkojen eri kerroksista peräisin olevia logiteja. Koska faktatieto on taipumus lokalisoitua tietyille keskitasoille, signaalien vahvistaminen näistä faktakerroksista DoLA:n logit-kontrastoinnin avulla vähentää vääriä faktasukupolvia.

- THAM Framework ottaa käyttöön säännöstelytermin koulutuksen aikana minimoimaan keskinäisen tiedon syötteiden ja hallusinoitujen tulosten välillä. Tämä auttaa lisäämään mallin riippuvuutta annettuun syöttökontekstiin kytkemättömän mielikuvituksen sijaan, mikä vähentää sokeita hallusinaatioita.

Tiedon maadoitus

LLM-sukupolvien perustaminen strukturoituun tietoon estää hillittömän spekuloinnin ja tekopyhyyden.

- RHO malli tunnistaa entiteetit keskustelukontekstissa ja linkittää ne tietograafiin (KG). Näihin entiteeteihin liittyvät tosiasiat ja suhteet haetaan KG:stä ja sulautetaan LLM:lle toimitettuun kontekstiesitykseen. Tämä tiedolla rikastettu kontekstin ohjaus vähentää hallusinaatioita dialogissa pitämällä vastaukset sidoksissa mainittuja entiteettejä/tapahtumia koskeviin perusteltuihin faktoihin.

HAR luo kontrafaktuaalisia harjoitustietojoukkoja, jotka sisältävät mallin luomia hallusinaatioita, jotta maadoitus voidaan opettaa paremmin. Kun otetaan huomioon faktakohta, malleja kehotetaan esittämään hallusinaatioita tai vääristymiä, jotka luovat muunnetun kontrafaktuaalisen version. Näiden tietojen hienosäätö pakottaa mallit paremmin pohjaamaan alkuperäisten faktalähteiden sisältöä, mikä vähentää improvisaatiota.

Valvottu hienosäätö

• Valmentaja – Interaktiivinen kehys, joka vastaa käyttäjien kyselyihin, mutta pyytää myös korjauksia parantamiseksi.
• R-viritys – Kieltäytymistietoinen viritys hylkää tuetut kysymykset, jotka on tunnistettu koulutustiedon puutteista.
• TVVEAK – Dekoodausmenetelmä, joka asettaa sukupolvet paremmuusjärjestykseen sen perusteella, kuinka hyvin hypoteesit tukevat syöttötietoa.

Haasteet ja rajoitukset

Lupaavasta edistymisestä huolimatta hallusinaatioiden lieventämisessä on edelleen joitakin keskeisiä haasteita:

• Tekniikat vaihtavat usein laadun, johdonmukaisuuden ja luovuuden totuuteen.
• Vaikeus tiukassa arvioinnissa rajoitettujen alueiden ulkopuolella. Mittarit eivät kuvaa kaikkia vivahteita.
• Monet menetelmät ovat laskennallisesti kalliita ja vaativat laajaa hakua tai omatoimisuutta.
• Riippuu suuresti koulutustietojen laadusta ja ulkoisista tietolähteistä.
• Vaikea taata yleistettävyyttä eri aloilla ja toimintatavoissa.
• Hallusinaatioiden perussyyt, kuten liiallinen ekstrapolaatio, ovat edelleen ratkaisematta.

Näihin haasteisiin vastaaminen edellyttää todennäköisesti monikerroksista lähestymistapaa, jossa yhdistyvät koulutusdatan parannukset, malliarkkitehtuurin parannukset, tarkkuutta parantavat häviöt ja päättelyaikatekniikat.

Tie edessä

Hallusinaatioiden lieventäminen LLM:illä on edelleen avoin tutkimusongelma, joka edistyy aktiivisesti. Joitakin lupaavia tulevaisuuden suuntaviivoja ovat mm.

• Hybriditekniikat: Yhdistä toisiaan täydentäviä lähestymistapoja, kuten haku, tiedon maadoittaminen ja palaute.
• Kausaalisuuden mallinnus: Paranna ymmärrystä ja päättelykykyä.
• Tietojen integrointi verkossa: Pidä maailmantieto ajan tasalla.
• Muodollinen tarkastus: Anna matemaattiset takeet mallien käyttäytymisestä.
• tulkittavuutta: Lisää avoimuutta lieventämistekniikoihin.

Koska LLM:t jatkavat lisääntymistä korkean panoksen verkkotunnuksilla, vankkojen ratkaisujen kehittäminen hallusinaatioiden vähentämiseksi on avainasemassa niiden turvallisen, eettisen ja luotettavan käyttöönoton varmistamiseksi. Tässä artikkelissa tutkitut tekniikat antavat yleiskatsauksen tähän mennessä ehdotetuista tekniikoista, joissa on vielä avoimempia tutkimushaasteita. Kaiken kaikkiaan mallien tosiasiallisuuden parantamisessa on havaittavissa myönteinen suuntaus, mutta jatkuva edistyminen edellyttää rajoituksiin puuttumista ja uusien suuntien, kuten syy-yhteyden, todentamisen ja hybridimenetelmien, tutkimista. Eri tieteenalojen tutkijoiden ahkeralla ponnistelulla unelma tehokkaista mutta luotettavista LLM:istä voidaan muuttaa todeksi.