Hallusinaation torjunta suurissa kielimalleissa: Uusimmat tekniikat

Suuret kielimallit (LLM) kuten GPT-4, PaLM ja Llama ovat avaaneet merkittäviä edistysaskeleita luonnollisen kielen generoinnissa. Niiden luotettavuuden ja turvallisen käytön esteenä on kuitenkin hallusinaatio – eli sellaisen sisällön generointi, joka vaikuttaa johdonmukaiselta, mutta on tosiasiallisesti virheellistä tai perustuu vain osittain syötettyyn kontekstiin.

Koska LLM:t jatkavat kasvamistaan ja yleistymistään eri sovelluksissa, hallusinaatioiden torjunta on välttämätöntä. Tämä artikkeli tarjoaa kattavan katsauksen uusimpiin menetelmiin, joita tutkijat ovat esittäneet hallusinaatioiden havaitsemiseen, mittaamiseen ja vähentämiseen.

Ymmärtäminen hallusinaatiosta LLM:ssä

Hallusinaatio viittaa LLM:n generoimiin faktualisiin virheisiin tai keksintöihin, jotka eivät perustu todellisuuteen tai annettuun kontekstiin. Esimerkkejä ovat:

• Keksiminen elämänvaiheita tai tapahtumia, joita ei ole todistettu alkuperäisissä lähteissä, kun generoidaan tekstiä jonkun henkilön elämästä.
• Antaminen virheellistä lääketieteellistä neuvontaa keksimällä lääkevaikutuksia tai hoitomenetelmiä.
• Keksiminen olemattomia tietoja, tutkimuksia tai lähteitä tukemaan väitettä.

Tämä ilmiö johtuu siitä, että LLM:t on koulutettu laajojen verkkotekstien aineistojen pohjalta. Vaikka tämä mahdollistaa vahvan kielimallin, se myös tarkoittaa, että ne oppivat extrapoloiamaan tietoa, tekemään loogisia hyppyjä ja täyttämään aukkoja uskottavalla, mutta mahdollisesti harhaanjohtavalla tavalla.

Joitakin avaintekijöitä, jotka ovat vastuussa hallusinaatioista, ovat:

• Mallin yleistäminen – LLM:t tunnistavat ja laajentavat malleja koulutusaineistossa, mikä ei välttämättä yleisty hyvin.
• Vanheneminen – Statiset esikoulutus estävät uuden tiedon integroimisen.
• Epilevyys – Epäselvät ohjeistukset antavat tilaa virheellisille oletuksille.
• Harhat – Mallit jatkavat ja vahvistavat vinoutuneita näkemyksiä.
• Riittämätön perustuminen – Puute ymmärryksestä ja päättelykyvystä tarkoittaa, että mallit generoivat sisältöä, jota ne eivät täysin ymmärrä.

Hallusinaatioiden torjunta on kriittistä luotettavan käytön kannalta herkillä aloilla, kuten lääketieteessä, oikeudessa, rahoituksessa ja koulutuksessa, joissa virheellinen tieto voi aiheuttaa vahinkoa.

Luokittelu hallusinaation torjuntatekniikoista

Tutkijat ovat esittäneet monia tekniikoita hallusinaatioiden torjumiseksi LLM:ssä, jotka voidaan luokitella seuraavasti:

1. Ohjeistuksen suunnittelu

Tämä käsittää ohjeistusten huolellisen suunnittelun, jotta LLM ohjataan faktuaalisiin ja perustuvien vastauksiin.

• Hakujen täydentäminen – Ulkoisten todisteiden hakeminen sisällön perustamiseksi.
• Palaute silmukat – Iteratiivinen palaute vastausten tarkentamiseksi.
• Ohjeistuksen säätö – Ohjeistusten säätö halutuilla käyttäytymisillä hienosäätöä varten.

2. Mallin kehittäminen

Mallien luominen, jotka ovat luonnostaan vähemmän alttiita hallusinaatioille.

• Koodausstrategiat – Tekstin generointi tavoin, jotka lisäävät uskottavuutta.
• Tietoperusta – Ulkoisten tietokantojen integroiminen.
• Uudet häviöt – Optimointi uskottavuudelle koulutuksen aikana.
• Valvottu hienosäätö – Ihmisen merkittyjen datojen käyttäminen faktuaalisuuden parantamiseen.

Seuraavaksi tarkastelemme merkittäviä tekniikoita kummassakin lähestymistavassa.

Merkittävät hallusinaation torjuntatekniikat

Hakujen täydentäminen

Hakujen täydentäminen parantaa LLM:iä hakemalla ja ehdolla ulkoisia todisteita ja käyttämällä niitä tekstin generoimiseen sen sijaan, että vain mallin implisiittistä tietoa käytettäisiin. Tämä perustaa sisällön ajantasaisiin, verifioiduksiin tietoihin, vähentäen hallusinaatioita.

Merkittäviä tekniikoita ovat:

• RAG – Käyttää hakijamoduulia, joka toimittaa relevantteja kappaleita sekvenssimallille generoimista varten. Molemmat komponentit koulutetaan loppuun asti.
• RARR – Käyttää LLM:iä tutkimiseen ja korjaamiseen tunnistamattomia väittämiä generoidussa tekstillä ja muokkaa niitä yhdenmukaisiksi hakutodisteiden kanssa.
• Tietohaku – Vahvistaa epävarmoja generoimisia hakemalla tietoa ennen tekstin tuottamista.
• LLM-täydentäjä – Iteratiivisesti etsii tietoa muodostamaan todisteita LLM-ohjeille.

Palaute ja päättely

Iteratiivisen luonnollisen kielen palautteen tai itsepäättelyn hyödyntäminen mahdollistaa LLM:ille heidän vastaustensa tarkentamisen ja parantamisen, vähentäen hallusinaatioita.

CoVe käyttää ketjuuntamistekniikkaa. LLM luonnostelee ensin vastauksen käyttäjän kysymykseen. Sitten se generoi potentiaalisia verifioivaa kysymyksiä faktantarkastamaan oman vastauksensa, perustuen sen luottamukseen eri lausumissa. Esimerkiksi uudesta lääketieteellisestä hoidosta kertovassa vastauksessa CoVe voi generoida kysymyksiä kuten “Mikä on hoidon tehokkuus?”, “Onko se saanut sääntelyhyväksynnän?” tai “Mitkä ovat mahdolliset sivuvaikutukset?”. Olennaisesti, LLM yrittää sitten vastata näihin verifioivaisiin kysymyksiin ilman, että se on vinoutunut alkuperäiseen vastaukseensa. Jos verifioivien kysymysten vastaukset ristiriitaisia lausumia alkuperäisessä vastauksessa tai eivät voi tukea niitä, järjestelmä tunnistaa ne todennäköisesti hallusinaatioina ja tarkentaa vastausta ennen sen esittämistä käyttäjälle.

DRESS keskittyy LLM:n säätöön paremmin vastaamaan ihmisten preferenssejä luonnollisen kielen palautteen kautta. Lähestymistapa mahdollistaa ei-asiantuntijoiden antaa vapaamuotoista kritiikkiä mallin generoimista, kuten “Sivuvaikutukset näyttävät liioitelluilta” tai tarkennusohjeita kuten “Olkaa hyvä ja käsitelkää myös kustannustehokkuutta”. DRESS käyttää vahvistusoppimista kouluttaakseen malleja generoimaan vastauksia, jotka paremmin vastaavat tällaisia palautteita, parantaen vuorovaikutusta ja vähentäen epätodellisia tai tuevia lausumia.

MixAlign käsittelee tilanteita, joissa käyttäjät esittävät kysymyksiä, jotka eivät suoraan vastaa järjestelmän hakemista tietoa. Esimerkiksi käyttäjä voi kysyä “Paheneeko saasteiden määrä Kiinassa?”, kun taas haetut kappaleet käsittelevät maailmanlaajuista saasteiden kehitystä. Välttääkseen hallusinaation riittämättömän kontekstin kanssa MixAlign pyytää käyttäjältä selvennystä, kun se epäilee, miten liittää kysymyksen haettuun tietoon. Tämä ihmisen sisällyttäminen mahdollistaa saada palautetta oikean kontekstin ja perustamisen varten, estäen perusteettomat vastaukset.

Tekniikka Itsearviointi kouluttaa LLM:iä arvioimaan, antamaan palautetta ja iteratiivisesti parantamaan omia vastauksiaan monitehtävälähestymistavalla. Esimerkiksi annettuaan vastauksen lääketieteelliseen kysymykseen, mallioppiminen opettaa mallille arvioimaan faktuaalisen tarkkuuden, tunnistamaan ristiriitaisia tai tuevia lausumia ja muokkaamaan niitä hakemalla asiaa koskevaa tietoa. Opettamalla LLM:lle tämä palautekierto, jossa se tarkistaa, arvostelee ja parantaa jatkuvasti omia tuotoksiaan, lähestymistapa vähentää sokeita hallusinaatioita.

Ohjeistuksen säätö

Ohjeistuksen säätö mahdollistaa ohjeistusten mukauttamisen LLM:lle hienosäätövaiheessa toivottuihin käyttäytymismalleihin.

Menetelmä SynTra käyttää synteettistä yhteenvetotekniikkaa minimoidakseen hallusinaation ennen mallin siirtämistä oikeisiin yhteenvetodatamalleihin. Synteettinen tehtävä tarjoaa syötetekstejä ja pyytää malleja yhteenvetomaan niitä hakemalla ilman abstraktiota. Tämä kouluttaa malleja riippumaan täysin lähdeteksteistä ja välttämään uuden tiedon keksimistä yhteenvetonaikana. SynTra osoittautuu vähentävän hallusinaatioita, kun hienosäätömallit otetaan käyttöön kohdekäytöissä.

UPRISE kouluttaa yleisen ohjeistushakijan, joka toimittaa optimaalisen pehmeän ohjeistuksen vähäisiin otteisiin oppimiselle tuntemattomilla alihankkeilla. Hakemalla tehokkaita ohjeistuksia, jotka on säädetty monilla tehtävillä, malli oppii yleistämään ja sopeutumaan uusiin tehtäviin, joissa se ei ole koulutettu. Tämä parantaa suorituskykyä ilman tehtäväkohtaisia säätöjä.

Uudet mallirakenteet

FLEEK on järjestelmä, joka auttaa ihmisiä tarkastajia ja validaatoreja. Se tunnistaa automaattisesti mahdollisesti verifioidut faktatodisteet annetuissa teksteissä. FLEEK muuttaa nämä tarkastettavat lauseet kysymyksiksi, hakee niihin liittyvää tietoa tietokannoista ja tarjoaa tämän kontekstuaalisen tiedon ihmisille tarkastettavaksi asiakirjojen tarkkuuden ja korjauksen tarpeiden varmistamiseksi.

Lähestymistapa CAD vähentää hallusinaatiota kielen generoimisessa kontekstiaavalla dekoodauksella. CAD korostaa LLM:n tulostejen eroja, kun se on ehdollistettu kontekstiin verrattuna ehdollistamattomaan generointiin. Tämä estää kontekstuaalisten todisteiden ristiriitaisuuden ja ohjaa mallin perustuvampiin generoinneihin.

DoLA lievittää faktuaalisia hallusinaatioita korostamalla logiikkaa eri transformer-verkkojen kerroksista. Koska faktuaalinen tieto on usein lokalisoitunut tiettyihin keskikerroksiin, niiden kerrosten signaaleja vahvistava DoLA:n logiikkavertailu vähentää virheellisiä faktuaalisia generoimisia.

Runko THAM esittää säännöstys-termiä koulutuksen aikana vähentämään hallusinaatioiden ja syötteen välistä keskinäistä informaatiota. Tämä auttaa mallia riippumaan enemmän annetusta kontekstista kuin kytkettömästä mielikuvituksesta, vähentäen sokeita hallusinaatioita.

Tietoperusta

Tietoperustan perustaminen LLM:n generoimisessa estää hillittömän spekuloinnin ja keksimisen.

Malli RHO tunnistaa entiteettejä keskustelukontekstissa ja linkittää ne tietokantaan. Niihin liittyvät faktat ja suhteet haetaan tietokannasta ja yhdistetään kontekstiin, jota LLM:lle annetaan. Tämä tietoperusta ohjaa vastauksia faktuaalisilla tiedoilla mainittujen entiteettien tai tapahtumien osalta, vähentäen hallusinaatioita dialogeissa.

HAR luo vastakkaisten todellisuuksien koulutusaineistoja, jotka sisältävät mallin generoimia hallusinaatioita, jotta mallit opettaisivat paremmin perustamaan sisällön alkuperäisiin faktuaalisiin lähteisiin. Annettuaan faktuaalisen kappaleen, malli pyydetään esittämään hallusinaatioita tai vääristymiä, generoimalla muunnetun vastakkaisen version. Hienosäätö tällaisilla aineistoilla pakottaa malleja perustamaan sisällön alkuperäisissä faktuaalisissa lähteissä, vähentäen keksintöjä.

Valvottu hienosäätö

• Valmentaja – Interaktiivinen kehys, joka vastaa käyttäjän kysymyksiin ja pyytää korjauksia parantamiseksi.
• R-Tuning – Kieltäytyminen tietojen aukkojen kautta tunnistetuista tuevista kysymyksistä koulutusdatan kautta.
• TWEAK – Dekoodausmenetelmä, joka arvioi generoimisia hypoteeseja siitä, miten hyvin ne tukevat syötetietoja.

Haasteet ja rajoitukset

Vaikka lupaavat edistysaskeleet, jotkut avainhaasteet hallusinaatioiden torjunnassa LLM:ssä ovat:

• Tekniikat usein vaihtavat laadun, yhtenäisyyden ja luovuuden faktuaalisuuden kanssa.
• Vaikeus tiukassa arvioinnissa rajoitettujen alojen ulkopuolella. Mittaukset eivät kata kaikkia nuansseja.
• Monet menetelmät ovat laskennallisesti vaativia, vaativat laajaa hakua tai itsepäättelyä.
• Ne riippuvat voimakkaasti koulutusdatan laadusta ja ulkoisista tietolähteistä.
• On vaikea taata yleistettävyyttä eri aloille ja modaaleille.
• Hallusinaation perimmäiset syyt, kuten yliextrapolointi, ovat edelleen ratkaisemattomia.

Näiden haasteiden ratkaiseminen vaatinee todennäköisesti monikerroksisen lähestymistavan, joka yhdistää koulutusdatan parantamisen, mallirakenteiden parantamisen, uskottavuutta parantavat häviöt ja johdonmukaisuuden parantavat tekniikat.

Tie eteenpäin

Hallusinaation torjunta LLM:ssä on edelleen avoin tutkimusongelma, jossa tehdään aktiivisia edistysaskeleita. Lupaavia tulevaisuuden suuntia ovat:

• Hybriditekniikat: Yhdistävät komplementaarisia lähestymistapoja, kuten hakua, tietoperustaa ja palautetta.
• Kausalimallinnus: Parantaa ymmärrystä ja päättelykykyä.
• Verkkotietojen integrointi: Pitää maailmantietoa ajan tasalla.
• Formaali verifikaatio: Tarjoaa matemaattisia takeita mallin käyttäytymisestä.
• Selkeästi: Rakentaa läpinäkyvyyttä torjuntatekniikoihin.

Kun LLM:t jatkavat leviämistään korkean panoksen aloille, kehittämällä kestäviä ratkaisuja hallusinaatioiden rajoittamiseksi voidaan varmistaa niiden turvallinen, eettinen ja luotettava käyttö. Tässä artikkelissa esitetyt tekniikat tarjoavat katsauksen esitettyihin menetelmiin, ja tutkimukselliset haasteet jatkavat. Yleisesti ottaen on positiivinen suuntaus mallien faktuaalisuuden parantamiseen, mutta jatkuvan edistymisen tarve vaatii rajoitusten käsittelyä ja uusien suuntien, kuten kausaliteetin, verifikaation ja hybridimenetelmien, tutkimista. Tutkijoiden ahkeran työn ansiosta voimakkaat ja luotettavat LLM:t voivat tulla todellisuudeksi.