Rješavanje halucinacija u modelima velikih jezika: pregled najsuvremenijih tehnika

Veliki jezični modeli (LLM) kao što su GPT-4, PaLM i Llama otključali su izvanredan napredak u mogućnostima generiranja prirodnog jezika. Međutim, stalni izazov koji ograničava njihovu pouzdanost i sigurnu implementaciju je njihova sklonost halucinacijama – stvaranju sadržaja koji se čini koherentnim, ali je činjenično netočan ili neutemeljen iz konteksta unosa.

Kako LLM postaje sve moćniji i sveprisutniji u stvarnim aplikacijama, rješavanje halucinacija postaje imperativ. Ovaj članak pruža sveobuhvatan pregled najnovijih tehnika koje su istraživači uveli za otkrivanje, kvantificiranje i ublažavanje halucinacija kod LLM-a.

Razumijevanje halucinacija u LLM-u

Halucinacija se odnosi na činjenične netočnosti ili izmišljotine koje su proizveli LLM-i, a koje nisu utemeljene na stvarnosti ili danom kontekstu. Neki primjeri uključuju:

• Izmišljanje biografskih detalja ili događaja koji nisu evidentirani u izvornom materijalu prilikom generiranja teksta o osobi.
• Pružanje pogrešnih medicinskih savjeta konfabulacijom nuspojava lijekova ili postupaka liječenja.
• Izmišljanje nepostojećih podataka, studija ili izvora koji podupiru tvrdnju.

Ovaj fenomen nastaje zato što se LLM-i obučavaju na golemim količinama tekstualnih podataka na mreži. Iako im to omogućuje da postignu snažne sposobnosti jezičnog modeliranja, to također znači da uče ekstrapolirati informacije, činiti logičke skokove i popunjavati praznine na način koji se čini uvjerljivim, ali može dovesti u zabludu ili biti pogrešan.

Neki ključni čimbenici odgovorni za halucinacije uključuju:

• Generalizacija uzorka – LLM identificiraju i proširuju obrasce u podacima o obuci koji se možda neće dobro generalizirati.
• Zastarjelo znanje – Statički prethodni trening sprječava integraciju novih informacija.
• Dvosmislenost – Nejasne upute ostavljaju prostor za netočne pretpostavke.
• predrasude – Modeli održavaju i pojačavaju iskrivljene perspektive.
• Nedovoljno uzemljenje – Nedostatak razumijevanja i rezoniranja znači da modeli generiraju sadržaj koji ne razumiju u potpunosti.

Rješavanje halucinacija ključno je za pouzdanu primjenu u osjetljivim područjima kao što su medicina, pravo, financije i obrazovanje gdje generiranje dezinformacija može dovesti do štete.

Taksonomija tehnika za ublažavanje halucinacija

Istraživači su uveli različite tehnike za borbu protiv halucinacija u LLM-u, koje se mogu kategorizirati u:

1. Brzi inženjering

To uključuje pažljivo osmišljavanje upita za pružanje konteksta i usmjeravanje LLM-a prema činjeničnim, utemeljenim odgovorima.

• Povećanje dohvaćanja – Dohvaćanje vanjskih dokaza u sadržaj na zemlji.
• Povratne veze – Iterativno pružanje povratnih informacija za pročišćavanje odgovora.
• Brzo podešavanje – Podešavanje upita tijekom finog podešavanja za željena ponašanja.

2. Razvoj modela

Stvaranje modela koji su inherentno manje skloni halucinacijama putem arhitektonskih promjena.

• Strategije dekodiranja – Generiranje teksta na načine koji povećavaju vjernost.
• Utemeljenost znanja – Uključivanje vanjskih baza znanja.
• Nove funkcije gubitaka – Optimiziranje za vjernost tijekom treninga.
• Fino podešavanje pod nadzorom – Korištenje podataka označenih ljudima za povećanje činjeničnosti.

Zatim pregledavamo istaknute tehnike pod svakim pristupom.

Značajne tehnike za ublažavanje halucinacija

Dohvaćanje proširene generacije

Povećano generiranje dohvaćanja poboljšava LLM dohvaćanjem i uvjetovanjem generiranja teksta na dokumentima vanjskih dokaza, umjesto da se oslanja isključivo na implicitno znanje modela. Ovo temelji sadržaj na ažurnim, provjerljivim informacijama, smanjujući halucinacije.

Istaknute tehnike uključuju:

• RAG – Koristi modul dohvaćanja koji pruža relevantne prolaze za generiranje modela seq2seq. Obje komponente se obučavaju od kraja do kraja.
• RARR – Zapošljava LLM-e za istraživanje neatribuiranih tvrdnji u generiranom tekstu i njihovu reviziju radi usklađivanja s pronađenim dokazima.
• Dohvaćanje znanja – Provjerava nesigurne generacije koristeći dohvaćeno znanje prije stvaranja teksta.
• LLM-povećivač – Iterativno pretražuje znanje za konstruiranje lanaca dokaza za upite LLM-a.

Povratne informacije i obrazloženje

Iskorištavanje iterativne povratne informacije prirodnog jezika ili samorasuđivanja omogućuje LLM-u da pročisti i poboljša svoje početne rezultate, smanjujući halucinacije.

Uvala koristi tehniku ​​lančane provjere. LLM prvo sastavlja odgovor na korisnikov upit. Zatim generira potencijalna pitanja za provjeru činjenica kako bi provjerio vlastiti odgovor, na temelju svog povjerenja u različite izjave. Na primjer, za odgovor koji opisuje novi medicinski tretman, CoVe može generirati pitanja poput "Koja je stopa učinkovitosti tretmana?", "Je li dobio regulatorno odobrenje?", "Koje su potencijalne nuspojave?". Najvažnije je da LLM tada pokušava neovisno odgovoriti na ova pitanja za provjeru bez da bude pristran svojim početnim odgovorom. Ako su odgovori na verifikacijska pitanja proturječni ili ne mogu podržati izjave iz izvornog odgovora, sustav ih identificira kao vjerojatne halucinacije i pročišćava odgovor prije nego što ga predstavi korisniku.

HALJINA usredotočuje se na prilagođavanje LLM-a kako bi se bolje uskladili s ljudskim preferencijama putem povratne informacije prirodnog jezika. Pristup omogućuje korisnicima koji nisu stručnjaci da daju kritike u slobodnom obliku o generacijama modela, poput "Spomenute nuspojave čine se pretjeranima" ili upute za usavršavanje poput "Molimo vas da raspravite i o isplativosti". DRESS koristi učenje s pojačanjem za treniranje modela za generiranje odgovora uvjetovanih takvim povratnim informacijama koje su bolje usklađene s ljudskim preferencijama. Ovo poboljšava interakciju uz smanjenje nerealnih ili nepodržanih izjava.

MixAlign bavi se situacijama u kojima korisnici postavljaju pitanja koja ne odgovaraju izravno odlomcima dokaza koje je sustav dohvatio. Na primjer, korisnik može pitati "Hoće li se zagađenje pogoršati u Kini?" dok pronađeni odlomci govore o globalnim trendovima onečišćenja. Kako bi se izbjegle halucinacije s nedovoljnim kontekstom, MixAlign eksplicitno razjašnjava s korisnikom kada nije siguran kako povezati svoje pitanje s dohvaćenim informacijama. Ovaj ljudski mehanizam omogućuje dobivanje povratnih informacija za ispravno utemeljenje i kontekstualizaciju dokaza, sprječavajući neutemeljene odgovore.

Korištenje električnih romobila ističe Razmišljanje o sebi Tehnika obučava LLM-e za evaluaciju, davanje povratnih informacija i iterativno usavršavanje vlastitih odgovora korištenjem pristupa s više zadataka. Na primjer, s obzirom na odgovor generiran za medicinski upit, model uči ocjenjivati ​​svoju činjeničnu točnost, identificirati sve kontradiktorne ili nepodržane izjave i uređivati ​​ih dohvaćanjem relevantnog znanja. Podučavajući LLM-e ovoj povratnoj petlji provjere, kritiziranja i iterativnog poboljšanja vlastitih rezultata, pristup smanjuje slijepe halucinacije.

Brzo podešavanje

Brzo ugađanje omogućuje prilagodbu uputa za upute koje se daju LLM-ima tijekom finog ugađanja za željena ponašanja.

Korištenje električnih romobila ističe SynTra metoda koristi zadatak sintetičkog sažimanja kako bi se halucinacije svele na najmanju moguću mjeru prije prijenosa modela u stvarne skupove podataka sažimanja. Sintetički zadatak daje ulazne odlomke i traži od modela da ih sažmu samo dohvaćanjem, bez apstrakcije. Ovo obučava modele da se potpuno oslanjaju na izvorni sadržaj umjesto da haluciniraju nove informacije tijekom sažimanja. Pokazalo se da SynTra smanjuje probleme s halucinacijama kada se fino podešeni modeli koriste na ciljnim zadacima.

IZLAZAK obučava univerzalni prompt retriver koji pruža optimalni meki prompt za učenje u nekoliko navrata na nevidljivim nizvodnim zadacima. Dohvaćanjem učinkovitih upita usklađenih s raznolikim skupom zadataka, model uči generalizirati i prilagođavati se novim zadacima gdje mu nedostaju primjeri za obuku. Ovo poboljšava performanse bez potrebe za podešavanjem specifičnim za zadatak.

Nove arhitekture modela

FLEEK je sustav usmjeren na pomoć ljudima koji provjeravaju činjenice i validatorima. Automatski identificira potencijalno provjerljive činjenične tvrdnje iznesene u određenom tekstu. FLEEK transformira ove izjave vrijedne provjere u upite, dohvaća povezane dokaze iz baza znanja i pruža ove kontekstualne informacije ljudskim validatorima za učinkovitu provjeru točnosti dokumenta i potrebe revizije.

Korištenje električnih romobila ističe CAD pristup dekodiranja smanjuje halucinacije u stvaranju jezika kroz dekodiranje svjesno konteksta. Konkretno, CAD pojačava razlike između distribucije izlaza LLM-a kada je uvjetovana kontekstom u odnosu na generiranu bezuvjetno. To obeshrabruje proturječne kontekstualne dokaze, usmjeravajući model prema prizemljenim generacijama.

DoLA ublažava činjenične halucinacije suprotstavljajući logite iz različitih slojeva transformatorskih mreža. Budući da činjenično znanje ima tendenciju biti lokalizirano u određenim srednjim slojevima, pojačavanje signala iz tih činjeničnih slojeva putem DoLA-inog logit kontrasta smanjuje netočne činjenične generacije.

Korištenje električnih romobila ističe TAM okvir uvodi pojam regulacije tijekom treninga kako bi se uzajamne informacije između inputa i haluciniranih izlaza svele na minimum. To pomaže povećati oslanjanje modela na dani ulazni kontekst, a ne na nesputanu maštu, smanjujući slijepe halucinacije.

Utemeljenost znanja

Utemeljivanje LLM generacija u strukturirano znanje sprječava neobuzdane spekulacije i izmišljotine.

Korištenje električnih romobila ističe RHO model identificira entitete u kontekstu razgovora i povezuje ih s grafikonom znanja (KG). Povezane činjenice i odnosi o tim entitetima preuzimaju se iz KG-a i spajaju u prikaz konteksta koji se daje LLM-u. Ovo upravljanje kontekstom obogaćeno znanjem smanjuje halucinacije u dijalogu držeći odgovore vezane uz utemeljene činjenice o spomenutim entitetima/događajima.

HAR stvara protučinjenične skupove podataka za obuku koji sadrže halucinacije generirane modelom za bolje podučavanje uzemljenja. S obzirom na činjenični odlomak, modeli su potaknuti da uvedu halucinacije ili iskrivljenja generirajući izmijenjenu protučinjeničnu verziju. Fino podešavanje ovih podataka prisiljava modele da bolje temelje sadržaj na izvornim činjeničnim izvorima, smanjujući improvizaciju.

Fino podešavanje pod nadzorom

• Trener – Interaktivni okvir koji odgovara na upite korisnika, ali također traži ispravke za poboljšanje.
• R-podešavanje – Podešavanje svjesno odbijanja odbija nepodržana pitanja identificirana kroz rupe u znanju podataka o obuci.
• ŠTIPANJE – Metoda dekodiranja koja rangira generacije na temelju toga koliko dobro hipoteze podržavaju ulazne činjenice.

Izazovi i ograničenja

Unatoč obećavajućem napretku, neki ključni izazovi ostaju u ublažavanju halucinacija:

• Tehnike često mijenjaju kvalitetu, koherentnost i kreativnost za istinitost.
• Poteškoće u rigoroznoj evaluaciji izvan ograničenih domena. Mjerni podaci ne obuhvaćaju sve nijanse.
• Mnoge su metode računalno skupe, zahtijevaju opsežno dohvaćanje ili samorasuđivanje.
• Uvelike ovisi o kvaliteti podataka o obuci i vanjskim izvorima znanja.
• Teško je jamčiti generaliziranje u različitim domenama i modalitetima.
• Temeljni korijeni halucinacija poput pretjerane ekstrapolacije ostaju neriješeni.

Rješavanje ovih izazova vjerojatno zahtijeva višeslojni pristup koji kombinira poboljšanja podataka o obuci, poboljšanja arhitekture modela, gubitke koji povećavaju vjernost i tehnike zaključivanja vremena.

Put naprijed

Ublažavanje halucinacija za LLM ostaje otvoreni istraživački problem s aktivnim napretkom. Neki obećavajući budući smjerovi uključuju:

• Hibridne tehnike: Kombinirajte komplementarne pristupe poput pronalaženja, utemeljenja znanja i povratne informacije.
• Modeliranje uzročnosti: Poboljšajte razumijevanje i rasuđivanje.
• Online integracija znanja: ažurirajte znanje o svijetu.
• Formalna potvrda: Osigurati matematička jamstva o ponašanju modela.
• Interpretabilnost: Ugradite transparentnost u tehnike ublažavanja.

Budući da se LLM-ovi nastavljaju širiti u domenama visokih uloga, razvoj robusnih rješenja za suzbijanje halucinacija bit će ključan za osiguravanje njihove sigurne, etičke i pouzdane primjene. Tehnike obrađene u ovom članku daju pregled do sada predloženih tehnika, gdje ostaju otvoreni istraživački izazovi. Općenito, postoji pozitivan trend prema poboljšanju činjeničnosti modela, ali kontinuirani napredak zahtijeva rješavanje ograničenja i istraživanje novih smjerova kao što su uzročnost, verifikacija i hibridne metode. Uz marljive napore istraživača iz različitih disciplina, san o moćnim, ali pouzdanim LLM-ovima može se pretočiti u stvarnost.