Hallutsinatsioonide vastu võitlemine suurtes keelemudelites: tipptasemel tehnikate uuring

Suured keelemudelid (LLM-id), nagu GPT-4, PaLM ja Llama, on avanud märkimisväärseid edusamme loomuliku keele genereerimise võimalustes. Kuid pidev väljakutse, mis piirab nende usaldusväärsust ja ohutut kasutuselevõttu, on nende kalduvus hallutsineerida – luua sisu, mis näib ühtne, kuid on sisendkontekstist lähtuvalt ebaõige või põhjendamatu.

Kuna LLM-id muutuvad reaalsetes rakendustes üha võimsamaks ja kõikjale levivamaks, muutub hallutsinatsioonidega tegelemine hädavajalikuks. See artikkel annab põhjaliku ülevaate uusimatest tehnikatest, mida teadlased on kasutusele võtnud hallutsinatsioonide tuvastamiseks, kvantifitseerimiseks ja leevendamiseks LLM-ides.

Hallutsinatsioonide mõistmine LLM-ides

Hallutsinatsioonid viitavad LLM-ide tekitatud faktilistele ebatäpsustele või väljamõeldistele, mis ei põhine reaalsusel ega pakutavas kontekstis. Mõned näited hõlmavad järgmist:

• Isiku kohta teksti loomisel algmaterjalis mitte kajastatud biograafiliste detailide või sündmuste väljamõtlemine.
• Vigaste meditsiiniliste nõuannete pakkumine ravimite kõrvaltoimete või raviprotseduuride konfabuleerimise teel.
• Väidete toetuseks olematute andmete, uuringute või allikate kogumine.

See nähtus tuleneb sellest, et LLM-id on koolitatud tohutul hulgal veebipõhiseid tekstiandmeid. Kuigi see võimaldab neil saavutada tugevaid keelemodelleerimisvõimeid, tähendab see ka seda, et nad õpivad ekstrapoleerima teavet, tegema loogilisi hüppeid ja täitma lünki viisil, mis tundub veenev, kuid võib olla eksitav või ekslik.

Mõned hallutsinatsioonide põhjustajad on järgmised:

• Mustri üldistus – LLM-id tuvastavad ja laiendavad koolitusandmete mustreid, mis ei pruugi hästi üldistada.
• Aegunud teadmised – Staatiline eelkoolitus takistab uue teabe integreerimist.
• Mitmetähenduslikkus – Ebamäärased viiped annavad ruumi valedele eeldustele.
• Eelarvamused – Mudelid säilitavad ja võimendavad kallutatud vaatenurki.
• Ebapiisav maandus – Arusaadavuse ja arutluse puudumine tähendab, et mudelid loovad sisu, millest nad täielikult aru ei saa.

Hallutsinatsioonidega tegelemine on ülioluline usaldusväärseks kasutuselevõtuks tundlikes valdkondades, nagu meditsiin, õigus, rahandus ja haridus, kus valeinformatsiooni tekitamine võib kahjustada.

Hallutsinatsioonide leevendamise tehnikate taksonoomia

Teadlased on juurutanud erinevaid tehnikaid hallutsinatsioonide vastu võitlemiseks LLM-ides, mida saab liigitada:

1. Prompt Engineering

See hõlmab viipade hoolikat koostamist, et pakkuda konteksti ja suunata LLM-i faktiliste ja põhjendatud vastuste poole.

• Otsimise suurendamine – Väliste tõendite otsimine maapealsest sisust.
• Tagasiside tsüklid – Iteratiivne tagasiside andmine vastuste täpsustamiseks.
• Kiire häälestamine – Viipade kohandamine soovitud käitumise peenhäälestuse ajal.

2. Mudeli väljatöötamine

Mudelite loomine, mis on arhitektuursete muutuste tõttu vähem altid hallutsinatsioonidele.

• Dekodeerimise strateegiad – Teksti loomine viisil, mis suurendab ustavust.
• Teadmiste maandamine – väliste teadmistebaaside kaasamine.
• Uudsed kadufunktsioonid – Optimeerimine treeningu ajal truuduse saavutamiseks.
• Kontrollitud peenhäälestus – Inimmärgistatud andmete kasutamine faktilisuse suurendamiseks.

Järgmisena uurime iga lähenemisviisi silmapaistvaid tehnikaid.

Märkimisväärsed hallutsinatsioonide leevendamise tehnikad

Täiustatud põlvkonna otsimine

Otsimise täiendatud genereerimine täiustab LLM-e, otsides ja tingitades teksti genereerimise väliste tõendusdokumentide põhjal, selle asemel, et tugineda ainult mudeli kaudsetele teadmistele. See põhjendab sisu ajakohastatud ja kontrollitava teabega, vähendades hallutsinatsioone.

Silmapaistvad tehnikad hõlmavad järgmist:

• kalts – Kasutab retriiveri moodulit, mis pakub seq2seq mudeli jaoks asjakohaseid lõike, millest genereerida. Mõlemad komponendid on lõpuni koolitatud.
• RARR – Kasutab LLM-e, et uurida loodud tekstis olevaid omistamata väiteid ja vaadata need üle, et need vastaksid leitud tõenditele.
• Teadmiste kogumine – Kinnitab ebakindlad põlvkonnad, kasutades enne teksti loomist hangitud teadmisi.
• LLM-Augmenter – Otsib iteratiivselt teadmisi, et luua tõendusahelaid LLM-viipade jaoks.

Tagasiside ja põhjendused

Iteratiivse loomuliku keele tagasiside või enesemõtlemise kasutamine võimaldab LLM-idel oma esialgseid väljundeid täpsustada ja parandada, vähendades hallutsinatsioone.

CoVe kasutab kontrollimise ahelat. LLM koostab esmalt vastuse kasutaja päringule. Seejärel genereerib see potentsiaalsed kontrolliküsimused, et kontrollida oma vastust, tuginedes tema usaldusele mitmesugustes esitatud väidetes. Näiteks võib CoVe uut ravimeetodit kirjeldava vastuse puhul tekitada selliseid küsimusi nagu "Milline on ravi efektiivsus?", "Kas see on saanud regulatiivse heakskiidu?", "Millised on võimalikud kõrvaltoimed?". Oluline on see, et LLM proovib seejärel neile kontrolliküsimustele iseseisvalt vastata, ilma et see oleks esialgsest vastusest kallutatud. Kui kontrollküsimuste vastused on vastuolus või ei toeta esialgses vastuses esitatud väiteid, tuvastab süsteem need tõenäoliste hallutsinatsioonidena ja täpsustab vastust enne selle kasutajale esitamist.

KLEIT keskendub LLM-ide häälestamisele, et need vastaksid loomuliku keele tagasiside kaudu paremini inimeste eelistustele. See lähenemisviis võimaldab mitteekspert kasutajatel esitada vabas vormis kriitikat mudelite põlvkondade kohta, näiteks "mainitud kõrvalmõjud tunduvad liialdatud" või täpsustavad juhised, nagu "Palun arutage ka kulutasuvust". DRESS kasutab tugevdusõpet, et koolitada mudeleid, et luua sellise tagasiside alusel vastuseid, mis vastavad paremini inimeste eelistustele. See suurendab interaktiivsust, vähendades samal ajal ebarealistlikke või toetamata avaldusi.

MixAlign käsitleb olukordi, kus kasutajad esitavad küsimusi, mis ei vasta otseselt süsteemi otsitud tõendite lõikudele. Näiteks võib kasutaja küsida: „Kas reostus läheb Hiinas hullemaks?” arvestades, et leitud lõigud arutavad saastesuundumusi kogu maailmas. Ebapiisava kontekstiga hallutsinatsioonide vältimiseks selgitab MixAlign kasutajaga selgesõnaliselt, kui ta pole kindel, kuidas oma küsimust otsitud teabega seostada. See in-the-loop mehhanism võimaldab saada tagasisidet tõendite õigeks maandamiseks ja kontekstualiseerimiseks, vältides põhjendamatuid vastuseid.

. Enesepeegeldus tehnika koolitab LLM-e hindama, andma tagasisidet ja iteratiivselt täpsustama oma vastuseid, kasutades mitme ülesandega lähenemisviisi. Näiteks meditsiinilise päringu jaoks loodud vastuse korral õpib mudel hindama selle faktilist täpsust, tuvastama kõik vastuolulised või toetamata väited ja muutma neid asjakohaste teadmiste hankimise teel. Õpetades LLM-idele seda tagasisideahelat, mis hõlmab enda väljundite kontrollimist, kritiseerimist ja iteratiivset täiustamist, vähendab see lähenemisviis pimedaid hallutsinatsioone.

Kiire häälestamine

Viipehäälestus võimaldab kohandada LLM-idele pakutavaid juhiseid soovitud käitumise peenhäälestamisel.

. SynTra Meetod kasutab sünteetilist kokkuvõtlikku ülesannet hallutsinatsioonide minimeerimiseks enne mudeli ülekandmist tegelikesse kokkuvõtlikesse andmekogumitesse. Sünteetiline ülesanne pakub sisendlõike ja palub mudelitel need kokku võtta ainult otsingu kaudu, ilma abstraktsioonita. See õpetab mudeleid toetuma täielikult allikast pärinevale sisule, selle asemel, et kokkuvõtte tegemise ajal uut teavet hallutsineerida. On näidatud, et SynTra vähendab hallutsinatsioonidega seotud probleeme, kui sihtülesannetele rakendatakse peenhäälestatud mudeleid.

ÜLUSTUS koolitab universaalset viipade retriiverit, mis pakub optimaalset pehmet viipa vähehaaval õppimiseks nähtamatute allavoolu ülesannete puhul. Otsides tõhusaid viipasid, mis on häälestatud erinevatele ülesannete komplektile, õpib mudel üldistama ja kohanema uute ülesannetega, kus puuduvad koolitusnäited. See suurendab jõudlust ilma ülesandepõhist häälestamist nõudmata.

Uudsed mudeliarhitektuurid

FLEEK on süsteem, mis on keskendunud inimeste faktide kontrollijate ja valideerijate abistamisele. See tuvastab automaatselt antud tekstis esitatud potentsiaalselt kontrollitavad faktiväited. FLEEK muudab need kontrollitavad avaldused päringuteks, hangib teadmistebaasidest seotud tõendid ja annab selle kontekstipõhise teabe inimeste valideerijatele, et tõhusalt kontrollida dokumentide täpsust ja läbivaatamisvajadusi.

. CAD dekodeerimine vähendab hallutsinatsioone keele genereerimisel kontekstiteadliku dekodeerimise kaudu. Täpsemalt, CAD võimendab erinevusi LLM-i väljundjaotuse vahel, kui see on tingitud kontekstist või genereeritud tingimusteta. See pärsib vastuolulisi kontekstuaalseid tõendeid, juhtides mudelit põhjendatud põlvkondade poole.

DoLA leevendab faktilisi hallutsinatsioone, vastandades trafovõrkude erinevatest kihtidest pärit logiteid. Kuna faktiteadmised kipuvad paiknema teatud keskmistes kihtides, vähendab nende faktiliste kihtide signaalide võimendamine DoLA logiti kontrasti kaudu valede faktiliste põlvkondade arvu.

. THAM raamistik tutvustab koolituse ajal regulatsiooniterminit, et minimeerida sisendite ja hallutsineeritud väljundite vahelist vastastikust teavet. See aitab suurendada mudeli sõltuvust etteantud sisendkontekstist, mitte lõastamata kujutlusvõimest, vähendades pimedaid hallutsinatsioone.

Teadmiste maandamine

LLM-põlvkondade struktureeritud teadmiste juurutamine hoiab ära ohjeldamatud spekulatsioonid ja väljamõeldised.

. RHO mudel tuvastab olemid vestluskontekstis ja seob need teadmiste graafikuga (KG). Seotud faktid ja seosed nende üksuste kohta leitakse KG-st ja liidetakse LLM-ile pakutavasse konteksti. See teadmistega rikastatud konteksti juhtimine vähendab dialoogis hallutsinatsioone, hoides vastused seotud põhjendatud faktidega mainitud üksuste/sündmuste kohta.

HAR loob kontrafaktuaalseid treeningandmekogumeid, mis sisaldavad mudeliga genereeritud hallutsinatsioone, et paremini õpetada maandust. Arvestades faktilist lõiku, palutakse mudelitel tutvustada hallutsinatsioone või moonutusi, mis tekitavad muudetud kontrafaktilise versiooni. Nende andmete peenhäälestus sunnib mudeleid algsete faktiliste allikate sisu paremini põhjendama, vähendades improvisatsiooni.

Kontrollitud peenhäälestus

• Treener - Interaktiivne raamistik, mis vastab kasutaja päringutele, kuid küsib ka parandusi, et neid parandada.
• R-häälestus – Keeldumisteadlik häälestamine keeldub toetamata küsimustest, mis on tuvastatud koolitusandmete teadmiste lünkade tõttu.
• NÄPP – Dekodeerimismeetod, mis reastab põlvkondi selle põhjal, kui hästi hüpoteesid sisendfakte toetavad.

Väljakutsed ja piirangud

Vaatamata paljutõotavatele edusammudele on hallutsinatsioonide leevendamisel endiselt mõned peamised väljakutsed:

• Tehnikad vahetavad sageli kvaliteedi, sidususe ja loovuse tõesuse vastu.
• Raskused range hindamisega väljaspool piiratud valdkondi. Mõõdikud ei kajasta kõiki nüansse.
• Paljud meetodid on arvutuslikult kallid ja nõuavad ulatuslikku otsimist või enesearutlemist.
• Sõltub suuresti koolitusandmete kvaliteedist ja välistest teadmiste allikatest.
• Raske tagada üldistavust valdkondade ja viiside lõikes.
• Hallutsinatsioonide peamised juured, nagu liigne ekstrapoleerimine, jäävad lahendamata.

Nende probleemide lahendamiseks on tõenäoliselt vaja mitmekihilist lähenemisviisi, mis ühendab koolitusandmete täiustused, mudeli arhitektuuri täiustused, täpsust suurendavad kadud ja järelduste tegemise tehnikad.

Tee ees

Hallutsinatsioonide leevendamine LLM-ide jaoks on endiselt avatud uurimisprobleem, millel on aktiivne edu. Mõned paljutõotavad tulevikusuunad on järgmised:

• Hübriidtehnikad: kombineerige täiendavaid lähenemisviise, nagu otsimine, teadmiste maandamine ja tagasiside.
• Põhjuslikkuse modelleerimine: Täiustage arusaamist ja arutlusvõimet.
• Teadmiste integreerimine veebis: Hoidke maailmateadmised ajakohasena.
• Ametlik kinnitus: andke mudeli käitumisele matemaatilised garantiid.
• Tõlgendatavus: suurendage leevendustehnikate läbipaistvust.

Kuna LLM-id jätkavad suure panusega domeenide levikut, on hallutsinatsioonide vähendamiseks tugevate lahenduste väljatöötamine võtmetähtsusega nende turvalise, eetilise ja usaldusväärse kasutuselevõtu tagamiseks. Käesolevas artiklis uuritud tehnikad annavad ülevaate seni pakutud tehnikatest, mille puhul on jäänud avatumad uurimisprobleemid. Üldiselt on olemas positiivne suundumus mudeli faktilisuse suurendamise suunas, kuid jätkuv areng nõuab piirangutega tegelemist ja uute suundade, nagu põhjuslikkus, kontrollimine ja hübriidmeetodid, uurimist. Eri valdkondade teadlaste usinate jõupingutustega saab unistus võimsatest, kuid usaldusväärsetest LLM-idest reaalsuseks muuta.