Estäen ‘hallusinaatio’ GPT-3:ssa ja muissa monimutkaisissa kielen mallinnusmalleissa

‘Väärän uutisen’ määrittävä piirre on, että se usein esittää väärää tietoa faktuaalisesti oikein olevan tiedon yhteydessä, ja epätosi tieto saa näennäisen auktoriteetin kirjallisen osmoosin kautta – huolestuttava esimerkki puolittaisen totuuden voimasta.

Monimutkaiset generatiiviset luonnollisen kielen prosessointimallit, kuten GPT-3, ovat myös taipuvaisia ‘hallusinoimaan’ tällaista harhaa. Osittain tämä johtuu siitä, että kielen malleja on kyettävä uudelleen sanomaan ja tiivistämään pitkiä ja usein labyrinttimäisiä tekstien osia ilman arkkitehtonista rajoitetta, joka voisi määritellä, erottaa ja ‘sulkea’ tapahtumat ja faktat, jotta ne olisivat suojattuina semanttisen uudelleenrakennuksen prosessilta.

Tämän vuoksi faktat eivät ole pyhää NLP-mallille; ne voivat helposti päätyä käsiteltäviksi ‘semanttisten legopallojen’ yhteydessä, erityisesti silloin, kun monimutkainen kielioppi tai outo lähdeaineisto tekee vaikeaksi erottaa erillisiä entiteettejä kielestä.

Havainto siitä, miten monimutkaiset kielen mallit, kuten GPT-3, voivat olla hämmennyksiä vaikeasti sanotuista lähdeaineistosta. Lähde: Paraphrase Generation Using Deep Reinforcement Learning

Tämä ongelma leviää tekstipohjaisesta koneoppimisesta tietokoneen näkökulman tutkimukseen, erityisesti aloilla, jotka käyttävät semanttista diskriminaatiota objektiiden tunnistamiseen tai kuvaamiseen.

Hallusinaatio ja epätarkka ‘kosmeettinen’ uudelleentulkinta vaikuttaa myös tietokoneen näkökulman tutkimukseen.

GPT-3:n tapauksessa malli voi tulla turhautuneeksi toistuvista kysymyksistä aiheesta, jota se on jo käsittellyt parhaansa mukaan. Parhaassa tapauksessa se myöntää tappionsa:

Aiheeni kokeilu GPT-3:n perus-DaVinci-moottorilla. Malli vastaa oikein ensimmäisellä yrittämällä, mutta ärsyyntyy, kun sitä pyydetään kysymään toistamiseen. Lähde: https://www.scalr.ai/post/business-applications-for-gpt-3

DaVinci ja DaVinci Instruct (Beta) toimivat tässä suhteessa paremmin kuin muut GPT-3-mallit, jotka ovat saatavilla API:n kautta. Tässä Curie-malli antaa väärän vastauksen, kun taas Babbage-malli laajentaa luottavaisesti yhtä väärää vastausta:

Asioita, joita Einstein ei koskaan sanonut

Kun pyysin GPT-3:n DaVinci Instruct -moottoria (joka näyttää olevan kyvykkäin) Einsteinin kuuluisasta lainauksesta ‘Jumala ei pelaa nopaa maailmankaikkeuden kanssa’, DaVinci Instruct epäonnistuu löytämään lainauksen ja keksii ei-lainauksen, ja jatkaa hallusinoimalla kolme muuta suhteellisen uskottavaa ja täysin olematonta lainausta (Einsteinilta tai keltä tahansa) vastauksena samankaltaisiin kysymyksiin:

GPT-3 tuottaa neljä uskottavaa lainausta Einsteinilta, mikään niistä ei anna mitään tuloksia kokonaisen internet-haun aikana, vaikka jotkut laukaisevat oikeat lainaukset Einsteinilta aiheesta ‘mielikuvitus’.

Jos GPT-3 olisi johdonmukaisesti väärä lainauksissa, olisi helpompi hylätä nämä hallusinaatiot ohjelmallisesti. Kuitenkin mitä laajemmin ja kuuluisammin lainaus on, sitä todennäköisemmin GPT-3 saa lainauksen oikein:

GPT-3 näyttää löytävän oikeat lainaukset, kun ne ovat hyvin edustettuina osallistuvassa aineistossa.

Toinen ongelma voi ilmetä, kun GPT-3:n istunnon historiatiedot valuvat uuteen kysymykseen:

Einstein olisi todennäköisesti skandaalittunut, jos tätä lausetta olisi attribuoitu hänelle. Lainaus näyttää olevan nonsenssinen hallusinaatio todellisesta Winston Churchillin aforismista. Edellinen kysymys GPT-3-istunnossa liittyi Churchilliin (ei Einstein), ja GPT-3 näyttää käyttäneen tämän istunnon tokenin virheellisesti vastauksen muodostamiseen.

Taloudellinen hallusinaation torjunta

Hallusinaatio on merkittävä este monimutkaisten NLP-mallien omaksumiselle tutkimustyökaluina – sitä enemmän, mitä abstraktimpi mallien tuottama tieto on alkuperäisestä aineistosta, josta se muodostui, joten lainauksien ja faktoiden totuuden määrittäminen muodostuu ongelmalliseksi.

Tämän vuoksi yksi nykyinen yleinen haaste NLP-tutkimuksessa on löytää keino hallusinoitujen tekstien tunnistamiseen ilman uusien NLP-mallien kehittämistä, jotka sisältävät, määrittävät ja todentavat faktat erillisinä entiteetteinä (pitempiaikainen, erillinen tavoite useissa laajemmissa tietokonetta koskevissa tutkimusaloina).

Hallusinoitujen sisältöjen tunnistaminen ja tuottaminen

Uusi yhteistyö Carnegie Mellon -yliopiston ja Facebook AI Researchin välillä tarjoaa uuden lähestymistavan hallusinaatio-ongelmaan, muodostamalla menetelmän hallusinoitujen tulosten tunnistamiseksi ja käyttämällä synteettisiä hallusinoituja tekstejä perustana tuleville suodattimille ja mekanismeille, jotka voivat lopulta muodostua NLP-arkkitehtuureiden ydinosaaksi.

Lähde: https://arxiv.org/pdf/2011.02593.pdf

Yllä olevassa kuvassa lähdeaineisto on jaettu sanan perusteella, ja ‘0’-merkintä on annettu oikeille sanoille ja ‘1’-merkintä hallusinoituille sanoille. Alla näemme esimerkin hallusinoituneesta tuloksesta, joka liittyy syötetietoihin, mutta johon on lisätty epäaitoa tietoa.

Järjestelmä käyttää esikoulutettua denoising-autoenkooderia, joka pystyy kartoittamaan hallusinoituneen merkkijonon takaisin alkuperäiseen tekstiin, josta vioittunut versio tuotettiin (samankaltainen kuin aiemmat esimerkkini, joissa internet-haun paljasti väärän lainauksen alkuperän, mutta ohjelmallisella ja automaattisella semanttisella metodilla). Nimenomaan Facebookin BART-autoenkooderimalli käytetään korruptoitujen lauseiden tuottamiseen.

Merkintöjen määritys.

Hallusinaation kartoittaminen takaisin lähteeseen, mikä ei ole mahdollista yleisimmissä korkean tason NLP-malleissa, mahdollistaa ‘muokkausetäisyyden’ kartoittamisen ja mahdollistaa algoritmiset lähestymistavat hallusinoitujen sisältöjen tunnistamiseen.

Tutkijat havaitsivat, että järjestelmä pystyy yleistämään hyvin, vaikka sillä ei ole pääsyä viiteaineistoon, jota käytettiin koulutuksessa, mikä viittaa siihen, että konseptuaalinen malli on vankka ja laajasti toistettavissa.

Ylioppimisen torjunta

Välttääkseen ylioppimisen ja päästäkseen laajasti käytettävään arkkitehtuuriin tutkijat poistivat satunnaisesti tokenit prosessista ja käyttivät myös parafrasi- ja muita melun toimintoja.

Konekäännös (MT) on myös osa tätä hämärrysprosessia, koska tekstin kääntäminen kielestä toiseen on todennäköisesti säilyttää merkitystä luotettavasti ja estää ylioppimisen. Siksi hallusinaatiot käännettiin ja tunnistettiin hankkeen aikana kaksikielisillä puhujilla manuaalisessa merkintätasolla.

Alkuvaihe saavutti uudet parhaat tulokset useissa standardisoiduissa alan testeissä, ja se on ensimmäinen, joka saavutti hyväksyttävät tulokset yli 10 miljoonan tokenin aineistolla.

Hankkeen koodi, joka on nimeltään Hallusinoitujen sisältöjen havaitseminen ehdollisissa neuroverkkoperäisissä jonojen generoimisissa, on julkaistu GitHubissa, ja se mahdollistaa käyttäjille oman synteettisen aineiston generoimisen BART:lla minkä tahansa tekstin aineistosta. Hankkeessa on myös mahdollisuus myöhempien hallusinaatioiden havaitsemismallien generoimiseen.