Vaaroja käyttää lainauksia NLG-sisällön todentamiseen

MielipideNatural Language Generation -mallit, kuten GPT-3, ovat altis “hallusinointiin” aineistoa, jonka ne esittävät faktatiedon yhteydessä. Aikakaudella, joka on erityisen huolissaan tekstipohjaisen fake newsin kasvusta, nämä “miellyttävät” mielikuvitukselliset lennokkuudet edustavat olemassaolokriisiä automaattisen kirjoittamisen ja tiivistelmien kehittämiseksi sekä AI-vetoomukselle journalistiikassa ja muilla Natural Language Processing (NLP) -alajoilla.

Keskeinen ongelma on, että GPT-tyyliset kielen mallit johtavat tärkeitä piirteitä ja luokkia hyvin suurista koulutustekstien korpuksista, ja oppivat käyttämään näitä piirteitä kielen rakennuspalikkoina taitavasti ja aidosti, riippumatta generoitu sisällön tarkkuudesta tai jopa hyväksyttävyydestä.

NLG-järjestelmät riippuvat siis tällä hetkellä ihmisen todentamisesta faktoja kahdella tavalla: joko mallit ovat siemen-tekstigeneraattoreita, jotka välittömästi siirretään ihmiskäyttäjille joko todentamista tai muuta muokkausta varten; tai ihmiset ovat kalliita suodattimia parantamaan tietokantojen laatua, joita tarkoitetaan vähemmän abstraktiin ja “luovalle” mallille (joka itsessään on edelleen vaikea luottaa faktuaalisen tarkkuuden suhteen, ja joka vaatii lisää ihmisen valvontaa).

Vanha uutinen ja vääriä faktoja

Natural Language Generation (NLG) -mallit pystyvät tuottamaan vakuuttavia ja uskottavia tuloksia, koska ne ovat oppineet semanttisen arkkitehtuurin, eikä abstraktimmin sisäistäneet itse historiaa, tieteen, taloutta tai muita aiheita, joista ne voivat tarjota mielipidettä, jotka ovat tehokkaasti “matkustajina” lähdeaineistossa.

Faktojen tarkkuus, joita NLG-mallit generoivat, olettaa, että syötteenä käytetty aineisto on itsessään luotettavaa ja ajantasaisessa, mikä esittää erityisen haasteen esikäsittelyssä ja lisäksi ihmisen toteuttamassa todentamisessa – kalliin esteen, jota NLP-tutkimuksen ala on parhaillaan ratkaisemassa monilla rintamilla.

GPT-3- mittakaavan järjestelmät vaativat erityisen paljon aikaa ja rahaa koulutukseen, ja koulutuksen jälkeen ne ovat vaikeita päivittää “ydin”-tasolla. Vaikka istunto- ja käyttäjäkohtaiset paikalliset muutokset voivat lisätä toteutettujen mallien hyödyllisyyttä ja tarkkuutta, nämä hyödylliset edut ovat vaikeita, joskus mahdottomia siirtää takaisin ydinmalliin ilman, että vaaditaan täydellinen tai osittainen uudelleenkoulutus.

Tämän vuoksi on vaikea luoda koulutettuja kielen malleja, jotka voivat hyödyntää uusinta tietoa.

Koulutettu jopa ennen COVID-19:n alkamista, text-davinci-002 – GPT-3:n iterointi, jota sen luoja OpenAI pitää “kykykkäimpänä” – voi prosessoida 4000 merkkiä pyynnössä, mutta ei tiedä mitään COVID-19:stä tai Ukrainan hyökkäyksestä vuonna 2022 (nämä pyynnöt ja vastaukset ovat 5. huhtikuuta 2022). Mielenkiintoista kyllä, “tuntematon” on hyväksytty vastaus molemmissa epäonnistumistapauksissa, mutta lisäpyynnöt osoittavat helposti, että GPT-3 ei tiedä näistä tapahtumista. Lähde: https://beta.openai.com/playground

Koulutettu malli voi vain päästä “totuuksiin”, jotka se on sisäistänyt koulutuksen aikana, ja on vaikea saada tarkka ja asiaankuuluvia lainauksia oletusarvoisesti, kun yritetään saada malli vahvistamaan väitteensä. Oikea vaara saada lainauksia oletusarvoisesta GPT-3:sta (esimerkiksi) on, että se joskus tuottaa oikein lainauksia, mikä johtaa väärään luottamukseen sen kyvyssä:

Ylhäällä, kolme oikein saatuja lainauksia 2021-vuoden davinci-instruct-text GPT-3:sta. Keskellä, GPT-3 epäonnistuu siteeraamasta yhtä Einsteinin kuuluisimmista lainauksista (“Jumala ei pelaa nopaa maailmankaikkeuden kanssa”), vaikka pyyntö ei ollut salattu. Alhaalla, GPT-3 antaa skandaalisen ja kuvitteellisen lainauksen Albert Einsteinille, ilmeisesti ylijäämänä aiemmista kysymyksistä Winston Churchillistä samassa istunnossa. Lähde: Kirjoittajan oma artikkeli vuodelta 2021 https://www.width.ai/post/business-applications-for-gpt-3

GopherCite

Yrityksessään ratkaista tämä yleinen puute NLG-malleissa, Google DeepMind on ehdottanut GopherCite, 280-miljardin parametrin mallia, joka pystyy siteeraamaan tarkkaa ja oikeaa näyttöä tukeakseen generoituja vastauksiaan pyynnöissä.

Kolme esimerkkiä GopherCite:stä, joka tukee väitteitään oikeilla lainauksilla. Lähde: https://arxiv.org/pdf/2203.11147.pdf

GopherCite hyödyntää vahvistusoppimista ihmisten preferensseistä (RLHP) kouluttaakseen kyselymalleja, jotka pystyvät siteeraamaan oikeita lainauksia todisteena. Lainaukset haetaan suoraan useista asiakirjoista, jotka on hankittu hakukoneista tai erityisestä asiakirjasta, jonka käyttäjä on antanut.

GopherCiten suorituskyky mitattiin ihmisten arvioimalla mallin vastauksia, jotka havaittiin olevan “laatua” 80 %:ssa Google NaturalQuestions -tietokannassa ja 67 %:ssa ELI5 -tietokannassa.

Lainauksia valheista

Kuitenkin, kun GopherCite testattiin Oxfordin yliopiston TruthfulQA -mittarin kanssa, sen vastaukset olivat harvoin arvioitu totuudenmukaisiksi verrattuna ihmisten kokoamiin “oikeisiin” vastauksiin.

Kirjoittajat ehdottavat, että tämä johtuu siitä, että “tuetun vastauksen” käsite ei määrittele objektiivisesti itse totuutta, koska lainauslähteiden hyödyllisyys voi olla vaarantunut muilla tekijöillä, kuten mahdollisuudella, että lainauksen kirjoittaja itse “hallusinointi” (eli kirjoittaa kuvitteellisista maailmoista, tuottaa mainosmateriaalia tai muuta epäaidosti aineistoa).

GopherCite -tapauksia, joissa uskottavuus ei välttämättä vastaa “totuutta”.

Tehokkaasti on tarpeen erottaa “tuettu” ja “totuus” tällaisissa tapauksissa. Ihmiskulttuuri on tällä hetkellä paljon edellä koneoppimista metodologien ja kehysjärjestelmien kehittämisessä, joilla voidaan saada objektiivisia totuuden määritelmiä, ja vaikka siinä, alkuperäinen “tärkeä” totuus näyttää olevan kiistanalainen ja marginaalinen kieltäminen.

Ongelma on rekursiivinen NLG-arkkitehtuureissa, jotka pyrkivät kehittämään määrättyjä “vahvistavia” mekanismeja: ihmisten johtama konsensus on painettu palvelukseen totuuden mittarina ulkoistetuilla, AMT -tyylisillä malleilla, joissa ihmisten arvioitsijat (ja muut ihmiset, jotka välittävät riitoja heidän välillään) ovat itsessään osittaisia ja puolueellisia.

Esimerkiksi alku-GopherCite-kokeet käyttävät “super-arvioijaa” valitsemaan parhaat ihmiskokeilijat arvioimaan mallin tulostetta, valitsemalla vain ne arvioijat, jotka saavuttivat vähintään 85 %:n laadunvarmistusjoukon verrattuna. Lopulta 113 super-arvioijaa valittiin tehtävään.

Vertailu-sovelluksen näyttökuva, jota käytettiin GopherCite:n tulosten arvioimiseen.

Väittäen, että tämä on täydellinen kuva voittamattomasta fraktaalipursuista: laadunvarmistusjoukko, jota käytetään arvioijoiden arviointiin, on itsessään toinen “ihmisten määrittelemä” totuuden mittari, kuten Oxfordin TruthfulQA-joukko, jossa GopherCite on havaittu puutteelliseksi.

Tuetun ja “todistetun” sisällön suhteen NLG-järjestelmät voivat toivoa syntetisoida vain ihmisten epävarmuutta ja monimuotoisuutta koulutusaineistosta, joka on itsessään huonosti määritelty ja ratkaisematon ongelma. Meillä on luontainen taipumus siteerata lähteitä, jotka tukevat näkemyksiämme, ja puhua asiantuntevasti ja vakuuttavasti tapauksissa, joissa lähdemateriaali voi olla vanhentunutta, täysin epätarkkaa tai muulla tavoin vääristeltyä; ja taipumus levittää nämä näkemykset suoraan luontoon, mittakaavassa ja tehokkuudessa, jota ei ole koskaan aiemmin nähty, suoraan tietojen keräämisen kehyksiin, jotka ravitsevat uusia NLG-kehyksiä.

Siksi vaara, joka liittyy NLG-järjestelmien kehittämiseen, joissa käytetään lainauksia, näyttää olevan sidottu lähdeaineiston ennustamattomaan luonteeseen. Jokainen mekanismi (kuten suoran lainauksen ja lainausmerkkien käyttö), joka lisää käyttäjien luottamusta NLG-tuloksiin, on tämänhetkisessä tilassa vaarallista, mutta ei välttämättä totuudenmukaista.

Tällaiset tekniikat ovat todennäköisesti hyödyllisiä, kun NLP lopulta luo Orwellin Nineteen Eighty-Four -tyyppiset “kaleidoskoopit”; mutta ne edustavat vaarallista tavoitetta objektiiviselle asiakirjojen analyysille, AI-johtamiselle journalistiikassa ja muilla mahdollisilla “tosi”-sovelluksilla koneellisessa tiivistämisessä ja ohjatussa tai spontaanissa tekstigeneraatiossa.

Julkaistu ensimmäisen kerran 5. huhtikuuta 2022. Päivitetty 3:29 ET korjataksesi termin.