Förhindrande av ‘hallucination’ i GPT-3 och andra komplexa språkmodeller

En karakteristisk egenskap hos “falska nyheter” är att de ofta presenterar falsk information i en kontext av faktiskt korrekt information, med den falska datan som får uppfattad auktoritet genom en slags litterär osmos – en oroande demonstration av halvsanningars makt.

Sofistikerade generativa naturliga språkbehandlingsmodeller (NLP) som GPT-3 har också en tendens att “hallucinera” denna typ av bedräglig data. Till viss del beror detta på att språkmodeller kräver förmågan att omformulera och sammanfatta långa och ofta labyrintiska texter, utan någon arkitektonisk begränsning som kan definiera, inkapsla och “säkra” händelser och fakta så att de skyddas från semantisk rekonstruktion.

Därför är fakta inte heliga för en NLP-modell; de kan lätt behandlas i kontexten av “semantiska Lego-klossar”, särskilt där komplex grammatik eller arkaisk källmaterial gör det svårt att skilja diskreta enheter från språkstruktur.

En observation av hur torterat formulerat källmaterial kan förvirra komplexa språkmodeller som GPT-3. Källa: Paraphrase Generation Using Deep Reinforcement Learning

Detta problem överför sig från textbaserad maskinlärning till datorseende-forskning, särskilt i sektorer som använder semantisk diskriminering för att identifiera eller beskriva objekt.

Hallucination och felaktig ‘kosmetisk’ tolkning påverkar också datorseende-forskning.

I fallet med GPT-3 kan modellen bli frustrerad av upprepade frågor om ett ämne som den redan har behandlat så bra som möjligt. I det bästa scenariot kommer den att medge nederlag:

Ett nyligt experiment av mig med den grundläggande Davinci-motorn i GPT-3. Modellen får rätt svar på första försöket, men är irriterad över att bli tillfrågad en andra gång. Eftersom den behåller ett kortvarigt minne av det tidigare svaret och behandlar den upprepade frågan som en avvisning av det svaret, medger den nederlag. Källa: https://www.scalr.ai/post/business-applications-for-gpt-3

DaVinci och DaVinci Instruct (Beta) fungerar bättre i detta avseende än andra GPT-3-modeller som är tillgängliga via API:et. Här ger Curie-modellen fel svar, medan Babbage-modellen utvecklar ett lika felaktigt svar med tillförsikt:

Saker som Einstein aldrig sa

När jag bad GPT-3 DaVinci Instruct-motorn (som för närvarande verkar vara den mest kapabla) om Einsteins berömda citat “Gud spelar inte tärning med universum”, misslyckades DaVinci Instruct med att hitta citatet och uppfann ett icke-citat, och gick vidare till att hallucinera tre andra relativt trovärdiga och helt icke-existerande citat (av Einstein eller någon annan) i svar på liknande frågor:

GPT-3 producerar fyra trovärdiga citat från Einstein, inget av dem ger några resultat alls i en fulltext-internetsökning, men vissa utlöser andra (verkliga) citat från Einstein om ämnet “fantasi”.

Om GPT-3 var konsekvent felaktig i citat, skulle det vara lättare att avvisa dessa hallucinationer programmeringsmässigt. Men ju mer utbrett och berömt ett citat är, desto mer sannolikt är det att GPT-3 får citatet rätt:

GPT-3 verkar hitta korrekta citat när de är väl representerade i den bidragande datan.

Ett andra problem kan uppstå när GPT-3:s sessionshistorik-data läcker in i en ny fråga:

Einstein skulle troligen bli skandaliserad över att ha detta citat tillskrivet sig. Citatet verkar vara en meningslös hallucination av ett verkligt Winston Churchill-aforism. Den föregående frågan i GPT-3-sessionen relaterade till Churchill (inte Einstein), och GPT-3 verkar ha använt denna sessions-token för att informera svaret.

Att tackla hallucination ekonomiskt

Hallucination är ett betydande hinder för antagandet av sofistikerade NLP-modeller som forskningsverktyg – desto mer som utdata från sådana motorer är högt abstraherade från källmaterialet som bildade dem, så att etablering av citat och fakta blir problematiskt.

Därför är en nuvarande allmän forskningsutmaning inom NLP att etablera ett sätt att identifiera hallucinerad text utan att behöva föreställa sig helt nya NLP-modeller som inkorporerar, definierar och autentiserar fakta som diskreta enheter (ett långsiktigt, separat mål i ett antal bredare datorforskningssektorer).

Att identifiera och generera hallucinerad innehåll

Ett nytt samarbete mellan Carnegie Mellon University och Facebook AI Research erbjuder en ny approach till hallucinationsproblemet, genom att formulera en metod för att identifiera hallucinerat utdata och använda syntetiskt hallucinerat text för att skapa en datamängd som kan användas som en baslinje för framtida filter och mekanismer som kan bli en del av NLP-arkitekturer.

Källa: https://arxiv.org/pdf/2011.02593.pdf

I ovanstående bild har källmaterialet segmenterats på ett per-ord-basis, med “0”-etiketten tilldelad korrekta ord och “1”-etiketten tilldelad hallucinerade ord. Nedan ser vi ett exempel på hallucinerat utdata som är relaterat till indatainformationen, men är utökat med icke-autentisk data.

Systemet använder en förtränad störningsautoencoder som kan mappa ett hallucinerat sträng tillbaka till den ursprungliga texten från vilken den korrupta versionen producerades (liknande mina exempel ovan, där internet-sökningar avslöjade provenansen av falska citat, men med en programmatisk och automatiserad semantisk metod). Specifikt används Facebooks BART-autoencoder-modell för att producera de korrupta meningarna.

Etikett-tilldelning.

Processen att mappa hallucinationen tillbaka till källan, som inte är möjlig i den vanliga högnivå-NLP-modellen, möjliggör en algoritmisk approach för att identifiera hallucinerat innehåll.

Forskarna fann att systemet kan generalisera väl även när det inte har tillgång till referensmaterial som var tillgängligt under utbildning, vilket tyder på att den konceptuella modellen är sund och brett reproducerbar.

Att tackla överanpassning

För att undvika överanpassning och nå en allmänt distribuerbar arkitektur, slumpmässigt droppade forskarna token från processen och använde också parafraser och andra brusfunktioner.

Maskinöversättning (MT) är också en del av denna förvrängningsprocess, eftersom översättning av text över språk troligen kommer att bevara meningen robust och förhindra överanpassning. Därför översattes hallucinationer och identifierades för projektet av tvåspråkiga talare i en manuell annoteringslager.

Initiativet uppnådde nya bästa resultat i ett antal standardsektorer, och är det första som uppnår acceptabla resultat med data som överstiger 10 miljoner token.

Koden för projektet, med titeln Att upptäcka hallucinerat innehåll i villkorlig neural sekvensgenerering, har släppts på GitHub, och tillåter användare att generera sin egen syntetiska data med BART från valfri textkorpus. Det finns också möjlighet att generera hallucinationsdetektionsmodeller.