Farorna med att använda citat för att autentisera NLG-innehåll

Åsikt Naturligt språkgenereringsmodeller som GPT-3 är benägna att “hallucinera” material som de presenterar i sammanhanget med faktisk information. I en era som är ovanligt angelägen om tillväxten av textbaserade falska nyheter, representerar dessa “angelägna om att behaga” flyktiga fantasier en existentiell hinder för utvecklingen av automatiserade skriv- och sammanfattningssystem, och för framtiden för AI-driven journalistik, bland andra undersektorer av naturlig språkbehandling (NLP).

Det centrala problemet är att GPT-liknande språkmodeller härleder nyckelfunktioner och klasser från mycket stora korpusar av tränings-texter, och lär sig att använda dessa funktioner som byggstenar för språk på ett skickligt och äkta sätt, oavsett den genererade innehållets noggrannhet, eller ens acceptabilitet.

NLG-system är därför beroende av mänsklig verifikation av fakta på ett av två sätt: antingen används modellerna som seed-textgenererare som omedelbart skickas till mänskliga användare, antingen för verifikation eller någon annan form av redigering eller anpassning; eller så används människor som dyra filter för att förbättra kvaliteten på datamängder som är avsedda att informera mindre abstrakta och “kreativa” modeller (som i sig själva är svåra att lita på när det gäller faktisk noggrannhet, och som kommer att kräva ytterligare lager av mänsklig tillsyn).

Gammal nyhet och falska fakta

Naturligt språkgenerering (NLG) modeller kan producera övertygande och trovärdigt utmatning eftersom de har lärt sig semantisk arkitektur, snarare än att mer abstrakt assimilera den faktiska historien, vetenskapen, ekonomin eller något annat ämne som de kan behöva uttrycka sig om, som effektivt är “passagerare” i källdata.

Faktamässig noggrannhet i den information som NLG-modeller genererar förutsätter att indata som de tränas på i sig är tillförlitlig och uppdaterad, vilket presenterar en extraordinär börda i termer av förbehandling och ytterligare mänsklig verifikation – en kostsam hinder som NLP-forskningssektorn för närvarande hanterar på många fronter.

GPT-3-skala system tar en extraordinär mängd tid och pengar att träna, och när de väl är tränade är de svåra att uppdatera på vad som kan betraktas som “kärnnivå”. Även om sessionbaserade och användarbaserade lokala modifieringar kan öka nyttan och noggrannheten hos de implementerade modellerna, är dessa användbara fördelar svåra att återställa till kärnmodellen utan att kräva fullständig eller partiell omträning.

Därför är det svårt att skapa tränade språkmodeller som kan utnyttja den senaste informationen.

Tränad före till och med COVID-19, text-davinci-002 – iterationen av GPT-3 som anses vara ” mest kapabel ” av dess skapare OpenAI – kan bearbeta 4000 token per begäran, men vet ingenting om COVID-19 eller den ukrainska invasionen 2022 (dessa prompter och svar är från den 5 april 2022). Intressant nog är “okänt” faktiskt ett acceptabelt svar i båda fall, men ytterligare prompter etablerar lätt att GPT-3 inte vet någoting om dessa händelser. Källa: https://beta.openai.com/playground

En tränad modell kan endast komma åt “sanningar” som den internaliserade vid tränningstiden, och det är svårt att få ett korrekt och relevant citat som standard, när man försöker få modellen att verifiera sina påståenden. Den verkliga faran med att erhålla citat från standard-GPT-3 (till exempel) är att den ibland producerar korrekta citat, vilket leder till en falsk tillförsikt i denna aspekt av dess förmågor:

Överst, tre korrekta citat erhållna av 2021 års davinci-instruct-text GPT-3. Mitten, GPT-3 misslyckas med att citera ett av Einsteins mest kända citat (“Gud spelar inte tärning med universum”), trots en icke-kryptisk prompt. Botten, GPT-3 tilldelar ett skandalöst och fiktivt citat till Albert Einstein, tydligen ett överflöde från tidigare frågor om Winston Churchill i samma session. Källa: Författarens egen artikel från 2021 på https://www.width.ai/post/business-applications-for-gpt-3

GopherCite

I hopp om att hantera denna allmänna brist i NLG-modeller, har Googles DeepMind nyligen föreslagit GopherCite, en 280-miljarders parametermodell som kan citera specifik och korrekt bevis för att stödja sina genererade svar på prompter.

Tre exempel på GopherCite som stödjer sina påståenden med riktiga citat. Källa: https://arxiv.org/pdf/2203.11147.pdf

GopherCite använder förstärkt inlärning från mänskliga preferenser (RLHP) för att träna frågemodeller som kan citera riktiga citat som bevis. Citaten hämtas live från flera dokumentkällor som erhållits från sökmotorer eller från ett specifikt dokument som tillhandahålls av användaren.

GopherCites prestation mättes genom mänsklig utvärdering av modellens svar, som visade sig vara av “hög kvalitet” 80% av tiden på Googles NaturalQuestions datamängd, och 67% av tiden på ELI5 datamängden.

Citera falska påståenden

Men när den testades mot Oxford Universitets TruthfulQA benchmark, var GopherCites svar sällan bedömda som sanna, i jämförelse med de mänskligt kuraterade “korrekta” svaren.

Författarna föreslår att detta beror på att begreppet “stödda svar” inte på något objektivt sätt hjälper till att definiera sanning i sig, eftersom användbarheten av källcitat kan komprometteras av andra faktorer, såsom möjligheten att författaren till citatet själv “hallucinerar” (dvs. skriver om fiktiva världar, producerar reklammaterial eller på annat sätt fantastiserar inautentiskt material.

GopherCite fall där trovärdighet inte nödvändigtvis motsvarar “sanning”.

Effektivt sett blir det nödvändigt att skilja mellan “stödd” och “sann” i sådana fall. Mänsklig kultur är för närvarande långt före maskinlärning när det gäller användningen av metoder och ramverk som är utformade för att erhålla objektiva definitioner av sanning, och även där verkar den inhemska tillståndet för “viktig” sanning vara tvist och marginal nekande.

Problemet är rekursivt i NLG-arkitekturer som syftar till att utveckla definitiva “stödjande” mekanismer: mänsklig konsensus trycks in som en benchmark för sanning genom outsourcade, AMT-liknande modeller där de mänskliga utvärderarna (och de andra mänskliga som medlar tvister mellan dem) är i sig själva partiska och fördomsfulla.

Till exempel använder de initiala GopherCite-experimenten en “super rater”-modell för att välja de bästa mänskliga ämnena för att utvärdera modellens utdata, och väljer endast de rättsliga som fick minst 85% i jämförelse med en kvalitetsgarantiuppsättning. Till slut valdes 113 super-rättsliga för uppgiften.

Skärmdump av jämförelseappen som används för att utvärdera GopherCites utdata.

Man kan hävda att detta är en perfekt bild av en oförsonlig fraktaljakt: kvalitetsgarantiuppsättningen som används för att betygsätta rättsliga är i sig ett annat “mänskligt definierat” mått på sanning, liksom Oxford TruthfulQA-uppsättningen som GopherCite har visat sig vara otillräcklig mot.

I termer av stödd och “autentiserad” innehåll, allt som NLG-system kan hoppas på att syntetisera från träningsdata på mänskliga data är mänsklig oenighet och mångfald, i sig ett illa ställt och olöst problem. Vi har en medfödd tendens att citera källor som stödjer våra åsikter, och att tala auktoritativt och med övertygelse i fall där vår källinformation kan vara föråldrad, helt inkorrekt eller på annat sätt medvetet missvisande på andra sätt; och en disposition att sprida dessa åsikter direkt ut i vildmarken, i en skala och effektivitet som inte har setts tidigare i mänsklighetens historia, rakt in i banan för de kunskapsskrapande ramverken som matar nya NLG-ramverk.

Därför är faran som är förknippad med utvecklingen av citat-stödda NLG-system bunden till den oförutsägbara naturen hos källmaterialet. Alla mekanismer (såsom direkt citat och citat) som ökar användarconfidence i NLG-utdata är, i den nuvarande tillståndet för konsten, farligt tillagt till autenticiteten, men inte veraciteten hos utdata.

Sådana tekniker är troligen tillräckligt användbara när NLP slutligen återskapar de fiktiva skriv-“kalejdoskoper” av Orwells 1984; men de representerar en farlig jakt för objektiv dokumentanalys, AI-centrerad journalistik och andra möjliga “icke-fiktiva” tillämpningar av maskinsummering och spontan eller styrd textgenerering.

Publicerad första gången den 5 april 2022. Uppdaterad kl. 15:29 EET för att korrigera term.