De gevaren van het gebruik van citaten om NLG-inhoud te authenticeren

Advies Natural Language Generation-modellen zoals GPT-3 zijn dat wel vatbaar voor 'hallucineren' materiaal dat zij presenteren in de context van feitelijke informatie. In een tijdperk dat zich buitengewoon bezighoudt met de groei van op tekst gebaseerd nepnieuws, vormen deze 'eager to please' fantasieën een existentiële hindernis voor de ontwikkeling van geautomatiseerde schrijf- en samenvattingssystemen, en voor de toekomst van AI-gestuurde journalistiek, naast verschillende andere subsectoren van natuurlijke taalverwerking (NLP).

Het centrale probleem is dat taalmodellen in GPT-stijl belangrijke kenmerken en klassen ontlenen zeer grote corpora van trainingsteksten, en leer deze functies handig en authentiek te gebruiken als bouwstenen van taal, ongeacht de nauwkeurigheid van de gegenereerde inhoud, of zelfs de aannemelijkheid.

NLG-systemen vertrouwen daarom momenteel op menselijke verificatie van feiten in een van de volgende twee benaderingen: dat de modellen ofwel worden gebruikt als zaadtekstgeneratoren die onmiddellijk worden doorgegeven aan menselijke gebruikers, ofwel voor verificatie of een andere vorm van bewerking of aanpassing; of dat mensen worden gebruikt als dure filters om de kwaliteit van datasets te verbeteren die bedoeld zijn om minder abstracte en 'creatieve' modellen te informeren (die op zichzelf onvermijdelijk nog steeds moeilijk te vertrouwen zijn in termen van feitelijke nauwkeurigheid, en die verdere lagen van menselijk toezicht vereisen) .

Oud nieuws en valse feiten

Natural Language Generation (NLG)-modellen zijn in staat om overtuigende en plausibele output te produceren omdat ze semantische architectuur hebben geleerd, in plaats van meer abstract de werkelijke geschiedenis, wetenschap, economie of enig ander onderwerp te assimileren waarover ze mogelijk een mening moeten geven. als 'passagiers' effectief verstrikt raken in de brondata.

De feitelijke nauwkeurigheid van de informatie die NLG-modellen genereren, veronderstelt dat de input waarop ze zijn getraind op zichzelf betrouwbaar en up-to-date is, wat een buitengewone last vormt in termen van voorverwerking en verdere menselijke verificatie – een kostbare struikelblok dat de NLP-onderzoekssector momenteel op vele fronten aanpakt.

Systemen op GPT-3-schaal kosten buitengewoon veel tijd en geld om te trainen en, eenmaal getraind, zijn ze moeilijk te updaten op wat als het 'kernelniveau' zou kunnen worden beschouwd. Hoewel op sessies en gebruikers gebaseerde lokale aanpassingen het nut en de nauwkeurigheid van de geïmplementeerde modellen kunnen vergroten, zijn deze nuttige voordelen moeilijk, soms zelfs onmogelijk, terug te brengen naar het kernmodel zonder volledige of gedeeltelijke omscholing.

Om deze reden is het moeilijk om getrainde taalmodellen te maken die gebruik kunnen maken van de nieuwste informatie.

Getraind zelfs vóór de komst van COVID, kan text-davinci-002 - de iteratie van GPT-3 die door de maker OpenAI als 'meest capabel' wordt beschouwd - 4000 tokens per verzoek verwerken, maar weet niets van COVID-19 of de Oekraïense inval in 2022 (deze prompts en antwoorden zijn van 5 april 2022). Interessant is dat 'onbekend' eigenlijk een acceptabel antwoord is in beide gevallen van mislukking, maar verdere prompts stellen gemakkelijk vast dat GPT-3 niet op de hoogte is van deze gebeurtenissen. Bron: https://beta.openai.com/playground

Een getraind model heeft alleen toegang tot 'waarheden' die het tijdens de training heeft geïnternaliseerd, en het is moeilijk om een ​​nauwkeurige te krijgen en standaard relevante quote, wanneer u probeert het model zijn beweringen te laten verifiëren. Het echte gevaar van het verkrijgen van offertes van standaard GPT-3 (bijvoorbeeld) is dat het soms correcte offertes produceert, wat leidt tot een vals vertrouwen in dit facet van zijn mogelijkheden:

Top, drie nauwkeurige citaten verkregen door davinci-instruct-text GPT-2021 uit het 3-tijdperk. Center, slaagt GPT-3 er niet in om een ​​van de beroemdste citaten van Einstein ("God dobbelt niet met het universum") te citeren, ondanks een niet-cryptische prompt. Bottom, GPT-3 kent een schandalig en fictief citaat toe aan Albert Einstein, blijkbaar een overloop van eerdere vragen over Winston Churchill in dezelfde sessie.  Bron: eigen artikel uit 2021 van de auteur op https://www.width.ai/post/business-applications-for-gpt-3

GopherCite

In de hoop deze algemene tekortkoming in NLG-modellen aan te pakken, heeft Google's DeepMind onlangs voorgesteld GopherCite, een model met 280 miljard parameters dat in staat is om specifiek en nauwkeurig bewijs te citeren ter ondersteuning van de gegenereerde reacties op prompts.

Drie voorbeelden van GopherCite die zijn beweringen ondersteunt met echte citaten. Bron: https://arxiv.org/pdf/2203.11147.pdf

GopherCite maakt gebruik van Reinforcement Learning from Human Preferences (RLHP) om querymodellen te trainen die in staat zijn om echte citaten aan te halen als ondersteunend bewijs. De citaten zijn live afkomstig uit meerdere documentbronnen die zijn verkregen via zoekmachines, of anders uit een specifiek document dat door de gebruiker is aangeleverd.

De prestaties van GopherCite werden gemeten door menselijke evaluatie van modelreacties, die 80% van de tijd op de Google-pagina's als 'van hoge kwaliteit' werden bevonden. Natuurlijke vragen dataset, en 67% van de tijd op de ELI5 gegevensset.

Onwaarheden citeren

Echter, wanneer getest tegen Oxford University's waarheidsgetrouwe QA benchmark, werden de antwoorden van GopherCite zelden als waarheidsgetrouw beoordeeld in vergelijking met de door mensen samengestelde 'juiste' antwoorden.

De auteurs suggereren dat dit komt omdat het concept van 'ondersteunde antwoorden' op geen enkele objectieve manier helpt om de waarheid op zich te definiëren, aangezien het nut van broncitaten kan worden aangetast door andere factoren, zoals de mogelijkheid dat de auteur van het citaat zelf 'hallucineert' (dwz schrijven over fictieve werelden, reclame-inhoud produceren of op een andere manier niet-authentiek materiaal fantaseren.

GopherCiteer gevallen waarin plausibiliteit niet noodzakelijk gelijk staat aan 'waarheid'.

In dergelijke gevallen wordt het feitelijk noodzakelijk onderscheid te maken tussen 'ondersteund' en 'waar'. De menselijke cultuur loopt momenteel ver vooruit op machinaal leren als het gaat om het gebruik van methodologieën en raamwerken die zijn ontworpen om objectieve definities van de waarheid te verkrijgen, en zelfs daar lijkt de oorspronkelijke staat van ‘belangrijke’ waarheid te zijn stelling en marginale ontkenning.

Het probleem is recursief in NLG-architecturen die proberen definitieve 'ondersteunende' mechanismen te bedenken: door mensen geleide consensus wordt in dienst gesteld als maatstaf voor de waarheid door middel van uitbesteding, AMT-stijl modellen waar de menselijke beoordelaars (en die andere mensen die geschillen tussen hen bemiddelen) zijn op zichzelf partijdig en bevooroordeeld.

De eerste GopherCite-experimenten gebruiken bijvoorbeeld een 'superbeoordelaar'-model om de beste menselijke proefpersonen te kiezen om de output van het model te evalueren, waarbij alleen die beoordelaars worden geselecteerd die ten minste 85% scoorden in vergelijking met een kwaliteitsborgingsset. Uiteindelijk werden 113 superbeoordelaars geselecteerd voor de taak.

Screenshot van de vergelijkingsapp die wordt gebruikt om de uitvoer van GopherCite te evalueren.

Ongetwijfeld is dit een perfect beeld van een niet te winnen fractal-achtervolging: de kwaliteitsborgingsset die wordt gebruikt om de beoordelaars te beoordelen, is op zichzelf een andere 'door mensen gedefinieerde' maatstaf van waarheid, net als de Oxford TruthfulQA-set waartegen GopherCite te licht is bevonden.

In termen van ondersteunde en 'geverifieerde' inhoud is het enige dat NLG-systemen kunnen hopen te synthetiseren uit training op menselijke gegevens, menselijke ongelijkheid en diversiteit, op zichzelf een slecht gesteld en onopgelost probleem. We hebben een aangeboren neiging om bronnen te citeren die onze standpunten ondersteunen, en om gezaghebbend en met overtuiging te spreken in gevallen waarin onze broninformatie verouderd of volledig onnauwkeurig is of op een andere manier opzettelijk verkeerd wordt voorgesteld; en een neiging om deze gezichtspunten rechtstreeks in het wild te verspreiden, op een schaal en doeltreffendheid die onovertroffen is in de menselijke geschiedenis, rechtstreeks op het pad van de kennisschrapende kaders die nieuwe NLG-kaders voeden.

Het gevaar dat de ontwikkeling van citatie-ondersteunde NLG-systemen met zich meebrengt, lijkt dan ook samen te hangen met het onvoorspelbare karakter van het bronnenmateriaal. Elk mechanisme (zoals directe citatie en aanhalingstekens) dat het vertrouwen van de gebruiker in NLG-uitvoer vergroot, draagt ​​bij de huidige stand van de techniek gevaarlijk bij aan de authenticiteit, maar niet aan de waarheidsgetrouwheid van de uitvoer.

Dergelijke technieken zullen waarschijnlijk nuttig genoeg zijn wanneer NLP eindelijk de fictieschrijvende 'caleidoscopen' van Orwell's Negentienvierentachtig; maar ze vertegenwoordigen een gevaarlijke zoektocht naar objectieve documentanalyse, AI-gecentreerde journalistiek en andere mogelijke 'non-fictie'-toepassingen van automatische samenvatting en spontane of geleide tekstgeneratie.

Voor het eerst gepubliceerd op 5 april 2022. Bijgewerkt om 3:29 uur EET om de term te corrigeren.