Het voorkomen van ‘hallucinaties’ in GPT-3 en andere complexe taalmodellen

Een kenmerkende eigenschap van ‘nepnieuws’ is dat het vaak valse informatie presenteert in een context van feitelijk correcte informatie, met de onware gegevens die een soort van literaire osmose ondergaan – een verontrustende demonstratie van de kracht van halve waarheden.

Geavanceerde generatieve natuurlijke taalverwerking (NLP) modellen zoals GPT-3 hebben ook de neiging om dit soort misleidende gegevens te ‘hallucineren’. Dit komt deels doordat taalmodellen de mogelijkheid moeten hebben om lange en vaak labyrinthine teksten te herschrijven en samen te vatten, zonder architectonische beperkingen die in staat zijn om gebeurtenissen en feiten te definiëren, te omvatten en ‘af te sluiten’ zodat ze beschermd zijn tegen het proces van semantische reconstructie.

Dus de feiten zijn niet heilig voor een NLP-model; ze kunnen gemakkelijk worden behandeld in de context van ‘semantische Lego-blokken’, vooral waar complexe grammatica of arcane bronmateriaal het moeilijk maakt om discrete entiteiten van taalstructuur te scheiden.

Een observatie van de manier waarop moeilijk geformuleerd bronmateriaal complexe taalmodellen zoals GPT-3 kan verwarren. Bron: Paraphrase Generation Using Deep Reinforcement Learning

Dit probleem overspoelt van tekstgebaseerde machine learning naar computer vision onderzoek, vooral in sectoren die semantische discriminatie gebruiken om objecten te identificeren of te beschrijven.

Hallucinatie en onnauwkeurige ‘cosmetische’ herinterpretatie beïnvloedt ook computer vision onderzoek.

In het geval van GPT-3 kan het model gefrustreerd raken door herhaalde vragen over een onderwerp dat het al heeft behandeld zo goed als het kan. In het beste geval zal het toegeven dat het verslagen is:

Een recent experiment van mij met de basis Davinci-engine in GPT-3. Het model krijgt het antwoord goed op de eerste poging, maar is geïrriteerd door het opnieuw stellen van de vraag. Aangezien het een kortetermijngeheugen van het vorige antwoord heeft en de herhaalde vraag behandelt als een afwijzing van dat antwoord, geeft het het op. Bron: https://www.scalr.ai/post/business-applications-for-gpt-3

DaVinci en DaVinci Instruct (Beta) doen het beter in dit opzicht dan andere GPT-3-modellen die via de API beschikbaar zijn. Hier geeft het Curie-model het verkeerde antwoord, terwijl het Babbage-model met vertrouwen uitbreidt over een even verkeerd antwoord:

Dingen die Einstein nooit heeft gezegd

Wanneer we de GPT-3 DaVinci Instruct-engine (die momenteel het meest capabel lijkt te zijn) vragen naar Einsteins beroemde citaat ‘God speelt geen spel met het universum’, faalt DaVinci Instruct om het citaat te vinden en verzint een niet-citaat, waarna het drie andere redelijk geloofwaardige en volledig niet-bestaande citaten (van Einstein of iemand anders) hallucineert in reactie op soortgelijke vragen:

GPT-3 produceert vier geloofwaardige citaten van Einstein, waarvan er geen enkele enig resultaat oplevert in een volledige internetzoekopdracht, hoewel sommige andere (echte) citaten van Einstein over het onderwerp ‘verbeelding’ activeren.

Als GPT-3 consistent verkeerd was in het citeren, zou het gemakkelijker zijn om deze hallucinaties programmatisch te negeren. Echter, hoe meer een citaat verspreid en beroemd is, hoe waarschijnlijker het is dat GPT-3 het citaat correct krijgt:

GPT-3 lijkt correcte citaten te vinden wanneer ze goed vertegenwoordigd zijn in de bijdragende gegevens.

Een tweede probleem kan ontstaan wanneer GPT-3’s sessiegeschiedenisgegevens in een nieuwe vraag terechtkomen:

Einstein zou waarschijnlijk geschandaliseerd zijn om dit citaat aan hem toe te schrijven. Het citaat lijkt een zinloze hallucinatie van een echt Winston Churchill-aphorisme te zijn. De vorige vraag in de GPT-3-sessie had betrekking op Churchill (niet Einstein), en GPT-3 lijkt per ongeluk dit sessietoken te hebben gebruikt om het antwoord te informeren.

Hallucinatie economisch aanpakken

Hallucinatie is een opvallende hindernis voor de adoptie van geavanceerde NLP-modellen als onderzoeksinstrumenten – des te meer omdat de output van dergelijke engines sterk geabstraheerd is van de bronmateriaal die het vormde, zodat het vaststellen van de waarheid van citaten en feiten problematisch wordt.

Daarom is een van de huidige algemene onderzoeksuitdagingen in NLP om een middel te vinden om gehallucineerde teksten te identificeren zonder de noodzaak om geheel nieuwe NLP-modellen te creëren die feiten definiëren, authenticeren en als discrete entiteiten incorporeren (een langetermijndoel in een aantal bredere computeronderzoekssectoren).

Identificeren en genereren van gehallucineerde inhoud

Een nieuwe samenwerking tussen Carnegie Mellon University en Facebook AI Research biedt een novate aanpak voor het hallucinatieprobleem, door een methode te formuleren om gehallucineerde output te identificeren en synthetische gehallucineerde teksten te gebruiken om een dataset te creëren die kan worden gebruikt als basis voor toekomstige filters en mechanismen die uiteindelijk een kernonderdeel van NLP-architecturen kunnen worden.

Bron: https://arxiv.org/pdf/2011.02593.pdf

In de bovenstaande afbeelding is de bronmateriaal per woord gesegmenteerd, met de ‘0’-label toegewezen aan correcte woorden en de ‘1’-label toegewezen aan gehallucineerde woorden. Hieronder zien we een voorbeeld van gehallucineerde output die gerelateerd is aan de invoergegevens, maar is aangevuld met niet-authentieke gegevens.

Het systeem gebruikt een pre-getrainde denoising autoencoder die in staat is om een gehallucineerde string terug te kaarten naar de oorspronkelijke tekst waaruit de gecorrumpeerde versie werd geproduceerd (soortgelijk aan mijn voorbeelden hierboven, waar internetzoekopdrachten de herkomst van valse citaten onthulden, maar met een programatische en geautomatiseerde semantische methode). Specifiek wordt Facebook’s BART autoencoder-model gebruikt om de gecorrumpeerde zinnen te produceren.

Labeltoewijzing.

Het proces van het terugkaarten van de hallucinatie naar de bron, wat niet mogelijk is in de gebruikelijke gang van zaken in hoogwaardige NLP-modellen, stelt een algoritme in staat om gehallucineerde inhoud te identificeren.

De onderzoekers vonden dat het systeem zelfs goed generaliseert wanneer het geen toegang heeft tot referentiemateriaal dat beschikbaar was tijdens de training, wat suggereert dat het conceptuele model solide en breed reproduceerbaar is.

Overfitting aanpakken

Om overfitting te voorkomen en een breed inzetbaar architectuur te bereiken, lieten de onderzoekers tokens willekeurig vallen uit het proces en gebruikten ook parafraseren en andere ruisfuncties.

Machinetaalvertaling (MT) maakt ook deel uit van dit verduisteringsproces, aangezien het vertalen van tekst over talen waarschijnlijk de betekenis robuust zal behouden en verdere overfitting zal voorkomen. Daarom werden hallucinaties vertaald en geïdentificeerd voor het project door tweetalige sprekers in een handmatige annotatielaag.

De initiatief behaalde nieuwe beste resultaten in een aantal standaard sector tests en is de eerste die aanvaardbare resultaten behaalt met gegevens die meer dan 10 miljoen tokens overschrijden.

De code voor het project, getiteld Detecting Hallucinated Content in Conditional Neural Sequence Generation, is uitgebracht op GitHub, en stelt gebruikers in staat om hun eigen synthetische gegevens te genereren met BART uit elk corpus van tekst. Er is ook voorziening gemaakt voor de latere generatie van hallucinatiedetectiemodellen.