NLP uitdagen voor misinformed vragen

Sommige vragen zijn onbeantwoordbaar omdat ze onjuiste informatie bevatten – veronderstellingen die de persoon die de vraag hoort, moet filteren en afwijzen. Dit gaat ervan uit dat de luisteraar voldoende juiste informatie heeft om de vraag te betwisten, in plaats van de vraag zelf te gebruiken als bron van (onjuiste) informatie.

Het is een uitdaging voor Natural Language Processing (NLP)-systemen zoals GPT-3, die de neiging hebben om informatie te “hallucineren” om het gesprek gaande te houden.

Op dit moment zal het vragen van GPT-3 “Wanneer heeft Marie Curie uranium uitgevonden?” waarschijnlijk het antwoord opleveren “Marie Curie heeft uranium uitgevonden in 1898”.

Bron: https://beta.openai.com/playground (Da Vinci instruct beta).

In feite is uranium ontdekt in 1789 door de Duitse chemicus Martin Heinrich Klaproth, terwijl de ontdekking van de Curies in 1898 de isolatie van radium was.

Het probleem van NLP-systemen die onjuiste veronderstellingen negeren, is dit jaar in verschillende publiciteitsuitbarstingen aan het licht gekomen, waaronder de manier waarop Google’s AI-geassisteerde zoekresultaten onjuiste informatie in de vraag “Wanneer heeft Neil Armstrong voet op Mars gezet?” negeren – een fout die nog steeds zichtbaar is op het moment van schrijven van dit artikel, en eveneens van toepassing is op Toy Story‘s Buzz Lightyear, die blijkbaar op de Maan is geland op 21 juli 1969.

Tom Hanks, een andere Toy Story-alumnus, wordt door Google ook gecrediteerd met het landen op de Maan in 1970, ondanks het feit dat zijn Apollo 13-personage, astronaut Jim Lovell, het meest beroemd is om niet dit te hebben bereikt.

Het aanpakken van veronderstellingproblemen in NLP-uitwisselingen

Nu onderzoeken Google Research, samen met onderzoekers van de Johns Hopkins University en de Brown University, nieuwe machine learning-methoden waarmee NLP-systemen uiteindelijk misinformed vragen kunnen uitdagen op dezelfde manier als het essentieel is voor menselijke leraren om dit te doen tijdens gesprekken met leerlingen.

Het recente artikel Welke taalkundige heeft de lichtbron uitgevonden? Veronderstellingverificatie voor vraagbeantwoording schetst een geconcerteerde inspanning om een nieuw systeem te ontwikkelen om veronderstellingen te identificeren en hun waarheid te controleren voordat de uitwisseling wordt voortgezet.

Het nieuwe algoritme verwerkt vragen effectief voordat het antwoord teruggeeft, waarbij de ‘authenticatie’ van de vraag in een driestappensproces wordt gebroken.

Does not compute! Links, het ‘roadblock’ dat optreedt zelfs wanneer een geavanceerd NLP-systeem heeft kunnen identificeren dat de vraag geen zin heeft. Rechts, een uiteenzetting van een voorgesteld algoritme dat probeert het bronprobleem te verhelpen. Bron: https://arxiv.org/pdf/2101.00391.pdf

Hoewel het een eenvoudige verificatieroutine lijkt die vanaf het begin in kennisystemen had moeten worden opgenomen, leren de meeste NLP-gebaseerde trainingsroutines informatie met een ongepaste mate van vertrouwen voor de brondata, inclusief discours (zoals nepnieuws) dat mogelijk op eerder ‘betrouwbare’ kanalen is gepubliceerd.

Een belangrijk probleem is om door consensus een betrouwbare bron van feiten te identificeren in een klimaat waarin de verspreiding van onjuiste ‘nieuws’ via sociale media automatisch autoriteit verleent onder de logica van machine learning-generalisatie. Deze heeft de neiging om de hoeveelheid of herhaling van gegevens te gebruiken als een proxy voor nauwkeurigheid, tenminste totdat het fenomeen van nepnieuws een kritisch gebied van interesse werd in het veld in de afgelopen jaren.

Het bepalen van de beste aanpak voor onbeantwoordbare vragen

Om een geschikte aanpak te bepalen voor het oplossen van een vraag die onjuiste informatie bevat, hebben de onderzoekers 100 dergelijke vragen door vier verschillende Q&A-modellen laten lopen en hebben ze menselijke deelnemers gevraagd om de beste of minst problematische oplossing te kiezen die de modellen hebben gegenereerd.

De vier mogelijke architectonische resultaten van de ‘slechte’ vraag waren: ‘Onbeantwoordbaar’ – waar een gesloten boek Q&A-systeem de vraag effectief afsluit zonder verdere uitleg; ‘Veronderstellingmislukking-gebaseerde verklaring’ – waar het systeem de onjuiste veronderstelling niet verifieert, effectief een ‘onbeantwoord’ antwoord, met een toegevoegde verklaring; ‘Extractieve verklaring’ – waar het systeem een topisch verwant Wikipedia-citaat ophaalt en toevoegt aan de inleidende ‘Deze vraag is onbeantwoordbaar omdat…’; en ‘Open domein herschrijven’ – waar een concurrerend systeem additionele bronnen van Wikipedia opzoekt.

Dit voorbeeld van vier mogelijke antwoorden op een ogenschijnlijk ‘onbeantwoordbare’ vraag illustreert de complexiteit van het proberen van een concurrerende domein-gebaseerde oplossing voor het probleem.

Over de loop van de tests gaven de vijf deelnemers (geworven via een intern Google-crowdsourcingplatform) de voorkeur aan de veronderstelling-gebaseerde antwoorden, wat de onderzoekers ertoe bracht een nieuw kader te ontwikkelen om vragen te decomponeren en te verifiëren.

In het nieuwe systeem worden linguïstische triggers verkregen uit de vraag door een regelgebaseerde generator die de zin deconstrueert in vermeende feiten. Als meerdere veronderstellingen uit de vraag worden afgeleid, wordt elke veronderstelling onderzocht en zal deze bijdragen aan het eindantwoord als het veronderstellingen uit de oorspronkelijke vraag adresseert.

Gegevensverzamelingen

De veronderstellingen die in het initiële stadium werden gegenereerd, werden handmatig gewijzigd om een verificatiegegevensverzameling te creëren met ‘gouden’ veronderstellingen. Elke veronderstelling die uit de vertakking van de vraag ontstond, maar die niet in de oorspronkelijke vragen aanwezig was, werd verwijderd.

Twee van de auteurs van het artikel hebben vervolgens handmatig 462 veronderstellingen geannoteerd in termen van ja/nee verifiëring, op basis van een relevante Wikipedia-pagina die aan elke vraag is gekoppeld. Gevallen van meningsverschillen werden opgelost in een post-facto discussie voordat ze aan de gegevensverzameling werden toegevoegd.

De onderzoekers gebruikten zero-shot NLI, een premise/hypothese classificatietaken die de deconstructie van Wikipedia-artikelen verwant aan de vragen vereiste. Aangezien dit proces meer paren oplevert dan de vraag kan impliceren of het model ondersteunt, werden de gefilterde resultaten vervolgens geaggregeerd en gelabeld.

Resultaten en responsformulering

De meest effectieve resultaten werden behaald met de meest arbeidsintensieve oplossing: een fijner afgestemde, regelgebaseerde/NLI-hybride gegenereerd uit ALBERT QNLI met Wiki-zinnen en veronderstellingen.

De prestaties van de verificatiemodellen, waar ‘Wiki-zinnen’ zinnen gebruikt die zijn verkregen uit vraag-gerelateerde Wikipedia-artikelen, en ‘Wiki-veronderstellingen’ gegenereerde veronderstellingen uit die zinnen.

Met behulp van deze formulering ontwikkelden de onderzoekers een templatesysteem waarin een negatieve feit uit Wikipedia werd toegevoegd aan ‘Deze vraag is onbeantwoordbaar omdat…’ en soortgelijke zinnen. Hoewel het geen ideale oplossing is, suggereren de auteurs dat antwoorden op basis van onverifieerbaarheid waarschijnlijk het aantal valse negatieven zullen verminderen.

Het systeem werd uiteindelijk geïmplementeerd in een Extended Transformer Construction (ETC)-model.

Implicaties

Afhankelijk van de uiteindelijke prestaties in de echte wereld, kan worden betoogd dat deze aanpak mogelijk leidt tot de vervanging van ‘onverifieerbaar’ voor ‘onbeantwoordbaar’, in gevallen waarin het ondersteunende onderzoeksysteem geen nuttige correctie voor een vraag kan beoordelen. Effectief lijkt het de infrastructuur te leggen voor toekomstige en betere verificatiesystemen.

De onderzoekers geven al toe dat de kosten van token-gebaseerde API-aanvragen een beperkende factor zijn bij het formuleren van langere antwoorden die dit systeem zal genereren, en het moet worden aangenomen dat de extra overhead van ‘live’ onderzoek naar een vraag waarschijnlijk latentie zal toevoegen, zelfs aan grote systemen zoals GPT-3, aangezien de responsiviteit van dergelijke systemen tot nu toe afhankelijk was van de gegeneraliseerde incorporatie van kennis tijdens de training, in plaats van uitgebreide, netwerkgebaseerde verificatieroutines.

Bovendien merken de onderzoekers op dat het systeem momenteel beperkingen heeft met betrekking tot het parseren van semantische aspecten van de tekst:

Bijvoorbeeld, wie denkt Pip dat Estella’s moeder is heeft een ingebed possessief onder een non-factieve werkwoord geloven , maar onze generator zou toch ‘ Estella heeft ‘ moeder ’ genereren.

Desondanks voorzien de onderzoekers nieuwe en flexibelere vraagbeantwoordingssystemen die op basis van dit onderzoek zullen worden ontwikkeld:

In de toekomst plannen we om dit werk voort te zetten door QA-systemen voor te stellen die robuuster en coöperatiever zijn. Bijvoorbeeld, verschillende soorten veronderstellingmislukkingen kunnen worden aangepakt met meer vloeibare antwoordstrategieën – bijvoorbeeld, schending van unieke veronderstellingen kan beter worden afgehandeld door alle mogelijke antwoorden te geven, in plaats van te verklaren dat de unieke veronderstelling werd geschonden.