NLP-Systeme zu misinformierten Fragen herausfordern

Einige Fragen sind unbeantwortbar, weil sie falsche Informationen enthalten – Präsuppositionen, die der Hörer filtern und ablehnen muss. Dies setzt voraus, dass der Hörer genug korrekte Informationen hat, um die Frage in Frage zu stellen, anstatt die Frage selbst als Informationsquelle zu verwenden.

Es ist eine Herausforderung für Natural Language Processing (NLP)-Systeme wie GPT-3, die eine Tendenz haben, Informationen “zu halluzinieren”, um das Gespräch aufrechtzuerhalten.

Wenn man GPT-3 fragt: “Wann hat Marie Curie Uran erfunden?”, erhält man wahrscheinlich die Antwort: “Marie Curie hat Uran 1898 erfunden”.

Quelle: https://beta.openai.com/playground (Da Vinci instruct beta).

Tatsächlich wurde Uran 1789 von dem deutschen Chemiker Martin Heinrich Klaproth entdeckt, während die Entdeckung von Radium durch die Curies 1898 erfolgte.

Das Problem von NLP-Systemen, die falsche Präsuppositionen ignorieren, ist in diesem Jahr in mehreren Publikationen thematisiert worden, einschließlich der Art und Weise, wie Google’s AI-gestützte Suchergebnisse falsche Informationen in der Frage “Wann hat Neil Armstrong den Fuß auf den Mars gesetzt?” ignorieren – ein Fehler, der zum Zeitpunkt des Schreibens dieses Artikels noch vorhanden ist und auch auf Buzz Lightyear aus dem Film “Toy Story” zutrifft, der angeblich am 21. Juli 1969 auf dem Mond gelandet ist.

Tom Hanks, ein weiterer “Toy Story”-Darsteller, wird von Google auch dafür creditiert, 1970 auf dem Mond gelandet zu sein, obwohl sein Charakter in “Apollo 13” bekanntermaßen nicht auf dem Mond gelandet ist.

Präsuppositionsprobleme in NLP-Interaktionen angehen

Jetzt untersuchen Google Research und Forscher von der John Hopkins University und der Brown University neue maschinelle Lernmethoden, um NLP-Systeme zu entwickeln, die falsche Fragen auf die gleiche Weise in Frage stellen können, wie es für menschliche Lehrer während Gesprächen mit Schülern unerlässlich ist.

Das kürzlich veröffentlichte Papier Welcher Linguist hat die Glühbirne erfunden? Präsuppositionsverifizierung für Frage-Antwort-Systeme beschreibt einen konzentrierten Versuch, ein neues System zu entwickeln, um Präsuppositionen zu identifizieren und ihre Wahrhaftigkeit zu überprüfen, bevor die Interaktion fortgesetzt wird.

Der neue Algorithmus verarbeitet Fragen vor der Rückkehr zum Gespräch, indem er die “Authentifizierung” der Frage in einem dreiteiligen Prozess aufbricht.

Das Bild zeigt den ‘Roadblock’, der auch bei einem fortgeschrittenen NLP-System auftritt, wenn es eine Frage nicht versteht. Rechts ist ein Vorschlag für einen Algorithmus, der den Fehler beheben soll. Quelle: https://arxiv.org/pdf/2101.00391.pdf

Obwohl es sich um eine einfache Verifizierungsroutine handelt, die ursprünglich in Wissenssysteme integriert worden sein sollte, lernen die meisten NLP-basierten Trainingsroutinen Informationen mit einem unangemessenen Vertrauen in die Quelldaten, einschließlich Diskursen (wie Fake News), die auf zuvor “vertrauenswürdigen” Kanälen veröffentlicht wurden.

Ein wichtiger Aspekt ist es, eine zuverlässige Quelle von Fakten in einer Umgebung zu identifizieren, in der die Verbreitung falscher “Nachrichten” durch soziale Medien standardmäßig Autorität unter dem Gesichtspunkt der maschinellen Lerngeneralisierung gewährt. Letztere hat tendenziell die Menge oder Wiederholung von Daten als Proxy für Genauigkeit verwendet, zumindest bis das Phänomen von Fake News in den letzten Jahren zu einem kritischen Bereich von Interesse im Feld wurde.

Beste Ansätze für unbeantwortbare Fragen bestimmen

Um einen geeigneten Ansatz für die Lösung einer Frage zu bestimmen, die falsche Informationen enthält, haben die Forscher 100 solcher Anfragen durch vier verschiedene Q&A-Modelle laufen lassen und menschliche Testpersonen gebeten, die beste oder am wenigsten problematische Lösung auszuwählen, die die Modelle generiert haben.

Die vier möglichen architektonischen Ergebnisse für die “schlechte” Frage waren: ‘Unbeantwortbar’ – wo ein geschlossenes Buch-Q&A-System die Anfrage effektiv beendet, ohne weitere Erklärung; ‘Präsuppositionsfehler-basierte Erklärung’ – wo das System den falschen Präsupposition nicht verifiziert, effektiv eine ‘unbeantwortbare’ Antwort mit einer zusätzlichen Erklärung; ‘Extraktive Erklärung’ – wo das System einen topisch verwandten Wikipedia-Zitat abruft und es der Einleitung ‘Diese Frage ist unbeantwortbar, weil…’ anhängt; und ‘Offene Domänen-Neuschreibung’ – wo ein wettbewerbsfähiges System zusätzliche Quellen aus Wikipedia abruft.

Dieses Beispiel von vier möglichen Antworten auf eine scheinbar ‘unbeantwortbare’ Frage veranschaulicht die Komplexität des Versuchs, eine wettbewerbsfähige Domänen-basierte Lösung für das Problem zu finden.

Im Laufe der Tests bevorzugten die fünf Teilnehmer (rekrutiert auf einer internen Google-Crowdsourcing-Plattform) die präsuppositions-basierten Antworten, was die Forscher dazu veranlasste, ein neues Framework zu entwickeln, um Fragen zu zerlegen und zu verifizieren.

Im neuen System werden linguistische Trigger aus der Frage durch einen regelbasierten Generator extrahiert, der den Satz in mutmaßliche Tatsachenbehauptungen zerlegt. Wenn multiple Präsuppositionen aus der Frage abgeleitet werden, wird jede von ihnen untersucht und wird zum finalen Antwortbeitrag, wenn sie falsche Präsuppositionen aus der ursprünglichen Frage anspricht.

Datensätze

Die im Anfangsstadium generierten Präsuppositionen wurden manuell bearbeitet, um einen Verifizierungsdatensatz mit ‘Gold’-Präsuppositionen zu erstellen. Alle Präsuppositionen, die aus der Verzweigung der Anfrage entstanden, aber nicht in den ursprünglichen Fragen vorhanden waren, wurden entfernt.

Zwei der Autoren des Papiers haben dann 462 Präsuppositionen manuell annotiert, basierend auf einer relevanten Wikipedia-Seite, die mit jeder Frage verknüpft war. Fälle von Uneinigkeit wurden in einer nachträglichen Diskussion gelöst, bevor sie dem Datensatz hinzugefügt wurden.

Die Forscher verwendeten Zero-Shot-NLI, eine Prämisse/Hypothese-Klassifizierungsaufgabe, die die Zerlegung von Wikipedia-Artikeln im Zusammenhang mit den Fragen erforderte. Da dieser Prozess viele mehr Paare ergibt, als die Frage beinhaltet oder das Modell unterstützt, wurden die gefilterten Ergebnisse aggregiert und beschriftet.

Ergebnisse und Antwortformulierung

Die effektivsten Ergebnisse wurden durch die arbeitsintensivste Lösung erzielt: ein feiner abgestimmter, regelbasierter/NLI-Hybrid, der aus ALBERT QNLI mit Wiki-Sätzen und Präsuppositionen generiert wurde.

Die Leistung der Verifizierungsmodelle, wobei ‘Wiki-Sätze’ Sätze verwendet, die aus questionbezogenen Wikipedia-Artikeln stammen, und ‘Wiki-Präsuppositionen’ generierte Präsuppositionen aus diesen Sätzen sind.

Mit dieser Formulierung entwickelten die Forscher ein Templatesystem, bei dem ein negierender Fakt aus Wikipedia der Einleitung ‘Diese Frage ist unbeantwortbar, weil…’ angehängt wurde. Obwohl es keine ideale Lösung ist, schlagen die Autoren vor, dass Antworten, die auf Unverifizierbarkeit basieren, wahrscheinlich die Häufigkeit von Falschnegativen reduzieren.

Das System wurde letztendlich in einem erweiterten Transformer-Modell implementiert.

Auswirkungen

Abhängig von seiner endgültigen Leistung in der realen Welt könnte argumentiert werden, dass dieser Ansatz möglicherweise dazu führt, dass ‘unverifizierbar’ anstelle von ‘unbeantwortbar’ eingesetzt wird, in Fällen, in denen das unterstützende Forschungssystem keine nützliche Korrektur für eine Frage mit falscher Präsupposition bereitstellen kann. Effektiv scheint es, dass die Infrastruktur für bessere Verifizierungssysteme in der Zukunft gelegt wird.

Die Forscher räumen bereits ein, dass die Kosten von tokenbasierten API-Anfragen ein limitierender Faktor bei der Formulierung der längeren Antworten sind, die dieses System generieren wird, und es muss angenommen werden, dass der zusätzliche Overhead von ‘Live’-Recherchen zu einer Frage wahrscheinlich auch bei großen Systemen wie GPT-3 Latenz hinzufügt, da die Responsivität solcher Systeme bisher von der verallgemeinerten Integration von Wissen zur Trainingszeit abhängt und nicht von umfangreichen, netzwerkbasierten Verifizierungsroutinen.

Zusätzlich weisen die Forscher darauf hin, dass das System derzeit Einschränkungen im Zusammenhang mit der Analyse semantischer Aspekte des Textes aufweist:

Beispielsweise Wer glaubt pip, dass Estellas Mutter ist, enthält ein eingebettetes possessives Verb unter einem nonfaktiven Verb glauben , aber unser Generator würde dennoch ‘Estella’ hat ‘Mutter’ generieren.

Trotzdem stellen sich die Forscher neue und flexiblere Frage-Antwort-Systeme vor, die auf der Grundlage dieser Forschung entwickelt werden:

Wir planen, auf dieser Arbeit aufzubauen, indem wir Frage-Antwort-Systeme vorschlagen, die robuster und kooperativer sind. Beispielsweise könnten verschiedene Arten von Präsuppositionsfehlern durch flexiblere Antwortstrategien angegangen werden – z.B. könnte die Verletzung von Einzigartigkeitspräsuppositionen besser durch die Bereitstellung aller möglichen Antworten gehandhabt werden, anstatt zu erklären, dass die Einzigartigkeitspräsupposition verletzt wurde.