Die Gefahren des Einsatzes von Zitaten zur Authentifizierung von NLG-Inhalten

MeinungNatürliche Sprachgenerierungsmodelle wie GPT-3 sind anfällig für “Halluzinationen” von Material, das sie im Kontext von faktischen Informationen präsentieren. In einer Ära, die sich außerordentlich mit dem Wachstum von textbasierten Falschmeldungen beschäftigt, stellen diese “eifrigen” Flügen der Fantasie einen existenziellen Hürde für die Entwicklung von automatisierten Schreib- und Zusammenfassungssystemen und für die Zukunft von AI-gesteuerter Journalismus dar, sowie für verschiedene andere Subsektoren der Natürlichen Sprachverarbeitung (NLP).

Das zentrale Problem ist, dass GPT-ähnliche Sprachmodelle wichtige Merkmale und Klassen aus sehr großen Korpora von TrainingsTexten ableiten und lernen, diese Merkmale als Bausteine der Sprache geschickt und authentisch zu verwenden, unabhängig von der Genauigkeit oder sogar der Akzeptanz des generierten Inhalts.

NLG-Systeme verlassen sich daher derzeit auf die menschliche Überprüfung von Fakten in einem von zwei Ansätzen: Entweder werden die Modelle als Seed-Text-Generatoren verwendet, die sofort an menschliche Benutzer weitergeleitet werden, entweder zur Überprüfung oder zu einer anderen Form der Bearbeitung oder Anpassung; oder es werden Menschen als teure Filter verwendet, um die Qualität von Datensätzen zu verbessern, die weniger abstrakte und “kreative” Modelle informieren sollen (die selbst noch schwierig zu vertrauen sind, was die faktische Genauigkeit betrifft, und die weitere Schichten der menschlichen Überwachung erfordern).

Alte Nachrichten und Falsche Fakten

Natürliche Sprachgenerierungsmodelle (NLG) sind in der Lage, überzeugende und plausible Ausgaben zu produzieren, weil sie die semantische Architektur gelernt haben, anstatt abstrakter die tatsächliche Geschichte, Wissenschaft, Ökonomie oder ein anderes Thema zu assimilieren, über das sie möglicherweise urteilen müssen, das effektiv als “Passagier” in den Quelldaten enthalten ist.

Die faktische Genauigkeit der von NLG-Modellen generierten Informationen geht davon aus, dass die Eingaben, auf denen sie trainiert werden, selbst zuverlässig und aktuell sind, was einen außerordentlichen Aufwand an Vorverarbeitung und weiterer menschlicher Überprüfung darstellt – ein kostspieliges Hindernis, das der NLP-Forschungssektor derzeit auf vielen Ebenen angeht.

GPT-3-ähnliche Systeme benötigen eine außerordentliche Menge an Zeit und Geld, um trainiert zu werden, und sind, einmal trainiert, schwierig zu aktualisieren, was möglicherweise eine vollständige oder teilweise Neuausbildung erfordert.

Es ist daher schwierig, trainierte Sprachmodelle zu erstellen, die die neuesten Informationen nutzen können.

Trainiert vor dem Beginn der COVID-19-Pandemie, kann text-davinci-002 – die Iteration von GPT-3, die von seinem Ersteller OpenAI als “am fähigsten” betrachtet wird – 4000 Token pro Anfrage verarbeiten, aber nichts über COVID-19 oder den ukrainischen Einmarsch 2022 wissen (diese Prompts und Antworten stammen vom 5. April 2022). Interessanterweise ist “unbekannt” in beiden Fällen des Scheiterns tatsächlich eine akzeptable Antwort, aber weitere Prompts können leicht feststellen, dass GPT-3 nichts über diese Ereignisse weiß. Quelle: https://beta.openai.com/playground

Ein trainiertes Modell kann nur auf “Wahrheiten” zugreifen, die es während der Trainingszeit internalisiert hat, und es ist schwierig, eine genaue und relevante Zitierung zu erhalten, wenn man versucht, die Behauptungen des Modells zu überprüfen. Die wahre Gefahr beim Abrufen von Zitaten aus Standard-GPT-3 (zum Beispiel) besteht darin, dass es manchmal korrekte Zitierungen produziert, was zu einer falschen Zuversicht in diese Facette seiner Fähigkeiten führt:

Oben, drei genaue Zitierungen, die von der 2021er-Version von davinci-instruct-text GPT-3 erhalten wurden. Mitte, GPT-3 kann nicht eines von Einsteins berühmtesten Zitaten (“Gott spielt nicht mit dem Universum”) zitieren, trotz eines nicht-kryptischen Prompts. Unten, GPT-3 weist Albert Einstein ein skandalöses und fiktives Zitat zu, offensichtlich ein Überbleibsel von früheren Fragen über Winston Churchill in der gleichen Sitzung. Quelle: Der Artikel des Autors von 2021 auf https://www.width.ai/post/business-applications-for-gpt-3

GopherCite

Um diese allgemeine Schwäche in NLG-Modellen zu beheben, hat Google’s DeepMind kürzlich GopherCite vorgeschlagen, ein 280-Milliarden-Parameter-Modell, das in der Lage ist, spezifische und genaue Beweise für seine generierten Antworten auf Prompts zu zitieren.

Drei Beispiele für GopherCite, das seine Behauptungen mit realen Zitaten belegt. Quelle: https://arxiv.org/pdf/2203.11147.pdf

GopherCite nutzt Verstärkendes Lernen aus menschlichen Präferenzen (RLHP), um Abfrage-Modelle zu trainieren, die echte Zitierungen als Beweise zitieren können. Die Zitierungen werden live aus mehreren Dokumentenquellen abgerufen, die von Suchmaschinen stammen, oder aus einem bestimmten Dokument, das vom Benutzer bereitgestellt wird.

Die Leistung von GopherCite wurde durch menschliche Bewertung von Modellantworten gemessen, die 80% der Zeit auf Google’s NaturalQuestions-Datensatz und 67% der Zeit auf dem ELI5-Datensatz als “hochwertig” eingestuft wurden.

Zitierende Falschheiten

Jedoch wurden GopherCites Antworten bei Tests gegen die TruthfulQA-Benchmark von Oxford University nur selten als wahrheitsgetreu bewertet, im Vergleich zu den menschlich kuratierten “korrekten” Antworten.

Die Autoren schlagen vor, dass dies daran liegt, dass das Konzept von “unterstützten Antworten” nicht objektiv die Wahrheit selbst definiert, da die Nützlichkeit von Quellenzitaten durch andere Faktoren wie die Möglichkeit, dass der Autor des Zitats selbst “halluziniert” (d.h. über fiktive Welten schreibt, Werbeinhalte produziert oder anderweitig unechte Materialien fabriziert), beeinträchtigt werden kann.

Fälle, in denen Plausibilität nicht unbedingt “Wahrheit” bedeutet.

Effektiv wird es notwendig, zwischen “unterstützt” und “wahr” zu unterscheiden. Die menschliche Kultur ist derzeit weit fortgeschrittener als das maschinelle Lernen in Bezug auf die Verwendung von Methoden und Rahmenbedingungen, die zur Erlangung objektiver Definitionen von Wahrheit dienen, und selbst dort scheint der natürliche Zustand von “wichtiger” Wahrheit Streit und marginale Ablehnung zu sein.

Das Problem ist rekursiv in NLG-Architekturen, die definitive “bestätigende” Mechanismen entwickeln wollen: menschliche Konsensbildung wird als Benchmark der Wahrheit eingesetzt, die durch Outsourcing, AMT-ähnliche Modelle, in denen menschliche Evaluator (und andere Menschen, die zwischen ihnen vermitteln) selbst parteiisch und voreingenommen sind.

Beispielsweise verwenden die anfänglichen GopherCite-Experimente ein “Super-Rater”-Modell, um die besten menschlichen Probanden für die Bewertung der Modellausgabe auszuwählen, indem nur die Rater ausgewählt werden, die mindestens 85% im Vergleich zu einem Qualitätssicherungsset erreicht haben. Schließlich wurden 113 Super-Rater für die Aufgabe ausgewählt.

Screenshot der Vergleichs-App, die zur Bewertung der GopherCite-Ausgabe verwendet wird.

Argumentierbar ist dies ein perfektes Bild einer ungewinnbaren fraktalen Verfolgung: der Qualitätssicherungsset, der zur Bewertung der Rater verwendet wird, ist selbst ein weiterer “menschlich definierten” Maßstab der Wahrheit, wie auch der Oxford-TruthfulQA-Set, gegen den GopherCite als unzureichend befunden wurde.

In Bezug auf unterstützten und “authentifizierten” Inhalt kann NLG-Systeme nur menschliche Disparität und Vielfalt synthetisieren, was selbst ein schlecht gestelltes und ungelöstes Problem darstellt. Wir haben eine angeborene Tendenz, Quellen zu zitieren, die unsere Meinungen unterstützen, und mit Überzeugung und Autorität zu sprechen, wenn unsere Quelleninformation möglicherweise veraltet, völlig ungenau oder auf andere Weise absichtlich falsch dargestellt ist; und eine Neigung, diese Meinungen direkt in die Wildnis zu verbreiten, in einem Maßstab und einer Effizienz, die in der Menschheitsgeschichte unübertroffen sind, direkt in den Weg der Wissens-Scraping-Frameworks, die neue NLG-Frameworks füttern.

Daher ist die Gefahr, die mit der Entwicklung von zitierungsunterstützten NLG-Systemen verbunden ist, eng mit der unvorhersehbaren Natur des Quellenmaterials verbunden. Jedes Mechanismus (wie direkte Zitierung und Zitate), das die Benutzerzufriedenheit mit NLG-Ausgaben erhöht, ist, im aktuellen Stand der Technik, gefährlich für die Authentizität, aber nicht die Wahrheit der Ausgabe.

Solche Techniken sind wahrscheinlich nützlich, wenn NLP schließlich die fiktionsschreibenden “Kaleidoskope” von Orwells Nineteen Eighty-Four nachahmt; aber sie stellen eine gefährliche Verfolgung für objektive Dokumentenanalyse, AI-gesteuerten Journalismus und andere mögliche “Sachbuch”-Anwendungen von maschineller Zusammenfassung und spontaner oder geleiteter Textgenerierung dar.

Erstveröffentlicht am 5. April 2022. Aktualisiert um 15:29 Uhr EET, um einen Begriff zu korrigieren.