Verhinderung von “Halluzinationen” in GPT-3 und anderen komplexen Sprachmodellen

Eine definierende Eigenschaft von “Fake News” ist, dass sie häufig falsche Informationen in einem Kontext von faktisch korrekten Informationen präsentiert, wobei die unwahren Daten durch eine Art literarische Osmose eine wahrgenommene Autorität erlangen – ein besorgniserregendes Beispiel für die Macht von Halbwahrheiten.

Sophisticierte generative natürliche Sprachverarbeitungsmodelle (NLP) wie GPT-3 neigen ebenfalls dazu, diese Art von täuschenden Daten zu “halluzinieren”. Dies liegt teilweise daran, dass Sprachmodelle die Fähigkeit benötigen, lange und oft labyrinthine Texte umzuformulieren und zusammenzufassen, ohne dass architektonische Einschränkungen vorhanden sind, die in der Lage sind, Ereignisse und Fakten zu definieren, zu kapseln und “abzudichten”, sodass sie vor dem Prozess der semantischen Rekonstruktion geschützt sind.

Daher sind Fakten für ein NLP-Modell nicht heilig; sie können leicht im Kontext von “semantischen Lego-Steinen” behandelt werden, insbesondere wenn komplexe Grammatik oder arkane Quellenmaterial es schwierig machen, diskrete Entitäten von der Sprachstruktur zu trennen.

Eine Beobachtung der Art und Weise, wie sich komplexes Quellenmaterial auf komplexe Sprachmodelle wie GPT-3 auswirkt. Quelle: Paraphrase-Generierung mit Deep Reinforcement Learning

Dieses Problem überträgt sich von der textbasierten maschinellen Lernforschung auf die Computer-Vision-Forschung, insbesondere in Branchen, die semantische Diskriminierung verwenden, um Objekte zu identifizieren oder zu beschreiben.

Halluzination und ungenaue ‘kosmetische’ Umdeutung beeinflussen auch die Computer-Vision-Forschung.

Im Fall von GPT-3 kann das Modell frustriert werden, wenn es wiederholt nach einem Thema gefragt wird, das es bereits so gut wie möglich bearbeitet hat. Im besten Fall gibt es auf:

Ein kürzliches Experiment von mir mit dem grundlegenden Davinci-Modell in GPT-3. Das Modell gibt die richtige Antwort auf den ersten Versuch, ist aber verärgert, wenn es ein zweites Mal nach der Frage gefragt wird. Quelle: https://www.scalr.ai/post/business-applications-for-gpt-3

DaVinci und DaVinci Instruct (Beta) machen es in dieser Hinsicht besser als andere GPT-3-Modelle, die über die API verfügbar sind. Hier gibt das Curie-Modell die falsche Antwort, während das Babbage-Modell zuversichtlich auf eine gleich falsche Antwort eingeht:

Dinge, die Einstein nie gesagt hat

Wenn man den GPT-3-DaVinci-Instruct-Engine (der derzeit anscheinend das leistungsfähigste Modell ist) nach Einsteins berühmtem Zitat “Gott spielt nicht mit dem Universum” fragt, kann DaVinci Instruct das Zitat nicht finden und erfindet ein Nicht-Zitat, und halluziniert drei andere relativ plausible und völlig nicht existierende Zitate (von Einstein oder jemand anderem) in Antwort auf ähnliche Anfragen:

GPT-3 produziert vier plausible Zitate von Einstein, von denen keines bei einer Volltext-Internet-Suche Ergebnisse liefert, obwohl einige andere (reale) Zitate von Einstein zum Thema “Vorstellungskraft” auslösen.

Wenn GPT-3 bei der Zitierung konsequent falsch wäre, wäre es einfacher, diese Halluzinationen programmatisch zu diskontieren. Allerdings ist das Modell umso eher in der Lage, das Zitat richtig zu finden, je bekannter und verbreiteter es ist:

GPT-3 scheint korrekte Zitate zu finden, wenn sie im Beitragenden-Datenmaterial gut vertreten sind.

Ein zweites Problem kann auftreten, wenn die Sitzungsgeschichte von GPT-3 in eine neue Frage einfließt:

Einstein würde wahrscheinlich schockiert sein, wenn man ihm dieses Zitat zuschreiben würde. Das Zitat scheint eine sinnlose Halluzination eines realen Winston-Churchill-Aphorismus zu sein. Die vorherige Frage in der GPT-3-Sitzung bezog sich auf Churchill (nicht Einstein), und GPT-3 scheint dieses Sitzungstoken fälschlicherweise verwendet zu haben, um die Antwort zu informieren.

Halluzinationen wirtschaftlich bekämpfen

Halluzination ist ein bemerkenswertes Hindernis für die Verwendung von komplexen NLP-Modellen als Forschungsinstrumente – umso mehr, da die Ausgabe dieser Modelle stark von dem Quellenmaterial abstrahiert, das sie bildete, sodass die Überprüfung der Richtigkeit von Zitaten und Fakten problematisch wird.

Daher ist eine der aktuellen allgemeinen Forschungsherausforderungen in der NLP, eine Möglichkeit zu finden, halluzinierte Texte zu identifizieren, ohne dass entirely neue NLP-Modelle erforderlich sind, die Fakten als diskrete Entitäten definieren und authentifizieren (ein langfristiges, separates Ziel in einer Reihe weiterer Computer-Forschungsbereiche).

Identifizierung und Generierung halluzinierter Inhalte

Eine neue Zusammenarbeit zwischen der Carnegie Mellon University und Facebook AI Research bietet einen neuen Ansatz für das Halluzinationsproblem, indem sie eine Methode zur Identifizierung halluzinierter Ausgaben formuliert und synthetische halluzinierte Texte verwendet, um ein Datenmaterial zu erstellen, das als Grundlage für zukünftige Filter und Mechanismen dienen kann, die möglicherweise ein integraler Bestandteil von NLP-Architekturen werden.

Quelle: https://arxiv.org/pdf/2011.02593.pdf

Im obigen Bild wurde das Quellenmaterial auf Wortbasis segmentiert, wobei das Label “0” korrekten Wörtern und das Label “1” halluzinierten Wörtern zugewiesen wurde. Unten sehen wir ein Beispiel für halluzinierte Ausgaben, die mit den Eingabedaten verwandt sind, aber mit nicht authentischen Daten angereichert sind.

Das System verwendet einen vorgebildeten Denoising-Autoencoder, der in der Lage ist, eine halluzinierte Zeichenfolge auf den ursprünglichen Text zurückzumappen, aus dem die korrupte Version produziert wurde (ähnlich wie in meinen Beispielen oben, in denen Internet-Suchen die Herkunft falscher Zitate offenbarten, aber mit einer programmmatischen und automatischen semantischen Methodik). Insbesondere wird Facebooks BART-Autoencoder-Modell verwendet, um die korrupten Sätze zu produzieren.

Label-Zuweisung.

Der Prozess der Rückführung der Halluzination auf den Ursprung, der in der Regel nicht möglich ist, ermöglicht die Kartierung der “Edit-Distanz” und erleichtert einen algorithmischen Ansatz zur Identifizierung halluzinierter Inhalte.

Die Forscher fanden heraus, dass das System auch dann gut generalisiert, wenn es keinen Zugriff auf Referenzmaterial hat, das während der Ausbildung verfügbar war, was darauf hindeutet, dass das Konzeptmodell solide und weitgehend replizierbar ist.

Überanpassung bekämpfen

Um Überanpassung zu vermeiden und eine weit verbreitete Architektur zu erreichen, haben die Forscher Token zufällig aus dem Prozess entfernt und auch Umschreibungen und andere Rauschfunktionen eingesetzt.

Die maschinelle Übersetzung (MT) ist auch Teil dieses Verschleierungsprozesses, da die Übersetzung von Texten über Sprachen hinweg wahrscheinlich die Bedeutung robust aufrechterhält und weitere Überanpassung verhindert. Daher wurden Halluzinationen übersetzt und für das Projekt von zweisprachigen Sprechern in einer manuellen Annotationsebene identifiziert.

Die Initiative erzielte neue Bestleistungen in einer Reihe von Standard-Branchentests und ist die erste, die akzeptable Ergebnisse mit Daten über 10 Millionen Token erzielt.

Der Code für das Projekt, das “Erkennung halluzinierter Inhalte in bedingter neuronalen Sequenzgenerierung” heißt, wurde auf GitHub veröffentlicht und ermöglicht es Benutzern, ihre eigenen synthetischen Daten mit BART aus jedem Textkorpus zu generieren. Es ist auch vorgesehen, dass die nachfolgende Generierung von Halluzinations-Erkennungsmodellen erfolgt.