Der Kampf, um zu verhindern, dass KI bei Tests betrügt

Neue Forschungsergebnisse einer chinesischen Universität bieten einen Einblick in die Gründe, warum generative naturliche Sprachverarbeitungsmodelle wie GPT-3 tendenziell “betrügen”, wenn sie eine schwierige Frage gestellt bekommen, und Antworten produzieren, die technisch korrekt sein können, aber ohne echtes Verständnis dafür, warum die Antwort korrekt ist; und warum sie wenig oder keine Fähigkeit zeigen, die Logik hinter ihren “leichten” Antworten zu erklären. Die Forscher schlagen auch neue Methoden vor, um die Systeme während der Trainingsphase “härter” arbeiten zu lassen.

Das Problem ist zweifach: erstens entwerfen wir Systeme, die versuchen, Ergebnisse schnell und mit optimaler Ressourcennutzung zu erzielen. Selbst wenn, wie bei GPT-3, die Ressourcen erheblich größer sind als die, die ein durchschnittliches NLP-Forschungsprojekt aufbringen kann, dominiert diese Kultur der ergebnisorientierten Optimierung immer noch die Methodik, weil sie zur akademischen Konvention geworden ist.

Daher belohnen unsere Trainingsarchitekturen Modelle, die schnell konvergieren und anscheinend passende Antworten auf Fragen produzieren, auch wenn das NLP-Modell anschließend nicht in der Lage ist, seine Antwort zu rechtfertigen oder zu zeigen, wie es zu seinen Schlussfolgerungen gelangt.

Eine Frühzeitige Neigung Zu Betrug

Dies geschieht, weil das Modell “Abkürzungsantworten” viel früher im Training lernt als kompliziertere Arten der Wissensaneignung. Da eine erhöhte Genauigkeit oft während des Trainings ziemlich unbedingt belohnt wird, priorisiert das Modell dann jeden Ansatz, der es ermöglicht, eine Frage “schlagfertig” zu beantworten, und ohne echte Einsicht.

Da Abkürzungenlernen unweigerlich die ersten Erfolge während des Trainings darstellen, neigt die Sitzung naturgemäß weg von der schwierigeren Aufgabe, eine nützliche und vollständigere epistemologische Perspektive zu erlangen, die möglicherweise tiefere und einsichtigere Schichten von Attribution und Logik enthält.

Die KI Mit “Leichten” Antworten Füttern

Das zweite Problem ist, dass selbst wenn aktuelle Forschungsinitiativen studiert haben, wie die KI auf diese Weise “betrügt” und das Phänomen von “Abkürzungen” identifiziert haben, es bisher keine Anstrengungen gab, “Abkürzungs”-ermöglichendes Material in einem beitragenden Datensatz zu klassifizieren, was der logische erste Schritt wäre, um das, was sich als grundlegender architektonischer Fehler in maschineller Leseverständnis (MRC)-Systemen erweisen könnte, anzugehen.

Das neue Papier, eine Zusammenarbeit zwischen dem Wangxuan Institute of Computer Technology und dem MOE Key Laboratory of Computational Linguistics an der Peking-Universität, testet verschiedene Sprachmodelle gegen einen neu annotierten Datensatz, der Klassifizierungen für “leichte” und “schwierige” Lösungen für eine mögliche Frage enthält.

Quelle: https://arxiv.org/pdf/2106.01024.pdf

Der Datensatz verwendet Paraphrasierung als Kriterium für die komplizierteren und tieferen Antworten, da ein semantisches Verständnis notwendig ist, um erlangtes Wissen umzuformulieren. Im Gegensatz dazu können die “Abkürzungs”-Antworten Token wie Daten und andere umschließende Schlüsselwörter verwenden, um eine Antwort zu produzieren, die faktisch korrekt ist, aber ohne Kontext oder Begründung.

Die Abkürzungs-Komponente der Anmerkungen umfasst Frage-Wort-Matching (QWM) und einfaches Matching (SpM). Für QWM verwendet das Modell Entitäten, die aus den bereitgestellten Textdaten extrahiert werden, und vernachlässigt den Kontext; für SpM identifiziert das Modell die Überschneidung zwischen Antwort-Sätzen und Fragen, die beide im Trainingsdatensatz bereitgestellt werden.

Abkürzungsdaten Fast “Viral” In Der Einflussnahme Auf Ein Datensatz

Die Forscher behaupten, dass Datensätze tendenziell einen hohen Anteil an Abkürzungsfragen enthalten, die trainierte Modelle dazu bringen, Abkürzungs-Tricks zu verwenden.

Die beiden Modelle, die in den Experimenten verwendet wurden, waren BiDAF und Google’s BERT-Basis. Die Forscher beobachten, dass beide Modelle, selbst wenn sie auf Datensatz-Variationen mit einem höheren Anteil “schwieriger” Fragen trainiert werden, immer noch besser auf Abkürzungsfragen als auf paraphrasierte Fragen performen, trotz der geringen Anzahl von Beispielen in den Datensätzen.

Dies präsentiert “Abkürzungsdaten” fast im Kontext eines Virus – dass nur sehr wenig davon in einem Datensatz vorhanden sein muss, damit es unter konventionellen Standards und Praktiken in der NLP adoptiert und priorisiert wird.

Beweis Des Betrugs

Eine Methode, die die Forschung verwendet, um zu beweisen, wie die Fragilität einer Abkürzungsantwort ist, besteht darin, ein “leichtes” Entitäts-Wort durch ein anomales Wort zu ersetzen. Wenn eine Abkürzungs-Methode verwendet wurde, kann die Logik der “betrogenen” Antwort nicht bereitgestellt werden; aber wenn die Antwort aus einem tieferen Kontext und einer semantischen Auswertung eines breiteren Spektrums von Text bereitgestellt wurde, kann das System den Fehler dekonstruieren und eine korrekte Antwort rekonstruieren.

Durch Ersetzen von ‘Beyoncé’ (eine Person) durch ‘Amerika’ (ein Ort) wird gezeigt, ob das Modell eine Hintergrundlogik für seine Antwort hat.

Abkürzungen Aufgrund Einer Ökonomischen Notwendigkeit

In Bezug auf einige der architektonischen Gründe, warum Abkürzungen in NLP-Trainings-Workflows so priorisiert werden, kommentieren die Autoren ‘MRC-Modelle können die Abkürzungs-Tricks, wie QWM, mit weniger Rechenressourcen lernen als die Verständnis-Herausforderungen, wie das Erkennen von Paraphrasierungen’.

Das könnte eine unbeabsichtigte Folge der standardmäßigen Optimierungs- und ressourcenschonenden Philosophien in den Ansätzen zur maschinellen Leseverständnis sein, und dem Druck, Ergebnisse mit begrenzten Ressourcen in engen Zeitrahmen zu erzielen.

Die Forscher bemerken auch:

‘[Da] der Abkürzungs-Trick verwendet werden kann, um die meisten Trainingsfragen korrekt zu beantworten, können die begrenzten ungelösten Fragen, die verbleiben, die Modelle nicht motivieren, sophisticated Lösungen zu erforschen, die herausfordernde Fähigkeiten erfordern.’

Wenn die Ergebnisse des Papiers anschließend bestätigt werden, würde es scheinen, dass das weite und ständig wachsende Feld der Datenpräprozessierung “versteckte Hilfsmittel” in Daten als ein Problem betrachten muss, das langfristig angegangen werden muss, oder else die NLP-Architekturen so überarbeiten, dass sie anspruchsvollere Routinen für die Datenverarbeitung priorisieren.