NLP-Modelle haben Schwierigkeiten, rekursive Nominalphrasen zu verstehen

Forscher aus den USA und China haben herausgefunden, dass keines der führenden Modelle zur Verarbeitung natürlicher Sprache (NLP) standardmäßig in der Lage zu sein scheint, englische Sätze mit rekursiven Nominalphrasen (NPs) zu entschlüsseln und „Schwierigkeiten“ hat, die zentrale Bedeutung in eng verwandten Beispielen zu identifizieren, wie z. B. Mein neuer Lieblingsfilm mit einem Mein Lieblingsfilm (von denen jedes eine andere Bedeutung hat).

In einem Schlagzeilenbeispiel aus der Zeitung ist hier ein kleines Rätsel, das Kinder häufig nicht lösen können: Der zweite Ball ist grün, aber der fünfte Ball ist der „zweite grüne Ball“. Quelle: https://arxiv.org/pdf/2112.08326.pdf

Die Forscher stellten eine Recursive Noun Phrase Challenge (RNPC) an mehrere lokal installierte Open-Source-Sprachgenerierungsmodelle: OpenAIs GPT-3*, Googles BERTund Facebooks Roberta mit einem BART, und stellten fest, dass diese hochmodernen Modelle nur eine zufällige Leistung erzielten. Sie schlussfolgern^†:

„Die Ergebnisse zeigen, dass hochmoderne (SOTA) LMs auf den Standard abgestimmt sind.“ Benchmarks des gleichen Formats haben alle Probleme mit unserem Datensatz, was darauf schließen lässt, dass das Zielwissen nicht ohne weiteres verfügbar ist.‘

Beispiele für Minimalpaare in der RNPC-Herausforderung, bei denen die SOTA-Modelle Fehler gemacht haben.

In den obigen Beispielen gelang es den Modellen beispielsweise nicht, die semantische Ungleichheit zwischen zu unterscheiden ein totes gefährliches Tier (dh ein Raubtier, das keine Bedrohung darstellt, weil es tot ist) und a gefährliches totes Tier (z. B. ein totes Eichhörnchen, das möglicherweise einen schädlichen Virus enthält und eine derzeit aktive Bedrohung darstellt).

(Außerdem wird „tot“ häufig verwendet, obwohl es in der Zeitung nicht erwähnt wird. als Adverb, was keinen der beiden Fälle anspricht)

Die Forscher fanden jedoch auch heraus, dass zusätzliche oder ergänzende Schulungen, die RNPC-Material umfassen, das Problem lösen können:

„Vortrainierte Sprachmodelle mit SOTA-Leistung bei NLU-Benchmarks beherrschen dieses Wissen nur unzureichend, können es aber dennoch erlernen, wenn sie kleinen Datenmengen von RNPC ausgesetzt werden.“

Die Forscher argumentieren, dass die Fähigkeit eines Sprachmodells, rekursive Strukturen dieser Art zu navigieren, für nachgelagerte Aufgaben wie Sprachanalyse und Übersetzung von wesentlicher Bedeutung ist, und weisen insbesondere auf seine Bedeutung bei Routinen zur Schadenserkennung hin:

„[Wir] betrachten das Szenario, in dem ein Benutzer mit einem aufgabenorientierten Agenten wie Siri oder Alexa interagiert und der Agent feststellen muss, ob die beteiligte Aktivität in der Benutzerabfrage potenziell schädlich ist.“ [dh an Minderjährige]. Wir wählen diese Aufgabe, weil viele falsch positive Ergebnisse von rekursiven NPs stammen.

'Zum Beispiel, wie man eine selbstgemachte Bombe baut ist offensichtlich schädlich, während wie man eine selbstgemachte Badebombe herstellt ist harmlos.'

Die Krepppapier ist betitelt Ist „mein neuer Lieblingsfilm“ mein Lieblingsfilm? Untersuchung des Verständnisses rekursiver Nominalphrasen, und stammt von fünf Forschern an der University of Pennsylvania und einem an der Peking-Universität.

Daten und Methode

Obwohl frühere Arbeiten sucht syntaktische Struktur rekursiver NPs und die Semantische Kategorisierung von ModifikatorenLaut den Forschern reicht keiner dieser Ansätze aus, um die Herausforderung anzugehen.

Daher haben die Forscher anhand der Verwendung rekursiver Nominalphrasen mit zwei Modifikatoren versucht, festzustellen, ob das erforderliche Wissen in SOTA-NLP-Systemen vorhanden ist (ist nicht der Fall), ob es ihnen beigebracht werden kann (ist möglich), was NLP-Systeme von rekursiven NPs lernen können und in welcher Weise nachgelagerte Anwendungen von diesem Wissen profitieren können.

Der von den Forschern verwendete Datensatz wurde in vier Schritten erstellt. Zunächst wurde ein Modifikatorlexikon erstellt, das 689 Beispiele aus früherer Literatur und neuartigen Arbeiten enthielt.

Als nächstes sammelten die Forscher rekursive NPs aus der Literatur, bestehenden Korpora und Ergänzungen ihrer eigenen Erfindung. Zu den Textressourcen gehörten die Penn Baumbankund die Kommentiertes Gigaword Korpus.

Anschließend beauftragte das Team vorab geprüfte College-Studenten mit der Erstellung von Beispielen für die drei Aufgaben, denen die Sprachmodelle gegenüberstehen würden, und validierte sie anschließend in 8,260 gültigen Instanzen.

Schließlich wurden mehr vorab geprüfte College-Studenten eingestellt, dieses Mal über Amazon Mechanical Turk, um jeden Fall als Human Intelligence Task (HIT) zu kommentieren und Streitigkeiten mehrheitlich zu entscheiden. Dadurch wurden die Instanzen auf 4,567 Beispiele reduziert, die weiter auf 3,790 ausgewogenere Instanzen gefiltert wurden.

Die Forscher passten verschiedene vorhandene Datensätze an, um die drei Abschnitte ihrer Testhypothesen zu formulieren, darunter: MNLI, SNLI, MPE mit einem ADEPT, wobei alle SOTA-Modelle selbst trainiert werden, mit Ausnahme des HuggingFace-Modells, bei dem ein Checkpoint verwendet wurde.

Ergebnisse

Die Forscher stellten fest, dass alle Modelle bei RNPC-Aufgaben „Schwierigkeiten“ hatten, während Menschen eine zuverlässige Genauigkeit von über 90 % erreichten, während die SOTA-Modelle auf „Zufallsniveau“ arbeiteten (d. h. ohne jeglichen Hinweis auf eine angeborene Fähigkeit oder auf Zufall als Reaktion).

Ergebnisse der Tests der Forscher. Hier werden die Sprachmodelle anhand eines bestehenden Benchmarks auf ihre Genauigkeit getestet, wobei die mittlere Linie die äquivalente menschliche Leistung bei den Aufgaben darstellt.

Sekundäre Untersuchungen deuten darauf hin, dass diese Defizite in der Trainings- oder Feinabstimmungsphase der Pipeline eines NLP-Modells durch die gezielte Einbeziehung von Wissen über rekursive Nominalphrasen ausgeglichen werden können. Nach diesem zusätzlichen Training erreichten die Modelle „starke Zero-Shot-Leistung bei der Erkennung extrinsischer Schäden [Aufgaben]“.

Die Forscher versprechen, den Code für diese Arbeit unter zu veröffentlichen https://github.com/veronica320/Recursive-NPs.

Ursprünglich veröffentlicht am 16. Dezember 2021 – 17. Dezember 2021, 6:55 Uhr GMT+2: Defekter Hyperlink korrigiert.

* GPT-3 Ada, das schnellste, aber nicht das beste Modell der Serie. Das größere „Vorzeigemodell“ Davinci steht jedoch für die Feinabstimmung, die die spätere Phase der Experimente der Forscher umfasst, nicht zur Verfügung.

^† Meine Umwandlung von Inline-Zitaten in Hyperlinks.