Warum historische Sprache eine Herausforderung für künstliche Intelligenz ist

Eine der zentralen Herausforderungen von Natural Language Processing (NLP)-Systemen ist es, wesentliche Erkenntnisse aus einer Vielzahl von schriftlichen Materialien abzuleiten. Beitragsquellen für ein Trainingsdataset für ein neues NLP-Algorithmus könnten so sprachlich vielfältig sein wie Twitter, Tageszeitungen und wissenschaftliche Zeitschriften, mit all den eigenwilligen Besonderheiten, die jedem dieser drei Quellen eigen sind.

In den meisten Fällen gilt dies nur für Englisch; und nur für aktuelle oder kürzlich veröffentlichte Textquellen. Wenn ein NLP-Algorithmus Material aus verschiedenen Epochen berücksichtigen muss, hat er typischerweise Schwierigkeiten, die sehr unterschiedlichen Wege, auf denen Menschen sprechen oder schreiben, über nationale und subnationale Gemeinschaften und insbesondere über verschiedene Zeiträume hinweg, zu versöhnen.

Dennoch kann die Verwendung von Textdaten (wie historischen Abhandlungen und altbewährten wissenschaftlichen Werken), die Epochen überspannen, eine potenziell nützliche Methode sein, um einen historischen Überblick über ein Thema zu erstellen und statistische Zeitleisten-Rekonstruktionen zu erstellen, die die Einführung und Aufrechterhaltung von Metriken für ein bestimmtes Gebiet vorausgehen.

Zum Beispiel wurde Wetterinformation, die zu Vorhersagemodellen für den Klimawandel beiträgt, nicht ausreichend auf der ganzen Welt bis 1880 aufgezeichnet, während das Data-Mining von klassischen Texten ältere Aufzeichnungen von bedeutenden meteorologischen Ereignissen bietet, die nützlich sein könnten, um Wetterdaten vor der Viktorianischen Ära bereitzustellen.

Zeitliche Fehlanpassung

Ein neues Papier der University of Washington und des Allen Institute for AI hat festgestellt, dass sogar ein so kurzer Zeitraum wie fünf Jahre zeitliche Fehlanpassung verursachen kann, die die Nützlichkeit eines vorgefertigten NLP-Modells beeinträchtigen kann.

In allen Fällen sind höhere Werte besser. Hier sehen wir eine Heatmap der zeitlichen Verschlechterung über vier Textkorpora hinweg, die einen Zeitraum von fünf Jahren umspannen. Solche Ungleichheiten zwischen Trainings- und Evaluierungsdaten können, laut den Autoren des neuen Papiers, zu einem ‘massiven Leistungsabfall’ führen. Quelle: https://arxiv.org/pdf/2111.07408.pdf

Das Papier besagt:

‘Wir haben festgestellt, dass zeitliche Fehlanpassung sowohl die Generalisierung von Sprachmodellen als auch die Aufgabenergebnisse beeinflusst. Wir haben erhebliche Variationen in der Verschlechterung über Textdomänen und Aufgaben hinweg festgestellt. Über einen Zeitraum von fünf Jahren kann der F1-Score von Klassifizierern um bis zu 40 Punkte (politische Zugehörigkeit in Twitter) oder um nur einen Punkt (Yelp-Bewertungen) verschlechtern. Zwei verschiedene Aufgaben, die auf derselben Domäne definiert sind, können unterschiedliche Grade der Verschlechterung über die Zeit hinweg zeigen.’

Ungleichmäßige Aufteilung

Das Kernproblem besteht darin, dass Trainingsdatensätze normalerweise in zwei Gruppen aufgeteilt werden, manchmal in einem ziemlich unbalancierten Verhältnis von 80/20, aufgrund der begrenzten Datenverfügbarkeit. Die größere Datenmenge wird auf einem neuronalen Netzwerk trainiert, während die verbleibenden Daten als Kontrollgruppe verwendet werden, um die Genauigkeit des resultierenden Algorithmus zu testen.

In gemischten Datensätzen, die Material aus mehreren Jahren enthalten, kann eine ungleichmäßige Verteilung von Daten aus verschiedenen Zeiträumen bedeuten, dass die Evaluierungsdaten übermäßig aus Material einer bestimmten Epoche bestehen.

Dies kann dazu führen, dass sie ein schlechtes Testfeld für ein Modell darstellen, das auf einer vielfältigeren Mischung von Epochen (d. h. auf mehr des gesamten verfügbaren Daten) trainiert wurde. Es ist, als ob man seinen Großvater bitten würde, die neuesten K-Pop-Idole zu bewerten.

Die lange Umgehung wäre, mehrere Modelle auf zeitlich eingeschränkten Datensätzen zu trainieren und versuchen, kompatible Merkmale aus den Ergebnissen jedes Modells zu sammeln. Allerdings bedeutet allein die zufällige Initialisierung von Modellen, dass dieser Ansatz sein eigenes Set von Problemen bei der Erreichung von Modell-Parität und Gerechtigkeit hat – noch bevor man berücksichtigt, ob die mehreren beitragenden Datensätze ausreichend ähnlich waren, um das Experiment sinnvoll zu machen.

Daten und Training

Um die zeitliche Fehlanpassung zu bewerten, trainierten die Autoren vier Textkorpora über vier Domänen hinweg;

Twitter
…wo sie unbezeichnete Daten durch die Extraktion einer zufälligen Auswahl von 12 Millionen Tweets sammelten, die gleichmäßig zwischen 2015-2020 verteilt waren, und auf denen sie benannte Entitäten (d. h. Personen und Organisationen) und politische Zugehörigkeiten studierten.

Wissenschaftliche Artikel
…wo die Autoren unbezeichnete Daten aus dem Semantic Scholar-Korpus erhielten, das 650.000 Dokumente über einen Zeitraum von 30 Jahren umfasst, und auf denen sie die Klassifizierung von Erwähnungstypen (SciERC) und die Klassifizierung von AI-Veranstaltungen (AIC, die unterscheidet, ob ein Papier in AAAI oder ICML veröffentlicht wurde) studierten.

Nachrichtenartikel
…wo die Autoren neun Millionen Artikel aus dem Newsroom-Datensatz verwendeten, der einen Zeitraum von 2009-2016 umfasst, und auf denen sie drei Aufgaben durchführten: Nachrichtenzimmerzusammenfassung, Herausgeberklassifizierung und Medienrahmenklassifizierung (MFC), die letztere Aufgabe untersucht die wahrgenommene Priorisierung verschiedener Themen in den Nachrichtenausgaben.

Essenbewertungen
…wo die Forscher den Yelp Open Dataset für eine einzige Aufgabe verwendeten: Bewertungsklassifizierung von Bewertungen (YELPCLS), eine traditionelle Herausforderung der Sentimentanalyse, die typisch für viele NLP-Forschungen in diesem Bereich ist.

Ergebnisse

Die Modelle wurden auf GPT-2 ausgewertet, mit einer Reihe von resultierenden F1-Scores. Die Autoren fanden heraus, dass der Leistungsverlust durch zeitliche Fehlanpassung bidirektional ist, was bedeutet, dass Modelle, die auf aktuellen Daten trainiert werden, durch den Einfluss älterer Daten negativ beeinflusst werden können, und umgekehrt (siehe Bild am Anfang des Artikels für Grafiken). Die Autoren bemerken, dass dies besonders für sozialwissenschaftliche Anwendungen von Bedeutung ist.

Im Allgemeinen zeigen die Ergebnisse, dass zeitliche Fehlanpassung die Leistung erheblich verschlechtert und einen breiten Einfluss auf die meisten Aufgaben hat. Datensätze, die sehr lange Zeiträume abdecken, wie Jahrzehnte, verschärfen das Problem naturgemäß.

Die Autoren bemerken weiter, dass zeitliche Fehlanpassung auch bezeichnete sowie unbezeichnete Vortrainingsdaten beeinflusst. Zusätzlich haben ihre Versuche, die Auswirkungen durch Domänenanpassung (siehe unten) zu mildern, die Situation nicht wesentlich verbessert, obwohl sie behaupten, dass das Feintuning der Dateninformationen im Datensatz bis zu einem bestimmten Grad helfen kann.

Schlussfolgerung

Die Forscher bestätigen frühere Erkenntnisse, dass früher vorgeschlagene Abhilfen, die Domänenanpassung (DAPT, bei der eine Ausnahme für die Datenungleichheit gemacht wird) und zeitliche Anpassung (bei der die Daten nach Zeitraum ausgewählt werden) umfassen, wenig dazu beitragen, das Problem zu lindern.

Das Papier schließt*:

‘Unsere Experimente haben erhebliche Variationen in der zeitlichen Verschlechterung über Aufgaben hinweg gezeigt, mehr als in früheren Studien gefunden. Diese Erkenntnisse motivieren die fortgesetzte Untersuchung der zeitlichen Fehlanpassung über Anwendungen von NLP, ihre Berücksichtigung in Benchmark-Bewertungen und die Wachsamkeit von Praktikern, die in der Lage sind, die Leistung von Live-Systemen über die Zeit hinweg zu überwachen.

‘Bemerkenswerterweise haben wir beobachtet, dass die fortgesetzte Ausbildung von LMs auf zeitlich ausgerichteten Daten nicht viel bewirkt, was weitere Forschung motiviert, um effektive zeitliche Anpassungsmethoden zu finden, die weniger kostspielig sind als die fortgesetzte Sammlung von annotierten/bezeichneten Datensätzen über die Zeit hinweg.’

Die Autoren schlagen vor, dass weitere Untersuchungen zur kontinuierlichen Lernmethode, bei der die Daten ständig aktualisiert werden, in diesem Zusammenhang nützlich sein könnten, und dass Konzeptdrift und andere Methoden zur Erkennung von Aufgabenverschiebungen eine nützliche Hilfe bei der Aktualisierung von Datensätzen sein könnten.

* Meine Umwandlung von Inline-Zitaten in Hyperlinks.