Erstellung künstlicher mechanischer Türken mit vorgefertigten Sprachmodellen

Ein großer Teil der Entwicklung von maschinellen Lernsystemen hängt von der Beschriftung von Daten ab, bei der Hunderte, sogar Tausende von Fragen (wie Ist dies ein Bild einer Katze? und Ist dieser Text anstößig?) geklärt werden müssen, um autoritative Datensätze zu entwickeln, auf denen künstliche Intelligenz-Systeme trainiert werden.

Obwohl wir alle irgendwann zu diesem Prozess beitragen, werden die meisten dieser Beschriftungsaufgaben für Geld von menschlichen Arbeitern in Frameworks wie Amazon Mechanical Turk durchgeführt, wo Annotatoren kleine Klassifizierungsaufgaben in einer Stückarbeitswirtschaft erledigen.

Die Modellentwicklung wäre günstiger, wenn vorgefertigte Sprachmodelle (PLMs) einige der grundlegenden Human-Intelligence-Tasks (HITs) selbst übernehmen könnten, die derzeit auf AMT und ähnlichen Plattformen crowdsourct werden.

Aktuelle Forschung aus Deutschland und Huawei schlägt dies in dem Paper LMTurk: Few-Shot-Learner als Crowdsourcing-Arbeiter vor.

Sprachmodelle, die Few-Shot-Learning durchführen

Die Autoren schlagen vor, dass die einfacheren Schichten von Aufgaben, die normalerweise an (menschliche) Turk-Arbeiter gerichtet sind, analog zu Few-Shot-Learning sind, bei dem ein automatisiertes Framework eine Mini-Aufgabe auf der Grundlage einer kleinen Anzahl von Beispielen entscheiden muss, die ihm gegeben werden.

Sie schlagen daher vor, dass künstliche Intelligenz-Systeme effektiv von bestehenden PLMs lernen können, die ursprünglich von Crowdworkern trainiert wurden – dass das Kernwissen, das von Menschen auf Maschinen übertragen wurde, bereits erfolgreich vermittelt wurde, und dass, wo solches Wissen relativ unveränderlich oder empirisch ist, automatisierte Sprachmodell-Frameworks diese Aufgaben selbst ausführen können.

‘Unsere grundlegende Idee ist, dass wir für eine NLP-Aufgabe T Few-Shot-Learner als nicht-experte Arbeiter behandeln, die annotierte Ressourcen für die menschliche Sprachtechnologie ähneln. Wir werden von der Tatsache inspiriert, dass wir einen Crowdsourcing-Arbeiter als eine Art Few-Shot-Learner betrachten können.’

Die Implikationen umfassen die Möglichkeit, dass viele der Grundwahrheiten, auf denen künstliche Intelligenz-Systeme der Zukunft angewiesen sind, von Menschen bereits vor einigen Jahren abgeleitet wurden und danach als vorvalidierte und ausnutzbare Informationen behandelt werden, die keine weitere menschliche Intervention erfordern.

Arbeitsplätze für mittlere, semi-leistungsfähige Sprachmodelle

Neben der Motivation, die Kosten für menschliche Arbeit zu senken, schlagen die Forscher vor, mittlere PLMs als wirklich mechanische Türken zu verwenden, was nützliche Arbeit für diese “auch ran”-Systeme bietet, die zunehmend von Schlagzeilen, hyperskaligen und teuren Sprachmodellen wie GPT-3 überschattet werden, die für solche Aufgaben zu teuer und überdimensioniert sind.

‘Unser Ziel in diesem Paper ist es, Methoden zu entwickeln, die die aktuellen Few-Shot-Learner effektiver nutzen. Dies ist wichtig, weil eine zunehmende Anzahl von gigantischen Few-Shot-Learnern trainiert wird; wie man sie effektiv nutzt, ist also eine wichtige Frage. Insbesondere wollen wir eine Alternative zu schwer zu deployenden großen Modellen haben.

‘Gleichzeitig wollen wir die Stärken der PLMs voll ausschöpfen: Ihre Vielseitigkeit gewährleistet eine breite Anwendbarkeit über Aufgaben hinweg; ihr umfassendes Wissen über Sprache und die Welt (das während der Vorbereitung erlernt wurde) manifestiert sich in der DatenEffizienz von Few-Shot-Learnern, reduziert die Arbeits- und Zeitaufwände bei der Datenannotation.’

Bisher wurden Few-Shot-Learner in der NLP als verbrauchbare Zwischenstufen auf dem Weg zu hochentwickelten natürlichen Sprachsystemen behandelt, die viel ressourcenintensiver sind, und diese Arbeit wurde abstrakt und ohne Berücksichtigung der möglichen Nützlichkeit dieser Systeme durchgeführt.

Methode

Die Autoren bieten LMTurk (Language Model als mechanische Türke) in einem Workflow an, bei dem die Eingabe von diesem automatisierten HIT Labels für ein mittleres NLP-Modell liefert.

Ein grundlegendes Konzeptmodell für LMTurk. Quelle: https://arxiv.org/pdf/2112.07522.pdf

Bei dieser ersten Iteration wird auf Few-Shot-menschliche ‘Gold’-Daten zurückgegriffen, bei denen menschliche Türken Labels für eine begrenzte Anzahl von Aufgaben annotiert haben und die Labels gut bewertet wurden, entweder durch direkte menschliche Überwachung oder durch Konsensvotum. Die Implikation für dieses Schema ist, dass Forks oder Entwicklungen von diesem menschlich begründeten Startpunkt möglicherweise keine weitere menschliche Eingabe benötigen.

Obwohl die Autoren weitere Experimente mit späteren Hybridmodellen vorschlagen (bei denen menschliche Eingabe vorhanden, aber stark reduziert wäre), haben sie für die Zwecke ihrer Forschung LMTurk-Modelle nicht gegen äquivalente Ergebnisse von menschlich generierten HIT-Arbeitern gepitscht, da die Gold-beschrifteten Daten selbst ‘menschliche Eingabe’ sind.

Das PLM, das für die Durchführung von Turk-Operationen konzipiert wurde, wurde für die Aufgabe durch P-Tuning angepasst, einer Methode, die von Forschern aus China im Jahr 2021 veröffentlicht wurde und trainable kontinuierliche Prompt-Embeddings zur Verbesserung der Leistung von GPT-3-ähnlichen Modellen bei NLU-Aufgaben vorschlug.

P-Tuning versucht, die Vorhersagekraft eines GPT-ähnlichen Modells und dessen Erscheinungsbild des konzeptuellen Verständnisses von Sprache zu verbessern, indem es eingebettete Pseudo-Prompts integriert. In diesem Fall lautet die Startanfrage ‘Die Hauptstadt von Großbritannien ist ein [x]’. Quelle: https://arxiv.org/pdf/2103.10385.pdf

Daten und Architektur

LMTurk wurde auf fünf Datensätzen ausgewertet: zwei aus dem Stanford Sentiment Treebank; AG’s News Corpus; Recognizing Textual Entailment (RTE); und Corpus of Linguistic Acceptability (CoLA).

Für sein größeres Modell verwendet LMTurk die öffentlich verfügbaren PLMs ALBERT-XXLarge-v2 (AXLV2) als Quellmodell für die Umwandlung in eine automatisierte Türke. Das Modell verfügt über 223 Millionen Parameter (im Gegensatz zu den 175 Milliarden Parametern in GPT-3). AXLV2, so bemerken die Autoren, hat sich bereits als in der Lage erwiesen, höher skalierte Modelle wie 334M BERT-Large zu übertreffen.

Für ein agileres, leichteres und edge-deployables Modell verwendet das Projekt TinyBERT-General-4L-312D (TBG), das über 14,5 Millionen Parameter verfügt und eine Leistung aufweist, die mit BERT-Base (das 110 Millionen Parameter hat) vergleichbar ist.

Prompt-aktiviertes Training fand auf PyTorch und HuggingFace für AXLV2 über 100 Batch-Schritte bei einer Batch-Größe von 13, mit einer Lernrate von 5e-4 und linearer Abnahme statt. Jedes Experiment wurde mit drei verschiedenen zufälligen Samen initialisiert.

Ergebnisse

Das LMTurk-Projekt läuft diverse Modelle gegen so viele spezifische Subsektoren der NLP, dass die komplexen Ergebnisse der Experimente der Forscher nicht leicht auf empirische Beweise reduziert werden können, dass LMTurk selbst einen gangbaren Ansatz für die Wiederverwendung historischer, menschlich generierter Few-Shot-Learning-Szenarien bietet.

Für Auswertungszwecke vergleichen die Autoren ihre Methode mit zwei vorherigen Arbeiten: Ausbeutung von Cloze-Fragen für Few-Shot-Textklassifizierung und natürliche Sprachinferenz von deutschen Forschern Timo Schick und Hinrich Schutze; und Ergebnissen aus Prompt-Based Auto, die in Verbesserung der Few-Shot-Learning-Fähigkeiten von vorgefertigten Sprachmodellen von Gao, Chen und Fisch (jeweils von Princeton und MIT) vorgestellt werden.

Ergebnisse der LMTurk-Experimente, bei denen die Forscher ‘vergleichbare’ Leistung berichten.

Insgesamt bietet LMTurk eine relativ vielversprechende Forschungsrichtung für Forscher, die versuchen, gold-beschriftete, menschlich generierte Daten in entwickelnde, mittelkomplexe Sprachmodelle einzubetten, in denen automatisierte Systeme für menschliche Eingabe einstehen.

Wie bei der relativ geringen Anzahl vorheriger Arbeiten in diesem Bereich basiert das zentrale Konzept auf der Unveränderlichkeit der ursprünglichen menschlichen Daten und der Annahme, dass zeitliche Faktoren – die erhebliche Hindernisse für die NLP-Entwicklung darstellen können – keine weitere menschliche Intervention erfordern, wenn die maschinelle Abstammung fortschreitet.

Ursprünglich veröffentlicht am 30. Dezember 2022