NLP Rise with Transformer Models | Eine umfassende Analyse von T5, BERT und GPT

Die Verarbeitung von natürlicher Sprache (NLP) hat in den letzten Jahren einige der bedeutendsten Durchbrüche erlebt, vor allem dank der Transformer-Architektur. Diese Durchbrüche haben nicht nur die Fähigkeiten von Maschinen verbessert, menschliche Sprache zu verstehen und zu generieren, sondern auch die Landschaft zahlreicher Anwendungen von Suchmaschinen bis hin zu konversationalem KI neu definiert.

Um die Bedeutung von Transformern vollständig zu würdigen, müssen wir uns zunächst die Vorgänger und Bausteine ansehen, die die Grundlage für diese revolutionäre Architektur gelegt haben.

Frühe NLP-Techniken: Die Grundlagen vor den Transformern

Wort-Embeddings: Von One-Hot zu Word2Vec

In herkömmlichen NLP-Ansätzen wurde die Darstellung von Wörtern oft buchstäblich und ohne jede Form semantischer oder syntaktischer Verständigung behandelt. One-Hot-Coding ist ein Beispiel für diese Einschränkung.

One-Hot-Coding ist ein Prozess, bei dem kategorische Variablen in eine binäre Vektor-Darstellung umgewandelt werden, bei der nur ein Bit “heiß” (auf 1 gesetzt) und alle anderen “kalt” (auf 0 gesetzt) sind. Im Kontext von NLP wird jedes Wort in einem Vokabular durch One-Hot-Vektoren dargestellt, bei denen jeder Vektor die Größe des Vokabulars hat und jedes Wort durch einen Vektor mit allen 0en und einer 1 an der dem Wort im Vokabular entsprechenden Position dargestellt wird.

Beispiel für One-Hot-Coding

Nehmen wir an, wir haben ein winziges Vokabular mit nur fünf Wörtern: [“König”, “Königin”, “Mann”, “Frau”, “Kind”]. Die One-Hot-Coding-Vektoren für jedes Wort würden wie folgt aussehen:

• “König” -> [1, 0, 0, 0, 0]
• “Königin” -> [0, 1, 0, 0, 0]
• “Mann” -> [0, 0, 1, 0, 0]
• “Frau” -> [0, 0, 0, 1, 0]
• “Kind” -> [0, 0, 0, 0, 1]

Mathematische Darstellung

Wenn wir $V$ als die Größe unseres Vokabulars und wi​ als die One-Hot-Vektor-Darstellung des i-ten Wortes im Vokabular bezeichnen, kann die mathematische Darstellung von wi​ wie folgt dargestellt werden:

wi​=[0,0,…,1,…,0,0] $\text{wobei die i-te Position 1 und alle anderen Positionen 0 sind.}$

Der größte Nachteil von One-Hot-Coding ist, dass es jedes Wort als isolierte Entität behandelt, ohne Bezug zu anderen Wörtern. Es resultiert in spärlichen und hochdimensionalen Vektoren, die keine semantischen oder syntaktischen Informationen über die Wörter erfassen.

Die Einführung von Wort-Embeddings, insbesondere Word2Vec, war ein wichtiger Moment in der NLP. Entwickelt von einem Team bei Google unter der Leitung von Tomas Mikolov im Jahr 2013, stellte Word2Vec Wörter in einem dichten Vektorraum dar, der syntaktische und semantische Wortbeziehungen basierend auf ihrem Kontext in großen Textkorpora erfasste.

Im Gegensatz zu One-Hot-Coding erzeugt Word2Vec dichte Vektoren, typischerweise mit Hunderten von Dimensionen. Wörter, die in ähnlichen Kontexten auftauchen, wie “König” und “Königin”, haben Vektor-Darstellungen, die sich im Vektorraum näher sind.

Um dies zu veranschaulichen, nehmen wir an, wir haben ein Word2Vec-Modell trainiert und stellen Wörter in einem hypothetischen 3-dimensionalen Raum dar. Die Embeddings (die normalerweise mehr als 3D sind, aber hier zur Vereinfachung reduziert werden) könnten wie folgt aussehen:

• “König” -> [0,2, 0,1, 0,9]
• “Königin” -> [0,21, 0,13, 0,85]
• “Mann” -> [0,4, 0,3, 0,2]
• “Frau” -> [0,41, 0,33, 0,27]
• “Kind” -> [0,5, 0,5, 0,1]

Obwohl diese Zahlen fiktiv sind, veranschaulichen sie, wie ähnliche Wörter ähnliche Vektoren haben.

Mathematische Darstellung

Wenn wir die Word2Vec-Embedding eines Wortes als vw​ darstellen und unser Embedding-Raum $d$ Dimensionen hat, kann vw​ wie folgt dargestellt werden:

vw​=[v1​,v2​,…,vd​] wobei jeder vi​ ein Gleitkommazahl ist, die ein Merkmal des Wortes im Embedding-Raum darstellt.

Semantische Beziehungen

Word2Vec kann sogar komplexe Beziehungen erfassen, wie z.B. Analogien. Zum Beispiel ist die berühmte Beziehung, die durch Word2Vec-Embeddings erfasst wird:

$\text{Vektor(“König”) – Vektor(“Mann”) + Vektor(“Frau”)}\approx \text{Vektor(“Königin”)}$

Dies ist möglich, weil Word2Vec die Wortvektoren während des Trainings so anpasst, dass Wörter, die gemeinsame Kontexte im Korpus haben, im Vektorraum nah beieinander liegen.

Word2Vec verwendet zwei Hauptarchitekturen, um eine verteilte Darstellung von Wörtern zu erzeugen: Continuous Bag-of-Words (CBOW) und Skip-Gram. CBOW prognostiziert ein Zielwort aus seinen umgebenden Kontextwörtern, während Skip-Gram das Gegenteil tut und Kontextwörter aus einem Zielwort prognostiziert. Dies ermöglichte es Maschinen, Wortverwendung und -bedeutung auf eine nuanciertere Weise zu verstehen.

Sequenz-Modellierung: RNNs und LSTMs

Wenn sich das Feld weiterentwickelte, verlagerte sich der Fokus auf das Verständnis von Textsequenzen, was für Aufgaben wie maschinelle Übersetzung, Textzusammenfassung und Sentiment-Analyse von entscheidender Bedeutung war. Rekurrente Neuronale Netze (RNNs) wurden zum Eckpfeiler für diese Anwendungen, da sie sequenzielle Daten durch die Aufrechterhaltung einer Form von Gedächtnis verarbeiten konnten.

Allerdings hatten RNNs ihre eigenen Einschränkungen. Sie hatten Schwierigkeiten mit langfristigen Abhängigkeiten aufgrund des Vanishing-Gradient-Problems, bei dem Informationen über lange Sequenzen verloren gehen und es schwierig wird, Korrelationen zwischen entfernten Ereignissen zu lernen.

Long Short-Term Memory-Netze (LSTMs), die 1997 von Sepp Hochreiter und Jürgen Schmidhuber eingeführt wurden, adressierten dieses Problem mit einer komplexeren Architektur. LSTMs haben Tore, die den Informationsfluss steuern: das Eingabetor, das Vergessenstor und das Ausgabstor. Diese Tore bestimmen, welche Informationen gespeichert, aktualisiert oder verworfen werden, was es dem Netzwerk ermöglicht, langfristige Abhängigkeiten zu bewahren und die Leistung bei einer Vielzahl von NLP-Aufgaben erheblich zu verbessern.

Die Transformer-Architektur

Die Landschaft der NLP unterzog sich einer dramatischen Veränderung mit der Einführung des Transformer-Modells im wegweisenden Paper “Attention is All You Need” von Vaswani et al. im Jahr 2017. Die Transformer-Architektur weicht von der sequenziellen Verarbeitung von RNNs und LSTMs ab und nutzt stattdessen einen Mechanismus namens “Self-Attention”, um den Einfluss verschiedener Teile der Eingabedaten zu bewerten.

Die Kernidee des Transformers ist, dass er die gesamten Eingabedaten auf einmal verarbeiten kann, anstatt sequenziell. Dies ermöglicht eine viel größere Parallelisierung und somit eine signifikante Erhöhung der Trainingsgeschwindigkeit. Der Self-Attention-Mechanismus ermöglicht es dem Modell, sich auf verschiedene Teile des Textes zu konzentrieren, während es verarbeitet wird, was für das Verständnis des Kontexts und der Beziehungen zwischen Wörtern unerlässlich ist.

Encoder und Decoder in Transformern:

Im ursprünglichen Transformer-Modell, wie es im Paper “Attention is All You Need” von Vaswani et al. beschrieben wird, ist die Architektur in zwei Hauptteile unterteilt: den Encoder und den Decoder. Beide Teile bestehen aus Schichten, die die gleiche allgemeine Struktur haben, aber unterschiedliche Zwecke erfüllen.

Encoder:

• Rolle: Die Rolle des Encoders besteht darin, die Eingabedaten zu verarbeiten und eine Darstellung zu erstellen, die die Beziehungen zwischen den Elementen (wie Wörtern in einem Satz) erfasst. Dieser Teil des Transformers erzeugt keine neuen Inhalte; er transformiert die Eingabe lediglich in einen Zustand, den der Decoder verwenden kann.
• Funktionalität: Jede Encoderschicht verfügt über Self-Attention-Mechanismen und Feed-Forward-Neuronale Netze. Der Self-Attention-Mechanismus ermöglicht es jedem Position im Encoder, auf alle Positionen in der vorherigen Schicht des Encoders zuzugreifen – somit kann er den Kontext um jedes Wort herum lernen.
• Kontextuelle Embeddings: Die Ausgabe des Encoders ist eine Reihe von Vektoren, die die Eingabesequenz in einem hochdimensionalen Raum darstellen. Diese Vektoren werden oft als kontextuelle Embeddings bezeichnet, da sie nicht nur die einzelnen Wörter, sondern auch ihren Kontext im Satz erfassen.

Decoder:

• Rolle: Die Rolle des Decoders besteht darin, Ausgabedaten sequenziell zu erzeugen, eine nach der anderen, basierend auf den Eingaben, die er vom Encoder erhält, und dem, was er bereits erzeugt hat. Er ist für Aufgaben wie Texterzeugung konzipiert, bei denen die Reihenfolge der Erzeugung von entscheidender Bedeutung ist.
• Funktionalität: Decoder-Schichten enthalten ebenfalls Self-Attention-Mechanismen, die jedoch maskiert sind, um zu verhindern, dass Positionen auf nachfolgende Positionen zugreifen. Dies stellt sicher, dass die Vorhersage für eine bestimmte Position nur von bekannten Ausgaben abhängt, die vorherigen Positionen. Zusätzlich enthalten die Decoder-Schichten einen zweiten Aufmerksamkeitsmechanismus, der auf die Ausgabe des Encoders achtet und den Kontext aus der Eingabe in den Erzeugungsprozess integriert.
• Sequenzielle Erzeugungsfähigkeiten: Dies bezieht sich auf die Fähigkeit des Decoders, eine Sequenz Schritt für Schritt zu erzeugen, basierend auf dem, was er bereits produziert hat. Beispielsweise kann der Decoder bei der Texterzeugung das nächste Wort basierend auf dem Kontext, den der Encoder bereitgestellt hat, und der Sequenz von Wörtern, die er bereits erzeugt hat, vorhersagen.

Jede dieser Subschichten im Encoder und Decoder ist für die Fähigkeit des Modells entscheidend, komplexe NLP-Aufgaben zu bewältigen. Der Multi-Head-Attention-Mechanismus ermöglicht es dem Modell insbesondere, selektiv auf verschiedene Teile der Sequenz zu achten und so ein tiefes Verständnis des Kontexts zu erlangen.

Beliebte Modelle, die auf Transformern basieren

Nach dem anfänglichen Erfolg des Transformer-Modells gab es eine Explosion neuer Modelle, die auf seiner Architektur basieren, jedes mit eigenen Innovationen und Optimierungen für verschiedene Aufgaben:

BERT (Bidirektionale Encoder-Repräsentationen aus Transformern): Eingeführt von Google im Jahr 2018, revolutionierte BERT die Art und Weise, wie kontextuelle Informationen in Sprachrepräsentationen integriert werden. Durch das Pre-Training auf einem großen Textkorpus mit einem maskierten Sprachmodell und der Vorhersage des nächsten Satzes erfasst BERT reiche bidirektionale Kontexte und hat auf einer Vielzahl von NLP-Aufgaben Spitzenleistungen erzielt.

BERT

T5 (Text-zu-Text-Transfer-Transformer): Eingeführt von Google im Jahr 2020, reformuliert T5 alle NLP-Aufgaben als Text-zu-Text-Probleme, indem es ein einheitliches textbasiertes Format verwendet. Dieser Ansatz vereinfacht den Prozess der Anwendung des Modells auf eine Vielzahl von Aufgaben, einschließlich Übersetzung, Zusammenfassung und Fragebeantwortung.

T5-Architektur

GPT (Generatives Pre-Training-Transformer): Entwickelt von OpenAI, begann die GPT-Modellreihe mit GPT-1 und erreichte GPT-4 im Jahr 2023. Diese Modelle werden durch unsupervidiertes Lernen auf großen Textdatenmengen pre-getrainiert und für verschiedene Aufgaben feinjustiert. Ihre Fähigkeit, kohärente und kontextuell relevante Texte zu generieren, hat sie in akademischen und kommerziellen KI-Anwendungen sehr einflussreich gemacht.

GPT-Architektur

Hier ist ein detaillierter Vergleich der T5-, BERT- und GPT-Modelle in verschiedenen Dimensionen:

1. Tokenisierung und Vokabular

• BERT: Verwendet WordPiece-Tokenisierung mit einer Vokabulargröße von etwa 30.000 Token.
• GPT: Verwendet Byte-Pair-Coding (BPE) mit einer großen Vokabulargröße (z.B. hat GPT-3 eine Vokabulargröße von 175.000).
• T5: Verwendet SentencePiece-Tokenisierung, die den Text als Rohdaten behandelt und keine vorsegmentierten Wörter erfordert.

2. Pre-Training-Ziele

• BERT: Maskiertes Sprachmodell (MLM) und Satzvorhersage (NSP).
• GPT: Kausales Sprachmodell (CLM), bei dem jedes Token das nächste Token in der Sequenz vorhersagt.
• T5: Verwendet ein Rausch-Objekt, bei dem zufällige Textspannen durch ein Sentinel-Token ersetzt werden und das Modell den ursprünglichen Text rekonstruieren muss.

3. Eingabe-Darstellung

• BERT: Token-, Segment- und Positional-Embeddings werden kombiniert, um die Eingabe darzustellen.
• GPT: Token- und Positional-Embeddings werden kombiniert (keine Segment-Embeddings, da es nicht für Satzpaar-Aufgaben konzipiert ist).
• T5: Nur Token-Embeddings mit relativen Positional-Encodings während der Aufmerksamkeitsoperationen.

4. Aufmerksamkeitsmechanismus

• BERT: Verwendet absolute Positional-Encodings und ermöglicht es jedem Token, auf alle Token links und rechts zuzugreifen (bidirektionale Aufmerksamkeit).
• GPT: Verwendet auch absolute Positional-Encodings, aber beschränkt die Aufmerksamkeit auf vorherige Token (unidirektionale Aufmerksamkeit).
• T5: Implementiert eine Variante des Transformers, die relative Positional-Verzerrungen anstelle von Positional-Encodings verwendet.

5. Modell-Architektur

• BERT: Encoder-Only-Architektur mit mehreren Schichten von Transformer-Blöcken.
• GPT: Decoder-Only-Architektur, ebenfalls mit mehreren Schichten, aber für generative Aufgaben konzipiert.
• T5: Encoder-Decoder-Architektur, bei der sowohl der Encoder als auch der Decoder aus Transformer-Schichten bestehen.

6. Feinjustierungsansatz

• BERT: Pasiert die endgültigen versteckten Zustände des pre-getrainierten Modells für Downstream-Aufgaben mit zusätzlichen Ausgabeschichten, falls erforderlich.
• GPT: Fügt eine lineare Schicht auf den Transformer und feinjustiert auf die Downstream-Aufgabe mit dem gleichen kausalen Sprachmodell-Objekt.
• T5: Wandelt alle Aufgaben in ein Text-zu-Text-Format um, bei dem das Modell feinjustiert wird, um die Ziel-Sequenz aus der Eingabe-Sequenz zu generieren.

7. Trainingsdaten und Skalierbarkeit

• BERT: Trainiert auf BooksCorpus und englischer Wikipedia.
• GPT: GPT-2 und GPT-3 wurden auf diverse Datensätze trainiert, die aus dem Internet extrahiert wurden, wobei GPT-3 auf einem noch größeren Korpus namens Common Crawl trainiert wurde.
• T5: Trainiert auf dem “Colossal Clean Crawled Corpus”, einer großen und sauberen Version des Common Crawl.

8. Umgang mit Kontext und Bidirektionalität

• BERT: Konzipiert, um Kontext in beide Richtungen gleichzeitig zu verstehen.
• GPT: Trainiert, um Kontext in einer Richtung (von links nach rechts) zu verstehen.
• T5: Kann bidirektionalen Kontext im Encoder und unidirektionalen Kontext im Decoder modellieren, was für Sequenz-zu-Sequenz-Aufgaben geeignet ist.

9. Anpassungsfähigkeit an Downstream-Aufgaben

• BERT: Erfordert Aufgaben-spezifische Kopfschichten und Feinjustierung für jede Downstream-Aufgabe.
• GPT: Ist generativ und kann mit minimalen Änderungen an seiner Struktur auf Aufgaben vorbereitet werden.
• T5: Behandelt jede Aufgabe als “Text-zu-Text”-Problem, was es von Natur aus flexibel und anpassungsfähig an neue Aufgaben macht.

10. Interpretierbarkeit und Erklärbarkeit

• BERT: Die bidirektionale Natur bietet reiche kontextuelle Embeddings, kann aber schwieriger zu interpretieren sein.
• GPT: Die unidirektionale Kontext kann einfacher zu verfolgen sein, aber fehlt an der Tiefe des bidirektionalen Kontexts.
• T5: Die Encoder-Decoder-Architektur bietet eine klare Trennung der Verarbeitungsschritte, kann aber aufgrund ihrer generativen Natur komplex zu analysieren sein.

Der Einfluss von Transformern auf die NLP

Transformern haben das Feld der NLP revolutioniert, indem sie es Modellen ermöglichten, Sequenzen von Daten parallel zu verarbeiten, was die Trainingsgeschwindigkeit großer neuronaler Netze dramatisch erhöhte. Sie führten den Self-Attention-Mechanismus ein, der es Modellen ermöglicht, die Bedeutung jedes Teils der Eingabedaten zu bewerten, unabhängig von der Entfernung innerhalb der Sequenz. Dies führte zu beispiellosen Verbesserungen in einer Vielzahl von NLP-Aufgaben, einschließlich, aber nicht beschränkt auf Übersetzung, Fragebeantwortung und Textzusammenfassung.

Die Forschung arbeitet weiter daran, die Grenzen dessen zu erweitern, was transformerbasierte Modelle erreichen können. GPT-4 und seine Zeitgenossen sind nicht nur größer im Umfang, sondern auch effizienter und leistungsfähiger dank Fortschritten in Architektur und Trainingsmethoden. Techniken wie Few-Shot-Learning, bei dem Modelle Aufgaben mit minimalen Beispielen ausführen, und Methoden für effektiveres Transfer-Learning stehen im Mittelpunkt der aktuellen Forschung.

Die Sprachmodelle wie die auf Transformern basierenden lernen aus Daten, die Vorurteile enthalten können. Forscher und Praktiker arbeiten aktiv daran, diese Vorurteile zu identifizieren, zu verstehen und zu mindern. Techniken reichen von kuratierten Trainingsdatensätzen bis hin zu Anpassungen nach dem Training, die auf Fairness und Neutralität abzielen.