Verbesserung von Text-Embeddings mit großen Sprachmodellen

Text-Embeddings sind Vektor-Darstellungen von Wörtern, Sätzen, Absätzen oder Dokumenten, die ihre semantische Bedeutung erfassen. Sie dienen als grundlegender Baustein in vielen Anwendungen der natürlichen Sprachverarbeitung (NLP) heute, einschließlich Informationsabruf, Fragebeantwortung, semantischer Suche und mehr.

Vektor-Embedding

Aktuelle Fortschritte in großen Sprachmodellen (LLMs) wie GPT-3 haben beeindruckende Fähigkeiten in Few-Shot-Learning und natürlicher Sprachgenerierung gezeigt. Können wir LLMs auch nutzen, um Text-Embeddings zu verbessern? In ihrem Paper “Verbesserung von Text-Embeddings mit großen Sprachmodellen” schlagen Forscher von Microsoft (MSFT ) eine neue Methode vor, die durch die Generierung synthetischer Trainingsdaten mit LLMs und Feinabstimmung darauf überlegene Ergebnisse erzielt.

Herausforderungen bei bestehenden Methoden

Traditionelle Text-Embedding-Techniken wie gewichtete Mittelwerte von Wortvektoren oder TF-IDF erfassen die reiche kontextuelle Information in Texten nicht ausreichend. Neuere Methoden, die auf vorgebildeten Sprachmodellen wie BERT basieren, liefern viel bessere kontextbewusste Embeddings.

Allerdings erfordern sie komplexe Mehrstufen-Trainingspipelines:

• Vorabstimmung auf Milliarden schwach beschrifteter oder künstlicher Textpaare
• Feinabstimmung auf begrenzte, von Hand kuratierte Datensätze

Dies erfordert massive Rechenressourcen und menschliche Anstrengung für die Datenerfassung. Die Trainingsdaten sind auch in Vielfalt und Sprachabdeckung eingeschränkt. Zum Beispiel umfasst der BEIR-Benchmark Datensätze für nur 15 Abrufaufgaben in Englisch.

Bestehende Methoden nutzen überwiegend kleinere BERT-ähnliche Architekturen als Backbone-Modell. Sie können nicht von fortgeschritteneren LLMs und verwandten Techniken profitieren.

Methodik: Synthetische Datengenerierung mit LLMs

Um diese Einschränkungen zu überwinden, schlagen die Forscher einen neuen einstufigen Trainingsansatz vor, der LLMs wie GPT-3 und GPT-4 nutzt, um vielfältige synthetische Trainingsdaten zu generieren.

Die Schlüsselschritte sind:

1. Aufgaben-Taxonomie: Definieren einer Taxonomie, die Text-Embedding-Aufgaben in kategorisiert:
   • Asymmetrische Aufgaben (Abfrage und Dokument sind keine Paraphrasen, z.B. Suche)
   • Symmetrische Aufgaben (Abfrage und Dokument sind Paraphrasen, z.B. semantische Ähnlichkeit)
2. Prompt-Design: Erstellen von Prompt-Vorlagen, die auf jede Aufgabentyp zugeschnitten sind und den LLM anleiten, relevante Trainingsbeispiele zu generieren.
3. Synthetische Datengenerierung: Prompten des LLM mit den entworfenen Prompts, um Hunderttausende von (Abfrage, Dokument)-Paaren zu generieren, die eine breite Vielfalt semantischer Aufgaben in 93 Sprachen abdecken.
4. Modell-Training: Feinabstimmung eines leistungsstarken Open-Source-LLMs wie Mistral auf den synthetischen Daten unter Verwendung von kontrastivem Verlust.

Diese Methodik ermöglicht die Erstellung umfangreicher Trainingsdaten für vielfältige Aufgaben in mehreren Sprachen ohne menschliche Beschriftungsanstrengung. Durch die Nutzung des in LLMs durch Vorabstimmung auf Web-Skalen-Korpora bereits eingebetteten Wissens können wir hochwertige Daten genau für Text-Embeddings synthetisieren.

Die Forscher demonstrieren dies mit einer 2-Schritt-Prompt-Strategie:

• Prompten von GPT-4, um potenzielle Abrufaufgaben vorzuschlagen

• Prompten es erneut, um (Abfrage, Dokument)-Beispiele basierend auf den vorgeschlagenen Aufgaben zu generieren

Einige wichtige Aspekte des Prompt-Designs:

• Natürliche Sprachprompts für intuitive, menschliche Anweisungen
• Platzhalter, um Vielfalt zu fördern (z.B. Abfrage-Länge, Klarheit, Dokument-Länge)
• Kombinieren von Daten aus mehreren Vorlagen für den gleichen Aufgabentyp
• Gewichtung von Sprachen basierend auf Ressourcenverfügbarkeit

Insgesamt konnten sie 500.000 Text-Embedding-Beispiele bei einem Rechenaufwand von 180 Millionen Token generieren. Die dominierende Sprache war Englisch (43%), gefolgt von Polnisch, Japanisch, Italienisch und anderen.

Für das Modell-Training wählten sie die Feinabstimmung des Open-Source-Modells Mistral mit 7 Milliarden Parametern anstelle kleinerer BERT-ähnlicher Architekturen. Da Mistral bereits auf großen Textkorpora vorabgestimmt war, war keine zusätzliche kontrastive Vorabstimmung erforderlich. Die Hinzufügung bot vernachlässigbare Verbesserungen.

Die gesamte Feinabstimmung dauerte weniger als 1.000 Schritte und nutzte eine Mischung aus synthetischen und von Hand beschrifteten Daten. Dies demonstriert die Stichproben-Effizienz des vorgeschlagenen Ansatzes.

Ergebnisse

Die Forscher bewerteten ihr Modell am MTEB-Benchmark, der diverse Aufgaben im Bereich Klassifizierung, Clustering, semantische Ähnlichkeit, Zusammenfassung und Informationsabruf abdeckt.

Ihr Modell übertraf den vorherigen Stand der Technik um 2,4 Punkte im Durchschnittswert und etablierte neue Rekorde für fast jede Kategorie:

Bemerkenswerterweise erreichte es auch ohne Verwendung von beschrifteten Daten und ausschließlich auf synthetischen Daten wettbewerbsfähige Genauigkeit – nur 3,5 Punkte hinter dem vollständig überwachten Modell. Dies demonstriert die Machbarkeit der Generierung von Text-Embeddings nur mit LLMs, ohne menschliche Beschriftungsanstrengung.

Die Forscher bewerteten ihr Modell auch am multilingualen MIRACL-Benchmark, der 18 Sprachen abdeckt. Ihr Modell übertraf den vorherigen Stand der Technik bei Sprachen mit vielen Ressourcen, war aber schwächer bei Sprachen mit wenigen Ressourcen. Sie vermuten, dass dies durch umfangreichere Vorabstimmung von LLMs auf Sprachen mit wenigen Ressourcen gemildert werden könnte.

Zusammenfassend etablieren Text-Embeddings, die auf LLM-generierten synthetischen Daten trainiert werden, neue Stand-der-Technik-Ergebnisse, während sie einfacheren und effizienteren Trainings im Vergleich zu vorherigen Mehrstufen-Ansätzen nutzen. Mit weiterer Forschung in Prompt-Engineering und synthetischer Datenqualität könnte diese Methodik multilinguale Text-Embeddings erheblich vorantreiben.

Analyse

Diese Arbeit bietet mehrere wertvolle Erkenntnisse:

• LLMs wie GPT-3 und GPT-4 haben eine beeindruckende Fähigkeit, hochwertige synthetische Trainingsdaten für vielfältige NLP-Aufgaben zu generieren, wenn sie entsprechend promptet werden. Dies kann die Abhängigkeit von menschlich beschrifteten Daten verringern.
• Für Text-Embeddings bietet kontrastive Vorabstimmung gegenüber der Feinabstimmung von Modellen wie Mistral, die bereits auf trillionsskaligen Textkorpora vorabgestimmt wurden, vernachlässigbare Gewinne. Dies ist ein wichtiger Einblick in die Trainings-Effizienz.
• Abruf-gestützte Generierungsmethoden ermöglichen es LLMs, externes Wissen dynamisch abzurufen. Daher ist die Verbesserung von Text-Embeddings wertvoll für die Verbesserung dieser LLMs.
• Es gibt noch viel Raum für Verbesserung bei Sprachen mit wenigen Ressourcen. Multilinguale LLMs, die auf repräsentativeren Daten vorabgestimmt wurden, könnten helfen, diese Lücke zu schließen.
• Konzeptionell sind Sprachmodellierung und Text-Embeddings zwei Seiten derselben Medaille – das Verständnis von Sprachsemantik. Durch synthetische Datengenerierung können LLMs organisch in Embedder feinabgestimmt werden, ohne komplexe Pipelines zu benötigen.

Einige vielversprechende Richtungen für zukünftige Arbeiten umfassen:

• Nutzen von Open-Source-LLMs wie GPT-NeoX zur Generierung synthetischer Daten
• Erforschung von leichten Post-Trainingsmethoden, um Embedder an längere Kontexte anzupassen
• Entwicklung von Prompt-Engineering-Techniken, um Qualität und Aufgabenabdeckung zu kontrollieren
• Methoden zur Verbesserung der Inferenz-Latenz und der Speicherkosten für industrielle Anwendungen

Jenseits der Überwindung von Benchmarks bietet die Nutzung großer Sprachmodelle, um Text-Embeddings zu verbessern, interessante Möglichkeiten für die Zukunft. Wenn LLMs ihre Beherrschung der natürlichen Sprache weiter verbessern, wird ihre Fähigkeit, hochwertige synthetische Daten zu generieren, wahrscheinlich ebenfalls verbessert.

Allerdings bleiben kritische Forschungsrichtungen bestehen, um dieses Potenzial in realen Einfluss umzusetzen.

Anpassung und Kontrolle

Ein wichtiger Vorteil von synthetischen Daten ist die Fähigkeit, Beispiele programmgesteuert zu generieren, die auf spezifische Bedürfnisse zugeschnitten sind. Wie das Paper demonstrierte, ermöglicht Prompt-Engineering die Erstellung von Trainingsdaten für Hunderttausende von Embedding-Aufgaben.

Dennoch bleiben aktuelle Prompt-Design-Praktiken mehr Kunst als Wissenschaft. Die Entwicklung systematischer, reproduzierbarer Methoden, um die Eigenschaften der generierten Daten genau zu kontrollieren, würde die Anwendbarkeit dieser Technik erweitern.

Zum Beispiel könnten Techniken zur Modulation von Faktoren wie Komplexität, Mehrdeutigkeit und Neuheit von Beispielen helfen, Robustheitsprobleme in nachgelagerten Aufgaben anzugehen. Dynamische Prompt-Generierung, um sich verändernden realen Verteilungen anzupassen, ist eine weitere offene Herausforderung.

Training im großen Maßstab

Während vorgebildete LLMs bereits umfangreiches sprachliches Wissen enthalten, sind ihre Fähigkeiten zur Datengenerierung wahrscheinlich weiter zu verbessern, wenn sie im größeren Maßstab trainiert werden. Modelle wie GPT-4, die auf Trillionen von Token aus Internet-Texten trainiert wurden, zeigen starke Few-Shot-Learning-Fähigkeiten, wurden aber nicht speziell für die Synthese von Trainingsdaten optimiert.

Architekturen und Ziele, die speziell für die Selbstunterstützung von Datengenerierung im Web-Maßstab konzipiert sind, könnten die Qualität und Effizienz dieser Methodik erheblich vorantreiben. Eine effiziente Integration abgerufener Kenntnisse, um gelernte Kenntnisse zu ergänzen, ist eine weitere vielversprechende Richtung.

Multitask und Multilingual

Wie das Paper feststellte, bleibt die Verbesserung der Leistung bei Sprachen mit wenigen Ressourcen ein Problem. Anstatt ein einzelnes massives LLM vorzutrainieren, könnte eine Alternative darin bestehen, eine Flotte kleinerer Experten-Modelle zu trainieren, die sich auf bestimmte Daten-Modalitäten oder Sprach-Domänen spezialisieren.

Ein solcher Ensemble-Ansatz könnte dazu beitragen, die Abdeckung über seltene Aufgaben und Sprachen zu verbessern, indem er Repräsentationen teilt, die über Experten gelernt wurden. Kontinuierliches Lernen, um Sprach- und Aufgaben-Expertenwissen über die Zeit zu erweitern, ist ein weiteres aufregendes Perspektiv.

Zusammenfassend führt diese Arbeit eine innovative Konzeption von synthetischen Trainingsdaten aus LLMs zur Erstellung leistungsfähiger Text-Embeddings ein. Ihre Ergebnisse demonstrieren die Effektivität dieser Methodik, die vorherige Benchmarks übertrifft. Wenn LLMs und synthetische Datentechniken fortschreiten, könnte das Nutzen ihres Wissens, um Embedder zu trainieren, eine vielversprechende Richtung werden.