Zephyr-7B: Hugging Faces hyperoptimiertes LLM, das auf Mistral 7B aufbaut

Einführung

Die Entwicklung von offenen großen Sprachmodellen (LLMs) hat die AI-Forschungsgemeinschaft erheblich beeinflusst, insbesondere bei der Entwicklung von Chatbots und ähnlichen Anwendungen. Nach der Veröffentlichung von Modellen wie LLaMA gab es einen Anstieg der Forschung zu effizienter Feinabstimmung, erweiterter Prompt-Verarbeitung, Retrieval-augmentierter Generation (RAG) und Quantisierung.

Das LLaMA-Modell markierte beispielsweise einen neuen Abschnitt in der Feinabstimmung und Prompt-Kontextualisierung, wodurch der Weg für nachfolgende Modelle wie MosaicMLs MPT, Together AIs RedPajama-INCITE, TIIs Falcon und Metas Llama 2 geebnet wurde. Jedes dieser Modelle trägt einzigartige Fähigkeiten bei, wodurch die Gesamtfunktionalität und der Umfang der LLMs verbessert werden.

Mistral AI, ein Startup aus Paris, das von ehemaligen Google-DeepMind- und Meta-Mitarbeitern gegründet wurde, hat sich mit seinem ersten Angebot einen Namen gemacht: Mistral 7B.

Mistral 7Bs Vorteil liegt in seiner Effizienz, da es ähnliche oder verbesserte Fähigkeiten im Vergleich zu seinen Peers wie Llama 2 bietet, jedoch mit geringerem Rechenaufwand.

Insbesondere für Anweisungsaufgaben optimiert, glänzt Mistral 7B Instruct auf Plattformen wie Hugging Face, wo es andere Modelle der gleichen Größe übertrifft und eng mit denen mit fast doppelt so vielen Parametern konkurriert.

Aufbauend darauf stellte Hugging Face Zephyr 7B Alpha vor, was zeigt, dass ein fein abgestimmtes Mistral 7B tatsächlich die Fähigkeiten viel größerer Chat-Modelle übertreffen und in einigen Aufgaben sogar GPT-4 konkurrieren kann. Der “Alpha” war nur der Anfang, da Zephyr 7B Beta kurz darauf folgte.

Dieser Artikel wird untersuchen, wie Zephyr 7B die Kraft größerer Modelle nutzt, um seine Fähigkeit zu verfeinern, auf menschliche Anweisungen zu reagieren und sich mit ihnen zu verbinden, ein Prozess, der durch die Technik der Wissensdestillation ermöglicht wird. Diese Methode beinhaltet das Training kleinerer Modelle auf den komplexen Mustern, die von größeren Modellen gelernt wurden, wodurch die Trainingsanforderungen reduziert werden, ohne die Sprachmodellierungs-Fähigkeiten zu beeinträchtigen. Wir werden uns mit den Details von Hugging Faces Wissensdestillationsansatz auseinandersetzen.

Wissensdestillation

Eine Schlüsselinnovation bei der Entwicklung von Modellen wie Zephyr-7B ist die destillierte überwachte Feinabstimmung (dSFT). Diese Methode beinhaltet die Verwendung der Ausgabe eines größeren, leistungsfähigeren “Lehrer”-Modells, um ein kleineres “Schüler”-Modell zu trainieren, wodurch dessen Genauigkeit verbessert wird. Obwohl die Destillation die offenen Modelle in verschiedenen Aufgaben verbessert, besteht immer noch eine Leistungsunterschied zu den Lehrer-Modellen.

Wissensdestillation ist eine Methode im Maschinellen Lernen, bei der ein kompaktes Modell, auch “Schüler” genannt, dazu gebracht wird, die Leistung eines größeren, komplexeren “Lehrer”-Modells zu replizieren. Diese Technik ermöglicht es dem Schüler, Aufgaben zu erledigen, die zuvor über seine Fähigkeiten hinausgingen, indem die feinen Muster, die vom Lehrer gelernt wurden, übertragen werden.

Wissensdestillation | Lehrer-Schüler-Modell

Das Schüler-Modell trainiert auf den Ausgabewahrscheinlichkeiten oder Merkmalen, die vom Lehrer-Modell generiert werden, und konzentriert sich darauf, diese Ausgaben zu matchen, anstatt nur die endgültigen Vorhersagen. Dies ermöglicht es dem Schüler, die nuancierten Entscheidungsprozesse des Lehrers zu erlernen, was oft zu einer verbesserten Leistung gegenüber dem Training mit nur den Ground-Truth-Daten führt.

Historisch gesehen wurde Wissensdestillation in Modellen wie Hintons ursprünglichen Destillationsnetzwerken und kürzlich in NLP mit Modellen wie DistilBERT eingesetzt, das das BERT-Modell in ein kleineres, schnelleres Modell destillierte, das die meisten der ursprünglichen Sprachverständnisfähigkeiten beibehielt. Ein weiteres Beispiel ist TinyBERT, das die Größe und Geschwindigkeit für mobile oder Edge-Geräte optimiert.

Im Falle von Zephyr-7B wird Wissensdestillation verwendet, um ein kleineres Modell mit 7B Parametern mit den Fähigkeiten seiner größeren Gegenstücke auszustatten. Indem dies geschieht, erreicht Zephyr-7B ein Gleichgewicht zwischen Leistung und Effizienz, was es für Umgebungen geeignet macht, in denen die Rechenressourcen begrenzt sind, ohne die Qualität der Interaktion und des Verständnisses zu beeinträchtigen.

Bei der Entwicklung von Zephyr-7B haben Forscher die Herausforderung angegangen, ein kleines offenes LLM vollständig durch Destillation auszurichten. Sie führten einen Ansatz namens destillierte direkte Präferenzoptimierung (dDPO) ein, der AI-Feedback von einem Ensemble von Lehrer-Modellen als Präferenzdaten verwendet. Diese Methode, die keine menschliche Annotation erfordert, reduziert die Zeit und Ressourcen, die für die Modellierung benötigt werden, erheblich.

Konstruktion von ZEPHYR-7B

Um dDPO zu validieren, konstruierten Forscher ZEPHYR-7B, eine ausgerichtete Version des Mistral-7B-Modells. Der Prozess umfasste drei Schritte:

1. dSFT unter Verwendung des UltraChat-Datensatzes: Destillierte überwachte Feinabstimmung (dSFT) ist eine fortschrittliche Methode, um große Sprachmodelle (LLMs) durch die Ausnutzung der Ausgabe größerer, leistungsfähigerer “Lehrer”-Modelle zu trainieren. Es beginnt mit einem rohen LLM, das trainiert wird, auf Benutzerprompts zu reagieren. Im Gegensatz zur traditionellen überwachten Feinabstimmung (SFT), die einen festen Datensatz verwendet, nutzt dSFT einen dynamischen Ansatz, bei dem das Modell selbst Anweisungen und Antworten generiert. Diese Methode, auch “self-instruct” genannt, umfasst die Verwendung des Lehrer-Modells, um sowohl Anweisungen als auch Antworten basierend auf Antworten zu verfeinern.
2. Einbeziehung von AI-Feedback-Daten aus UltraFeedback: Diese Daten waren entscheidend für die Verfeinerung der Modellantworten. In diesem Schritt generiert das Modell Antworten auf verschiedene Prompts (wie die Beschreibung, wie man Schokoladen-Brownies herstellt), die dann von einem fortgeschritteneren Modell wie GPT-4 bewertet werden. Die höchstbewertete Antwort (yw) und eine zufällig ausgewählte Antwort mit niedrigerer Bewertung (yl) bilden ein Feedback-Datensatz D.
3. Anwendung von dDPO: Die letzte Phase, destillierte direkte Präferenzoptimierung (dDPO), umfasst die Verfeinerung des dSFT-Modells durch Maximierung der Wahrscheinlichkeit, die bevorzugten Antworten höher zu bewerten. Dies wird durch die Verwendung einer Belohnungsfunktion rθ(x, y) im Präferenzmodell erreicht, die auf der optimalen LLM-Policy π* und der ursprünglichen Policy πdSFT basiert. Das Optimierungsziel wird als πθ = max π E (x, yw, yl) ∼ D log σ (β log π(yw|x)/πdSFT(yw|x) − β log π(yl|x)/πdSFT(yl|x)) formuliert, was den Trainingsprozess vereinfacht, indem es mit der dSFT-Version des Modells beginnt und durch jeden AIF-Dreischritt iteriert.

Die Methode, die in Zephyr-7B verwendet wird, spiegelt die Prozesse wider, die in InstructGPT verwendet werden.

Bemerkenswerterweise erreicht Zephyr-7B eine Leistung, die mit der viel größerer 70B-Parameter-Modelle vergleichbar ist, die mit menschlichem Feedback ausgerichtet wurden. Es übertrifft sowohl akademische Benchmarks als auch konversationale Fähigkeiten, was die Effektivität der Präferenzlernmethode in der Modellentwicklung unterstreicht. Für weitere Erkundungen sind Modelle, Code und Anweisungen auf Hugging Faces GitHub-Repository verfügbar.

Die Herausforderung der Absichtsausrichtung angehen

Ein bemerkenswerter Aspekt von LLMs war ihre Ausrichtung auf menschliche Absichten. Frühere Modelle konnten oft keine Antworten liefern, die den Benutzerpräferenzen entsprachen, was zu ungenauen oder irrelevanten Antworten führte. Neuere Benchmarks wie MT-Bench und AlpacaEval haben jedoch Werkzeuge bereitgestellt, um diesen Aspekt zu quantifizieren und zu verbessern, wodurch die überlegene Leistung von proprietären Modellen, die mit menschlichem Feedback trainiert wurden, gegenüber denen, die ausschließlich durch Destillation trainiert wurden, hervorgehoben wird.

Bewertungsmethoden

Die Bewertung von Zephyr 7B umfasste strenge Tests über Benchmarks, die die konversationellen Fähigkeiten eines Modells in sowohl einzelnen als auch mehrstufigen Kontexten bewerten:

• MT-Bench: Dieser mehrstufige Benchmark erfordert, dass ein Modell 160 Fragen in acht Bereichen beantwortet. Jede Antwort wird von GPT-4 bewertet, und die endgültige Punktzahl des Modells spiegelt den Durchschnitt über zwei Runden von Fragen wider.
• AlpacaEval: In diesem einstufigen Benchmark wird das Modell mit 805 Fragen in verschiedenen Themen konfrontiert. Der Fokus liegt hier auf der Nützlichkeit des Modells, wobei GPT-4 die Antworten bewertet, um eine vergleichbare Gewinnrate zu bestimmen.

Zusätzlich wurde Zephyr 7B auf der Open LLM Leaderboard getestet, die, obwohl sie keine direkte Bewertung der konversationellen Fähigkeiten bietet, Einblicke in die Fähigkeiten des Modells zur Argumentation und Wahrhaftigkeit nach der Feinabstimmung bietet.

Zephyr 7B wurde mit einer Vielzahl von offenen und proprietären Modellen verglichen, darunter Modelle mit unterschiedlichen Größen und Ausrichtungsmethoden. Es etablierte neue Benchmarks für 7B-Modelle auf MT-Bench und AlpacaEval und zeigte eine wettbewerbsfähige Leistung gegenüber größeren Modellen, was die Effektivität der direkten Präferenzoptimierung (dDPO) bei der Modellierung bestätigt.

Die SFT- und DPO-Trainingsphasen wurden sorgfältig konfiguriert, umfassten mehrere Epochen und Feinabstimmungslernraten und Batch-Größen für optimale Leistung. Das endgültige Zephyr-Modell erwies sich nicht nur als resistent gegen Überanpassung, sondern auch als verbessert bei der Bewältigung praktischer Aufgaben und akademischer Benchmarks.

Datensätze und Ergebnisse

Verwendete Datensätze

Bei der Entwicklung von Zephyr-7B wurden zwei wichtige Datensätze verwendet, um das Modell zu trainieren und zu verfeinern, von denen jeder unterschiedliche Aspekte der Dialoggenerierung anspricht:

UltraChat-Datensatz

• Quelle: Entwickelt aus Dialogen, die von GPT-3.5-TURBO generiert wurden.
• Inhalt: Enthält 1,47 Millionen mehrstufige Dialoge in 30 Themen und 20 Arten von Textmaterial.
• Verfeinerung: Der Datensatz wurde einer Truecasing-Heuristik unterzogen, um grammatische Probleme zu korrigieren, und Filter wurden angewendet, um die Nützlichkeit der Antworten zu erhöhen und unhelpful Prefacing-Phrasen zu eliminieren.

UltraFeedback-Datensatz

• Quelle: Umfasst Prompts, die von GPT-4 bewertet wurden, das die Antworten basierend auf Anweisungsverfolgung, Ehrlichkeit und Nützlichkeit bewertete.
• Inhalt: Enthält 64.000 Prompts mit jeweils vier Antworten, die von GPT-4 bewertet wurden.
• Binäre Präferenzen: Durch Auswahl der Antwort mit der höchsten mittleren Bewertung als “ausgewählt” und einer zufällig ausgewählten Antwort aus den verbleibenden als “abgelehnt”, um die Vielfalt zu erhöhen und den Direct-Preference-Optimization-Prozess (DPO) herauszufordern.

Beide Datensätze sind entscheidend für die Ausbildung von Zephyr-7B, um menschliche Dialoge zu verstehen und zu generieren, die anweisungsorientiert, ehrlich und nützlich sind. Diese Datensätze sind auf dem Hugging Face Hub verfügbar, den Sie hier finden können.

Leistung und Ergebnisse

Die folgende Grafik zeigt die Leistung von Zephyr 7B in verschiedenen Aufgabenkategorien im Vergleich zu anderen Modellen wie GPT-3.5-turbo, Claude 1, GPT-4 und Llama-2-70b-chat. Kategorien können schreiben, Geisteswissenschaften, Rollenspiel, Argumentation, STEM, Extraktion, Codierung und Mathematik umfassen.

Aus der Grafik können wir ableiten, in welchen Bereichen Zephyr 7B hervorragt und in welchen Bereichen möglicherweise weitere Verbesserungen erforderlich sind. Wenn beispielsweise Zephyrs Linie auf der Schreibachse weiter ausgedehnt ist als die anderer, deutet dies darauf hin, dass Zephyr besonders gut darin ist, geschriebene Inhalte zu generieren. Andererseits kann es, wenn die Linie auf der Mathematikachse näher am Zentrum liegt, darauf hindeuten, dass Zephyr möglicherweise Schwierigkeiten bei der Lösung von Mathematikproblemen hat.

Die Radar-Grafik hilft dabei, die Stärken und Schwächen von Zephyr 7B zu identifizieren und bietet eine visuelle Darstellung davon, wie es im Vergleich zu größeren Modellen wie GPT-4 und spezialisierten Modellen wie Llama-2-70b-chat abschneidet.

 

Modell-Leistungs-Radar-Grafik

Vergleich verschiedener Sprachmodelle in zwei Benchmarks: MT-Bench und AlpacaEval. Die Modelle werden anhand ihrer Größe, Ausrichtungsmethode (wie dSFT für destillierte überwachte Feinabstimmung oder dDPO für destillierte direkte Präferenzoptimierung) und Leistungspunktzahl bewertet. Zephyr ragt mit hohen Punktzahlen in beiden Benchmarks hervor, was seine Effektivität bei der Generierung ausgerichteter Antworten unterstreicht.

MT-Bench und AlpacaEval

Schlussfolgerung

Zusammenfassend lässt sich sagen, dass die Entwicklung von Zephyr-7B zeigt, dass die Ausrichtung und Destillation von konversationellen Fähigkeiten von einem großen Sprachmodell (LLM) auf ein kleineres Modell ohne Abhängigkeit von stichprobenbasierten Methoden erreicht werden kann. Durch die Verwendung der direkten Präferenzoptimierung (DPO) mit AI-Feedback nutzt Zephyr-7B die starke Grundlage von Mistral-7B, um einen neuen Benchmark für 7B-Parameter-Chat-Modelle zu setzen und die Fähigkeit kleinerer, offener Modelle zu demonstrieren, menschliche Absichten effektiv zu verstehen und zu reagieren.

Es gibt jedoch Einschränkungen in dieser Studie. Die Abhängigkeit von GPT-4 als Bewertungsmodell für Benchmarks führt zu einer Voreingenommenheit gegenüber Modellen, die von ihm destilliert wurden, was möglicherweise genaue Antworten bevorzugt. Darüber hinaus bleiben die Skalierbarkeit dieser Methode auf größere Modelle wie LLAMA2-70B und ihre Auswirkungen auf Leistungsgewinne Bereiche für weitere Forschungen. Diese Einschränkungen unterstreichen die Notwendigkeit kontinuierlicher Innovation und der Entwicklung unvoreingenommener Bewertungsmethoden in der AI-Gemeinschaft.

Wenn man über diese Studie hinausblickt, wird deutlich, dass das Potenzial kleinerer Modelle, auf dem Niveau größerer Gegenstücke zu performen, die Demokratisierung von KI vorantreiben kann, indem sie eine zugänglichere und effizientere Verwendung in verschiedenen Anwendungen ermöglicht. Der Erfolg von Zephyr-7B ermutigt zu weiterer Erforschung offener Modelle, was den Fortschritt in der KI durch die Förderung kooperativer Forschung und Entwicklung beschleunigen kann.