Die Fähigkeit und Leistung kleinerer, offener großer Sprachmodelle haben sich in den letzten Jahren erheblich verbessert, und wir haben den Fortschritt von den frühen GPT-2-Modellen zu kompakteren, genauereren und effektiveren LLM-Rahmenwerken beobachtet, die eine wesentlich größere Anzahl von Token verwenden als die “computeroptimale” Anzahl von Token, die von den Chinchilla-Skalierungsgesetzen empfohlen wird. Darüber hinaus haben Entwickler gezeigt, dass diese kleineren LLM-Rahmenwerke weiter mit einem proprietären Modell-basierten Ansatz für dSFT oder Destillierte Überwachte Feinabstimmung trainiert werden können, der die Ausgabe eines effektiven Lehrermodells als überwachte Daten für das Schülermodell verwendet, um die Genauigkeit zu verbessern.

In diesem Artikel werden wir über das Zephyr-7B-Rahmenwerk sprechen, ein State-of-the-Art-Chat-Benchmark für 7B-Parameter-Modelle, der keine menschlichen Annotationen erfordert. Das primäre Ziel des Rahmenwerks ist es, Entwicklern zu ermöglichen, kleinere große Sprachmodelle zu erstellen, die enger mit der Benutzerabsicht ausgerichtet sind als je zuvor. Das Zephyr-7B-Rahmenwerk untersucht nicht nur die Anwendung aktueller Ansätze für größere LLM-Rahmenwerke wie dSFT, sondern erforscht auch die Möglichkeit, andere Ansätze zu verwenden, um ein Chat-Modell mit besserer Ausrichtung mit der Benutzerabsicht zu lernen. Wir werden uns mit dem Zephyr-Rahmenwerk auseinandersetzen und seine Architektur, Funktionsweise und Ergebnisse untersuchen. Also los geht’s.

Zephyr-7B: Eine Einführung in die direkte Destillation von Ausrichtung in Sprachmodellen

Wie bereits erwähnt, haben Sprachmodelle in den letzten Jahren rapide Fortschritte gemacht, von den früheren GPT-2-Rahmenwerken zu aktuellen GPT-4- und MiniGPT-5-LLM-Rahmenwerken, die obwohl sie sehr token-exhaustiv sind, nun genauer und effizienter sind. Ein wichtiger Aspekt dieser fortschrittlichen LLM-Rahmenwerke ist, dass sie eine wesentlich größere Anzahl von Token verwenden als die Anzahl von Token, die früher als computeroptimal unter den Chinchilla-Skalierungsgesetzen angesehen wurde. Darüber hinaus haben Entwickler und Forscher, die an LLM-Rahmenwerken arbeiten, gelernt, dass diese kleineren LLM-Rahmenwerke weiter mit einem proprietären Modell-basierten Ansatz für dSFT oder Destillierte Überwachte Feinabstimmung trainiert werden können, der die Ausgabe eines effektiven Lehrermodells als überwachte Daten für das Schülermodell verwendet, um die Genauigkeit zu verbessern. Der Destillierungsansatz hat sich als ein sehr effektives und nützliches Werkzeug erwiesen, um das Potenzial und die Fähigkeiten offener Modelle auf einer Vielzahl von Aufgaben zu maximieren, obwohl er noch nicht die Leistung des Lehrermodells replizieren kann. Darüber hinaus haben Benutzer oft berichtet, dass diese Modelle oft eine “AbsichtsfehlAusrichtung” anzeigen, was bedeutet, dass die Modelle nicht in einer Weise funktionieren, die mit den Anforderungen der Endbenutzer übereinstimmt, was zu falschen Ausgaben führt, die nicht die richtigen Ausgaben oder Antworten auf Benutzereingaben oder -anfragen liefern.

Die Ausrichtung der Absicht war immer eine große Herausforderung für Entwickler, und kürzliche Arbeiten konzentrieren sich auf die Entwicklung von Benchmarks wie AlpacaEval und MT-Bench, die darauf abzielen, die Fehlausrichtung zu bekämpfen. Die Motivation für die Entwicklung des Zephyr-Rahmenwerks kann der Problematik der Verwendung von Destillation zur Ausrichtung eines kleinen offenen LLM-Rahmenwerks zugeschrieben werden, wobei der primäre Schritt darin besteht, ein AIF oder künstliches Intelligenz-Feedback zu verwenden, um Präferenzdaten von einem Ensemble des Lehrermodells zu erhalten, und dann die destillierte Präferenzoptimierung direkt als primäres Lernziel anzuwenden, ein Ansatz, der als dDPO oder Denoising-Diffusions-Policy-Optimierung bezeichnet wird. Der Hauptaspekt des dDPO-Ansatzes ist, dass er im Gegensatz zu seinen Vorgängern wie PPO oder Proximal Policy Optimization keine menschliche Stichprobennahme oder Annotationen erfordert und auch die Zeit, die zum Trainieren eines Sprachmodells benötigt wird, reduziert. Darüber hinaus ermöglicht er es Entwicklern auch, die Belohnungen des finalen Samples zu maximieren, indem sie der Sequenz der Denoising-Schritte von Anfang bis Ende Beachtung schenken, mit anderen Worten, während des gesamten Prozesses.

Entwickler haben das Zephyr-7B-Rahmenwerk entwickelt, um diesen Ansatz zu validieren, und in einigen Aspekten ist es eine ausgerichtete Version des State-of-the-Art-Mistral-7B-Rahmenwerks. Das Rahmenwerk verwendet zunächst dSFT oder Destillierte Überwachte Feinabstimmung auf der Grundlage des UltraChat-Datensatzes und wendet den dDPO- oder Denoising-Diffusions-Policy-Optimierungsansatz auf die Feedback-Daten an. Experimente zeigen, dass das Zephyr-7B-Rahmenwerk mit 7 Milliarden Parametern Ergebnisse liefert, die mit denen von menschlich-Feedback-ausgerichteten Chat-Modellen mit über 70 Milliarden Parametern vergleichbar sind. Darüber hinaus zeigen Experimente auch, dass die Ergebnisse sowohl in Bezug auf Benchmarks, die die konversationellen Fähigkeiten berücksichtigen, als auch auf Standard-Akademische Benchmarks verbessert werden können, und dass die Verwendung von Präferenzlernen entscheidend ist, um die gewünschten Ergebnisse zu erzielen.

Die obige Abbildung zeigt die Leistung verschiedener Sprachmodelle auf dem MT-Bench-Benchmark. Das Zephyr-7B-Rahmenwerk, das mit dem dDPO-Ansatz trainiert wurde, wird mit proprietären und offenen, größeren Sprachmodellen wie GPT-3.5-Turbo, Llama-2-70B und mehr verglichen, die mit zusätzlicher Verstärkungslernmethode trainiert wurden und eine enorme Menge an menschlichem Feedback enthielten. Wie deutlich zu sehen ist, liefert das Zephyr-7B-Rahmenwerk trotz der enormen Differenz in der Anzahl der Parameter, die diese Rahmenwerke verwenden, vergleichbare Ergebnisse gegen die meisten von ihnen und übertrifft mehrere Rahmenwerke in verschiedenen Domänen.

Zephyr-7B: Methode, Funktionsweise und Architektur

Das primäre Ziel des Zephyr-7B-Rahmenwerks ist es, einem offenen, großen Sprachmodell zu helfen, sich so eng wie möglich an die Benutzerabsicht auszurichten, und während des gesamten Prozesses geht das Zephyr-7B-Rahmenwerk davon aus, dass es Zugang zu einem großen Lehrermodell hat, das mit Prompt-Generierung abgefragt wird. Das Zephyr-7B-Rahmenwerk folgt einem Ansatz, der dem des InstructGPT-Rahmenwerks ähnelt, und zielt darauf ab, ein effektives und genaues Schülermodell zu generieren.

Die folgende Abbildung zeigt kurz die drei primären Schritte, die im Zephyr-7B-Rahmenwerk involviert sind.

1. dSFT für die Konstruktion von großen Datensätzen mit einem selbstinstruktiven Stil.
2. AIF-Sammlung mit einem Ensemble von Chat-Modellen, gefolgt von Präferenzbinarisation und Bewertung durch GPT-4.
3. dPO des dSFT-Modells durch die Verwendung von Feedback-Daten.

dSFT oder Destillierte Überwachte Feinabstimmung

Das Rahmenwerk beginnt mit einem rohen, großen Sprachmodell, das zunächst trainiert werden muss, um auf Benutzerprompts zu reagieren. Traditionell wird das Training dieser LLM-Rahmenwerke auf Benutzerprompts mit SFT oder Überwachter Feinabstimmung auf einem Datensatz mit hochwertigen Anweisungen und entsprechenden Antworten durchgeführt. Da das Zephyr-7B-Rahmenwerk Zugang zu einem Lehrermodell hat, kann das Rahmenwerk Anweisungen und Antworten generieren und das Modell direkt auf diesen Anweisungen und Antworten trainieren, und dieser Ansatz wird als dSFT oder Destillierte SFT bezeichnet. Die folgende Abbildung zeigt die Destillation, die durch SFT durchgeführt wird, wobei x eine Menge von Seed-Prompts darstellt, die mit dem primären Ziel konstruiert werden, eine vielfältige Menge von thematischen Domänen darzustellen, y die Sample-Antwort darstellt, die mit einer neuen Sample-Anweisung, die durch x1 dargestellt wird, verfeinert wird, und C den Endpunkt im finalen Datensatz darstellt.

KI-Feedback durch Präferenzen

Menschliches Feedback wird verwendet, um großen Sprachmodellen zuzuweisen, da sie die erforderlichen zusätzlichen Signale liefern können, und diese menschlichen Feedbacks werden traditionell durch Präferenzen auf die Qualität der von den LLM-Rahmenwerken generierten Antworten bereitgestellt. Das Zephyr-Rahmenwerk verwendet jedoch KI-Feedback von dem Lehrermodell auf die Ausgaben anderer Modelle anstelle von menschlichem Feedback für Destillationszwecke. Der Ansatz, der vom Zephyr-Rahmenwerk verfolgt wird, ist von dem beeinflusst, der vom UltraFeedback-Rahmenwerk verwendet wird, der das Lehrermodell verwendet, um Präferenzen auf die Ausgaben des Modells zu geben.

Ähnlich wie der SFT- oder Überwachte-Feinabstimmungsansatz beginnt es mit einer Menge von Prompts, wobei x jeden einzelnen Prompt darstellt, der dann an eine Sammlung von vier Modellen wie Llama, Falcon, Claude und mehr gefüttert wird, von denen jedes eine Antwort generiert. Diese Antworten werden dann als Eingabe für das Lehrermodell wie GPT-3 oder GPT-4 verwendet, und das Modell gibt eine Bewertung für die Eingabe-Antwort aus. Nachdem die Ausgabe-Bewertungen gesammelt wurden, speichert das Modell die Antwort mit der höchsten Bewertung.

dDPO oder Destillierte Direkte Präferenzoptimierung

dDPO ist der letzte Schritt des Zephyr-Rahmenwerks, und sein primäres Ziel ist es, das dSFT-Lehrermodell zu verfeinern, indem es die Wahrscheinlichkeit maximiert, die bevorzugte Antwort in einem Präferenzmodell zu rangieren, das durch eine Belohnungsfunktion bestimmt wird, indem das Schüler-Sprachmodell verwendet wird. Der vorherige Schritt, der die Verwendung von KI-Feedback betraf, konzentrierte sich hauptsächlich auf die Verwendung von Verstärkungslernmethoden wie PPO oder Proximal Policy Optimization für die maximale Optimierung in Bezug auf die generierte Belohnung. In diesem Schritt wird die Belohnung zunächst trainiert und dann aus der aktuellen Richtlinie sampelt, um die Updates zu berechnen und somit die Optimierung zu maximieren. DPO oder Direkte Präferenzoptimierung verfolgt einen ähnlichen Ansatz, um das Präferenzmodell direkt mit statischen Daten zu optimieren. Das Ziel nach dem Einsetzen der Belohnungsfunktion in das Präferenzmodell kann wie folgt geschrieben werden:

Zephyr-7B: Experimente, Benchmarks und Ergebnisse

Das Zephyr-Rahmenwerk führt seine Feinabstimmungsexperimente auf dem aktuellen State-of-the-Art-Mistral-7B-Rahmenwerk durch, das eine Leistung liefert, die mit der von viel größeren Sprachmodellen auf einer Vielzahl von NLP-Aufgaben vergleichbar ist.

Datensätze

Das Zephyr-Rahmenwerk verwendet zwei Dialog-Datensätze, die aus einer Mischung von proprietären und offenen Modellen destilliert wurden, die sich bereits als effektiv bei der Erstellung von effektiven Chat-Modellen erwiesen haben.

UltraChat

UltraChat ist ein Selbst-Verfeinerungs-Datensatz, der fast 1,5 Millionen Multi-Turn-Dialoge über 30 Themen und 20 Textmaterialien enthält, die vom GPT-3.5-Turbo-Rahmenwerk generiert wurden. Um das Problem der falschen Großschreibung im UltraChat-Datensatz zu lösen, wendet das Rahmenwerk einen Truecasing-Heuristik-Ansatz an, um die grammatischen Fehler zu beseitigen.

UltraFeedback

UltraFeedback ist ein Prompt-Datensatz mit über 64.000 Prompts, von denen jeder vier individuelle LLM-Antworten hat. Das Zephyr-Rahmenwerk verwendet den höchsten Mittelwert, der aus dem UltraFeedback-Datensatz erhalten wird, um binäre Präferenzen zu konstruieren, und eine der verbleibenden drei LLM-Antworten wird zufällig abgelehnt.

Auswertung

Um die Leistung des Zephyr-Rahmenwerks zu bewerten, haben die Entwickler sich für zwei Chat-Benchmarks entschieden, einen Single-Turn- und einen Multi-Turn-Benchmark, um die Fähigkeit des Modells zu testen, Benutzeranweisungen zu befolgen und entsprechend zu reagieren.

MT-Bench

Der MT-Bench-Benchmark besteht aus 160 Fragen, die auf 8 einzigartige Wissensbereiche verteilt sind, und unter dem MT-Bench-Benchmark muss das Modell eine anfängliche Frage beantworten und eine Antwort auf die Folgefrage liefern.

AlpacaEval

AlpacaEval ist ein Single-Turn-Benchmark, unter dem das Modell oder das Rahmenwerk Benutzerantworten auf über 800 Fragen generiert, die auf verschiedene Themen verteilt sind, wobei der primäre Fokus auf die Nützlichkeit liegt.

Darüber hinaus wird das Zephyr-7B-Rahmenwerk auch auf dem Open LLM Leaderboard für Multiklassen-Klassifizierungsaufgaben, ARC, HellaSwag, MMLU und mehr ausgewertet. Unabhängig davon, auf welchem Benchmark das Zephyr-7B-Rahmenwerk ausgewertet wird, wird es mit einer Reihe von proprietären und offenen Modellen verglichen, wobei die Ausrichtungsverfahren der einzige Unterschied zwischen ihnen sind.

Ergebnisse

Lassen Sie uns nun sehen, wie das Zephyr-7B-Rahmenwerk performt und im Vergleich zu aktuellen State-of-the-Art-Sprachmodellen abschneidet.

Implementierung des dDPO-Ansatzes verbessert die Chat-Fähigkeiten

Die folgende Tabelle vergleicht die Leistung des Zephyr-7B-Rahmenwerks mit State-of-the-Art-Sprachmodellen auf den AlpacaEval- und MT-Bench-Benchmarks.

Wie deutlich zu sehen ist, übertrifft das Zephyr-7B-Rahmenwerk, wenn es mit offenen 7B-Modellen verglichen wird, nicht nur deutlich die dSFT-Modelle auf den beiden Benchmarks, sondern setzt auch neue State-of-the-Art-Standards. Darüber hinaus schafft das Zephyr-7B-Rahmenwerk es auch, die XWIN-LM-7B zu überbieten, die eines der raren Modelle sind, die auf dem dPPO- oder Destillierten-PPO-Ansatz trainiert wurden. Die Leistung, die das Zephyr-7B-Rahmenwerk liefert, ist auch mit den Ergebnissen vergleichbar, die von viel größeren Sprachmodellen wie Llama2-Chat mit über 70 Milliarden Parametern geliefert werden.

dDPO verbessert die akademische Aufgabenleistung

Die folgende Abbildung vergleicht die Leistung des Zephyr-7B-Rahmenwerks mit einer Vielzahl von offenen und proprietären LLM-Rahmenwerken.

Wie zu sehen ist, übertrifft das Zephyr-7B-Rahmenwerk deutlich die LLM-Rahmenwerke mit 7 Milliarden Parametern, und der Abstand zwischen seiner Leistung und der von den besten dSFT-Modellen ist auch bemerkenswert. Wenn die Anzahl der Parameter zunimmt, fällt das Zephyr-7B-Rahmenwerk zwar zurück, aber es erreicht die Leistung, die von Rahmenwerken mit 40 Milliarden Parametern geliefert wird.

Präferenzoptimierung

In der folgenden Abbildung bewerten wir, wie die verschiedenen Schritte, die im Ausrichtungsprozess durchlaufen werden, die Leistung beeinflussen. Wie zu sehen ist, verbessert der dDPO-Ansatz, wenn er mit dSFT kombiniert wird, die Leistung auf beiden MT-Bench- und AlpacaEval-Datensätzen deutlich.

Schließlich können wir in der folgenden Abbildung die Test- und Trainingsgenauigkeiten während der DPO-Implementierung sehen. Wie zu sehen ist, beeinflusst der DPO-Ansatz nicht die Leistung des Modells auf Downstream-Aufgaben.

Schlussfolgerung

In diesem Artikel haben wir über das Zephyr-7B-Rahmenwerk gesprochen, das auf dem aktuellen State-of-the-Art-Mistral-7B-Rahmenwerk basiert und darauf abzielt, die Herausforderung der Ausrichtungsdestillation von einem großen Sprachmodell zu einem viel kleineren, vorgebildeten Rahmenwerk zu lösen. Das primäre Ziel des Rahmenwerks ist es, Entwicklern zu ermöglichen, kleinere große Sprachmodelle zu erstellen, die enger mit der Benutzerabsicht ausgerichtet sind als je zuvor. Das Zephyr-7B-Rahmenwerk untersucht nicht nur die Anwendung aktueller Ansätze für größere LLM-Rahmenwerke wie dSFT, sondern erforscht auch die Möglichkeit, andere Ansätze zu verwenden, um ein Chat-Modell mit besserer Ausrichtung mit der Benutzerabsicht zu lernen.

Allerdings ist das Zephyr-7B-Rahmenwerk nicht perfekt, und es gibt noch einige Arbeiten, die durchgeführt werden müssen. Eine der offensichtlichen Einschränkungen ist die Verwendung des GPT-4-Rahmenwerks, um die MT-Bench- und AlpacaEval-Benchmarks zu bewerten, die oft voreingenommen sind gegenüber den Modellen, die sie selbst destillieren. Allerdings hofft das Zephyr-7B-Rahmenwerk, einen Weg zu bahnen, um die Fähigkeiten kleinerer offener Modelle zu erforschen, die in der Lage sind, sich mit der Benutzerabsicht und den Interaktionen auszurichten.