Der Aufstieg von Mixture-of-Experts für effiziente große Sprachmodelle

In der Welt der natürlichen Sprachverarbeitung (NLP) war die Entwicklung größerer und leistungsfähigerer Sprachmodelle der treibende Faktor hinter vielen jüngsten Fortschritten. Allerdings werden die Rechenanforderungen für das Training und die Inferenz mit dem Wachstum der Modelle immer anspruchsvoller und drücken gegen die Grenzen der verfügbaren Hardware-Ressourcen.

Hier kommt Mixture-of-Experts (MoE) ins Spiel, eine Technik, die das Rechenproblem lindern und das Training größerer und leistungsfähigerer Sprachmodelle ermöglichen soll. Im Folgenden werden wir MoE, seine Ursprünge, seine Funktionsweise und seine Anwendungen in transformerbasierten Sprachmodellen diskutieren.

Die Ursprünge von Mixture-of-Experts

Das Konzept von Mixture-of-Experts (MoE) kann bis in die frühen 1990er Jahre zurückverfolgt werden, als Forscher die Idee der bedingten Berechnung erforschten, bei der Teile eines neuronalen Netzwerks basierend auf den Eingabedaten selektiv aktiviert werden. Eine der Pionierarbeiten auf diesem Gebiet war der “Adaptive Mixture of Local Experts“-Artikel von Jacobs et al. aus dem Jahr 1991, der einen überwachten Lernrahmen für ein Ensemble von neuronalen Netzen vorschlug, von denen jedes sich auf eine unterschiedliche Region des Eingaberaums spezialisierte.

Die Kernidee hinter MoE ist es, mehrere “Experten”-Netzwerke zu haben, von denen jedes für die Verarbeitung eines Teils der Eingabedaten verantwortlich ist. Ein Gating-Mechanismus, typischerweise ein neuronales Netzwerk selbst, bestimmt, welcher Experte (oder welche Experten) einen bestimmten Eingabe verarbeiten soll. Dieser Ansatz ermöglicht es dem Modell, seine Rechenressourcen effizienter zuzuweisen, indem nur die relevanten Experten für jeden Eingabe aktiviert werden, anstatt die volle Modellkapazität für jeden Eingabe zu nutzen.

Im Laufe der Jahre haben verschiedene Forscher die Idee der bedingten Berechnung erforscht und erweitert, was zu Entwicklungen wie hierarchischen MoEs, niedrigrangigen Approximationen für bedingte Berechnung und Techniken zur Schätzung von Gradienten durch stochastische Neuronen und Hard-Threshold-Aktivierungsfunktionen geführt hat.

Mixture-of-Experts in Transformern

Mixture of Experts

Während die Idee von MoE bereits seit Jahrzehnten besteht, ist ihre Anwendung auf transformerbasierte Sprachmodelle relativ neu. Transformere, die zum De-facto-Standard für state-of-the-art-Sprachmodelle geworden sind, bestehen aus mehreren Schichten, von denen jede ein Selbst-Aufmerksamkeitsmechanismus und ein Feed-Forward-Neuronales-Netz (FFN) enthält.

Die Schlüsselinnovation bei der Anwendung von MoE auf Transformere besteht darin, die dichten FFN-Schichten durch sparse MoE-Schichten zu ersetzen, von denen jede aus mehreren Experten-FFNs und einem Gating-Mechanismus besteht. Der Gating-Mechanismus bestimmt, welcher Experte (oder welche Experten) jeden Eingabe-Token verarbeiten soll, wodurch das Modell selektiv nur einen Teil der Experten für eine bestimmte Eingabesequenz aktivieren kann.

Eine der frühen Arbeiten, die das Potenzial von MoE in Transformern demonstrierte, war der “Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer“-Artikel von Shazeer et al. aus dem Jahr 2017. Diese Arbeit führte das Konzept einer sparsely-gated MoE-Schicht ein, die einen Gating-Mechanismus verwendete, der Sparsity und Rauschen in den Experten-Auswahlprozess einführte, um sicherzustellen, dass nur ein Teil der Experten für jeden Eingabe aktiviert wurde.

Seitdem haben zahlreiche andere Arbeiten die Anwendung von MoE auf Transformere weiter vorangetrieben, indem sie Herausforderungen wie Trainingsinstabilität, Lastausgleich und effiziente Inferenz angegangen sind. Beachtenswerte Beispiele sind der Switch Transformer (Fedus et al., 2021), ST-MoE (Zoph et al., 2022) und GLaM (Du et al., 2022).

Vorteile von Mixture-of-Experts für Sprachmodelle

Der primäre Vorteil der Verwendung von MoE in Sprachmodellen besteht darin, dass sie es ermöglichen, die Modellgröße zu erhöhen, während die Rechenkosten während der Inferenz im Wesentlichen konstant bleiben. Durch die selektive Aktivierung nur eines Teils der Experten für jeden Eingabe-Token können MoE-Modelle die Ausdrucksstärke viel größerer dichter Modelle erreichen, während sie wesentlich weniger Rechenleistung erfordern.

Beispielsweise betrachten wir ein Sprachmodell mit einer dichten FFN-Schicht mit 7 Milliarden Parametern. Wenn wir diese Schicht durch eine MoE-Schicht ersetzen, die aus acht Experten besteht, von denen jeder 7 Milliarden Parameter hat, erhöht sich die Gesamtzahl der Parameter auf 56 Milliarden. Allerdings werden während der Inferenz nur zwei Experten pro Token aktiviert, wodurch die Rechenkosten gleich denen eines 14-Milliarden-Parameter-dichten Modells sind, da es zwei 7-Milliarden-Parameter-Matrixmultiplikationen durchführt.

Diese Recheneffizienz während der Inferenz ist besonders wertvoll in Bereitstellungsszenarien, in denen Ressourcen begrenzt sind, wie z. B. auf Mobilgeräten oder in Edge-Computing-Umgebungen. Darüber hinaus können die reduzierten Rechenanforderungen während des Trainings zu erheblichen Energieeinsparungen und einem geringeren CO2-Fußabdruck führen, was mit dem wachsenden Fokus auf nachhaltige KI-Praktiken übereinstimmt.

Herausforderungen und Überlegungen

Obwohl MoE-Modelle verlockende Vorteile bieten, kommen ihre Übernahme und Bereitstellung auch mit mehreren Herausforderungen und Überlegungen:

1. Trainingsinstabilität: MoE-Modelle sind bekanntermaßen anfälliger für Trainingsinstabilitäten im Vergleich zu ihren dichten Gegenstücken. Dieses Problem entsteht durch die sparse und bedingte Natur der Experten-Aktivierungen, die zu Herausforderungen bei der Gradienten-Propagierung und -Konvergenz führen können. Techniken wie der Router-z-Verlust (Zoph et al., 2022) wurden vorgeschlagen, um diese Instabilitäten zu mildern, aber weitere Forschung ist noch erforderlich.
2. Feinabstimmung und Überanpassung: MoE-Modelle neigen dazu, während der Feinabstimmung leichter zu überanpassen, insbesondere wenn die Downstream-Aufgabe ein relativ kleines Datenset hat. Dieses Verhalten wird der erhöhten Kapazität und Sparsity von MoE-Modellen zugeschrieben, die zu einer Über-Spezialisierung auf die Trainingsdaten führen können. Sorgfältige Regularisierung und Feinabstimmungsstrategien sind erforderlich, um dieses Problem zu mildern.
3. Speicheranforderungen: Obwohl MoE-Modelle die Rechenkosten während der Inferenz reduzieren können, haben sie oft höhere Speicheranforderungen im Vergleich zu dichten Modellen ähnlicher Größe. Dies liegt daran, dass alle Experten-Gewichte in den Speicher geladen werden müssen, auch wenn nur ein Teil der Experten für jeden Eingabe aktiviert wird. Speicherbeschränkungen können die Skalierbarkeit von MoE-Modellen auf ressourcenbeschränkten Geräten limitieren.
4. Lastausgleich: Um die optimale Recheneffizienz zu erzielen, ist es wichtig, die Last über die Experten auszugleichen, um sicherzustellen, dass kein einzelner Experte überlastet wird, während andere unterausgelastet bleiben. Dieser Lastausgleich wird typischerweise durch Hilfsverluste während des Trainings und eine sorgfältige Abstimmung des Kapazitätsfaktors erreicht, der die maximale Anzahl von Token bestimmt, die jedem Experte zugewiesen werden können.
5. Kommunikationsüberkopplung: In verteilten Trainings- und Inferenzszenarien können MoE-Modelle zusätzliche Kommunikationsüberkopplung einführen, da die Aktivierungs- und Gradienteninformationen zwischen Experten auf verschiedenen Geräten oder Beschleunigern ausgetauscht werden müssen. Effiziente Kommunikationsstrategien und hardware-orientierte Modellgestaltung sind unerlässlich, um diese Überkopplung zu mildern.

Trotz dieser Herausforderungen haben die potenziellen Vorteile von MoE-Modellen bei der Ermöglichung größerer und leistungsfähigerer Sprachmodelle erhebliche Forschungsanstrengungen ausgelöst, um diese Probleme anzugehen und zu mildern.

Beispiel: Mixtral 8x7B und GLaM

Um die praktische Anwendung von MoE in Sprachmodellen zu veranschaulichen, betrachten wir zwei bemerkenswerte Beispiele: Mixtral 8x7B und GLaM.

Mixtral 8x7B ist eine MoE-Variante des Mistral-Sprachmodells, das von Anthropic entwickelt wurde. Es besteht aus acht Experten, von denen jeder 7 Milliarden Parameter hat, was insgesamt 56 Milliarden Parameter ergibt. Allerdings werden während der Inferenz nur zwei Experten pro Token aktiviert, wodurch die Rechenkosten gleich denen eines 14-Milliarden-Parameter-dichten Modells sind.

Mixtral 8x7B hat beeindruckende Leistungen gezeigt und übertrifft das 70-Milliarden-Parameter-Modell Llama, während es viel schnellere Inferenzzeiten bietet. Eine anweisungsorientierte Version von Mixtral 8x7B, genannt Mixtral-8x7B-Instruct-v0.1, wurde ebenfalls veröffentlicht, um seine Fähigkeiten bei der Befolgung von natürlichen Sprachanweisungen weiter zu verbessern.

Ein weiteres bemerkenswertes Beispiel ist GLaM (Google Language Model), ein großes MoE-Modell, das von Google entwickelt wurde. GLaM verwendet eine decoder-only-Transformer-Architektur und wurde auf einem massiven 1,6-Billionen-Token-Datenset trainiert. Das Modell erreicht beeindruckende Leistungen bei Few-Shot- und One-Shot-Evaluierungen und erreicht die Qualität von GPT-3, während es nur ein Drittel der Energie benötigt, die zum Trainieren von GPT-3 erforderlich ist.

Der Erfolg von GLaM kann seiner effizienten MoE-Architektur zugeschrieben werden, die es ermöglichte, ein Modell mit einer riesigen Anzahl von Parametern zu trainieren, während die Rechenanforderungen im Rahmen blieben. Das Modell demonstrierte auch das Potenzial von MoE-Modellen, energieeffizienter und umweltfreundlicher als ihre dichten Gegenstücke zu sein.

Die Grok-1-Architektur

GROK MIXTURE OF EXPERT

Grok-1 ist ein transformerbasierter MoE-Modell mit einer einzigartigen Architektur, die darauf ausgelegt ist, Effizienz und Leistung zu maximieren. Lassen Sie uns die wichtigsten Spezifikationen betrachten:

1. Parameter: Mit einer atemberaubenden 314-Milliarden-Parameter-Anzahl ist Grok-1 das größte offene LLM bis dato. Allerdings werden dank der MoE-Architektur nur 25 % der Gewichte (ca. 86 Milliarden Parameter) zu jedem Zeitpunkt aktiv, wodurch die Verarbeitungsfähigkeiten verbessert werden.
2. Architektur: Grok-1 verwendet eine Mixture-of-8-Experts-Architektur, bei der jeder Token von zwei Experten während der Inferenz verarbeitet wird.
3. Schichten: Das Modell besteht aus 64 Transformer-Schichten, von denen jede Multi-Head-Aufmerksamkeit und dichte Blöcke umfasst.
4. Tokenisierung: Grok-1 verwendet einen SentencePiece-Tokenizer mit einer Vokabular-Größe von 131.072 Token.
5. Einbettungen und Positionscodierung: Das Modell verfügt über 6.144-dimensionale Einbettungen und verwendet rotierende Positionscodierungen, die eine dynamischere Interpretation der Daten im Vergleich zu herkömmlichen festen Positionscodierungen ermöglichen.
6. Aufmerksamkeit: Grok-1 verwendet 48 Aufmerksamkeitsköpfe für Abfragen und 8 Aufmerksamkeitsköpfe für Schlüssel und Werte, von denen jeder eine Größe von 128 hat.
7. Kontextlänge: Das Modell kann Sequenzen mit einer Länge von bis zu 8.192 Token verarbeiten und verwendet bfloat16-Präzision für effiziente Berechnungen.

Leistung und Implementierungsdetails

Grok-1 hat beeindruckende Leistungen gezeigt und übertrifft LLaMa 2 70B und Mixtral 8x7B mit einem MMLU-Score von 73 %, was seine Effizienz und Genauigkeit bei verschiedenen Tests unterstreicht.

Es ist jedoch wichtig zu beachten, dass Grok-1 aufgrund seiner enormen Größe erhebliche GPU-Ressourcen erfordert. Die aktuelle Implementierung in der Open-Source-Veröffentlichung konzentriert sich auf die Validierung der Modellkorrektheit und verwendet eine ineffiziente MoE-Schicht-Implementierung, um die Notwendigkeit von benutzerdefinierten Kernels zu vermeiden.

Trotzdem unterstützt das Modell Aktivierungs-Sharding und 8-Bit-Quantisierung, was die Leistung optimieren und die Speicheranforderungen reduzieren kann.

In einer bemerkenswerten Aktion hat xAI Grok-1 unter der Apache-2.0-Lizenz veröffentlicht, wodurch seine Gewichte und Architektur der globalen Gemeinschaft für die Nutzung und den Beitrag zugänglich gemacht werden.

Die Open-Source-Veröffentlichung umfasst ein JAX-Beispiel-Code-Repository, das zeigt, wie das Grok-1-Modell geladen und ausgeführt werden kann. Benutzer können die Checkpoint-Gewichte mithilfe eines Torrent-Clients oder direkt über den HuggingFace-Hub herunterladen, was den Zugriff auf dieses bahnbrechende Modell erleichtert.

Die Zukunft von Mixture-of-Experts in Sprachmodellen

Da die Nachfrage nach größeren und leistungsfähigeren Sprachmodellen weiterhin wächst, ist die Übernahme von MoE-Techniken voraussichtlich weiter auf dem Vormarsch. Laufende Forschungsanstrengungen konzentrieren sich auf die Lösung der verbleibenden Herausforderungen, wie z. B. die Verbesserung der Trainingsstabilität, die Minderung der Überanpassung während der Feinabstimmung und die Optimierung der Speicher- und Kommunikationsanforderungen.

Eine vielversprechende Richtung ist die Erforschung von hierarchischen MoE-Architekturen, bei denen jeder Experte selbst aus mehreren Sub-Experten besteht. Dieser Ansatz könnte möglicherweise noch größere Skalierbarkeit und Recheneffizienz ermöglichen, während die Ausdrucksstärke großer Modelle erhalten bleibt.

Darüber hinaus ist die Entwicklung von Hardware- und Software-Systemen, die für MoE-Modelle optimiert sind, ein aktives Forschungsgebiet. Spezialisierte Beschleuniger und verteilte Trainingsframeworks, die effizient die sparse und bedingte Berechnungsmuster von MoE-Modellen verarbeiten können, könnten ihre Leistung und Skalierbarkeit weiter verbessern.

Zusätzlich könnte die Integration von MoE-Techniken mit anderen Fortschritten im Sprachmodellieren, wie z. B. sparse Aufmerksamkeitsmechanismen, effiziente Tokenisierungsstrategien und multimodale Repräsentationen, zu noch leistungsfähigeren und vielseitigeren Sprachmodellen führen, die in der Lage sind, eine breite Palette von Aufgaben zu bewältigen.

Schlussfolgerung

Die Mixture-of-Experts-Technik ist als leistungsfähiges Werkzeug in der Suche nach größeren und leistungsfähigeren Sprachmodellen aufgetaucht. Durch die selektive Aktivierung von Experten basierend auf den Eingabedaten bieten MoE-Modelle eine vielversprechende Lösung für die Rechenherausforderungen, die mit der Skalierung von dichten Modellen verbunden sind. Obwohl es noch Herausforderungen zu überwinden gibt, wie z. B. Trainingsinstabilität, Überanpassung und Speicheranforderungen, machen die potenziellen Vorteile von MoE-Modellen in Bezug auf Recheneffizienz, Skalierbarkeit und Umweltfreundlichkeit sie zu einem spannenden Forschungs- und Entwicklungsgebiet.

Da das Feld der natürlichen Sprachverarbeitung weiterhin die Grenzen dessen erweitert, was möglich ist, wird die Übernahme von MoE-Techniken wahrscheinlich eine entscheidende Rolle bei der Ermöglichung der nächsten Generation von Sprachmodellen spielen. Durch die Kombination von MoE mit anderen Fortschritten in der Modellarchitektur, Trainingsmethoden und Hardware-Optimierung können wir uns auf noch leistungsfähigere und vielseitigere Sprachmodelle freuen, die in der Lage sind, sich auf natürliche und nahtlose Weise mit Menschen zu verständigen.