Mistral AI’s Latest Mixture of Experts (MoE) 8x7B-Modell

Mistral AI

, ein in Paris ansässiges Open-Source-Modell-Startup, hat die Normen herausgefordert, indem es sein latestes großes Sprachmodell (LLM), MoE 8x7B, über einen einfachen Torrent-Link veröffentlicht hat. Dies steht im Gegensatz zu Googles traditionellem Ansatz mit der Veröffentlichung von Gemini, was Gespräche und Aufregung in der KI-Gemeinschaft auslöst.

Mistral AI’s Ansatz bei Veröffentlichungen war immer unkonventionell. Oft verzichtet das Unternehmen auf die üblichen Begleitumstände wie Papers, Blogs oder Pressemitteilungen, und seine Strategie war einzigartig effektiv, um die Aufmerksamkeit der KI-Gemeinschaft zu gewinnen.

Das Unternehmen hat kürzlich eine bemerkenswerte $2-Milliarden-Bewertung nach einer von Andreessen Horowitz geleiteten Finanzierungsrunde erreicht. Diese Finanzierungsrunde war historisch und setzte mit einer $118-Millionen-Seed-Runde, der größten in der europäischen Geschichte, einen Rekord. Neben den Erfolgen bei der Finanzierung ist Mistral AI auch aktiv an Diskussionen über den EU-KI-Gesetz beteiligt und setzt sich für eine reduzierte Regulierung von Open-Source-KI ein.

Warum MoE 8x7B Aufmerksamkeit erregt

Als “skaliertes GPT-4” bezeichnet, nutzt MoE 8x7B ein Mixture-of-Experts-(MoE)-Framework mit acht Experten. Jeder Experte verfügt über 111-Milliarden-Parameter, kombiniert mit 55-Milliarden-geteilten-Aufmerksamkeitsparametern, um insgesamt 166-Milliarden-Parameter pro Modell zu erreichen. Diese Designentscheidung ist bedeutend, da sie es ermöglicht, dass nur zwei Experten an der Inferenz jedes Tokens beteiligt sind, was auf einen Trend hin zu effizienterem und fokussierterem KI-Verarbeitung hinweist.

Einer der Höhepunkte von MoE ist seine Fähigkeit, einen umfassenden Kontext von 32.000 Token zu verwalten, was einen großen Spielraum für die Bewältigung komplexer Aufgaben bietet. Die multilingualen Fähigkeiten des Modells umfassen eine robuste Unterstützung für Englisch, Französisch, Italienisch, Deutsch und Spanisch, um eine globale Entwicklergemeinschaft zu bedienen.

Die Vorverarbeitung von MoE umfasst Daten aus dem offenen Web, mit einer simultanen Trainingsmethode für sowohl Experten als auch Router. Diese Methode stellt sicher, dass das Modell nicht nur in seinem Parameterraum umfassend ist, sondern auch fein auf die Nuancen der Daten abgestimmt ist, denen es ausgesetzt war.

Mixtral 8x7B erreicht einen beeindruckenden Score

MoE 8x7B übertrifft LLaMA 2 70B und rivalisiert GPT-3.5, insbesondere bei der MBPP-Aufgabe mit einer Erfolgsrate von 60,7 %, was erheblich höher ist als bei seinen Konkurrenten. Auch bei der strengen MT-Bench, die für Anweisungsfolgemodelle entwickelt wurde, erreicht MoE 8x7B einen beeindruckenden Score, der nahezu mit GPT-3.5 übereinstimmt

Das Verständnis des Mixture-of-Experts-(MoE)-Frameworks

Das Mixture-of-Experts-(MoE)-Modell, das aufgrund seiner Integration in state-of-the-art-Sprachmodelle wie Mistral AI’s MoE 8x7B jüngst Aufmerksamkeit erregt hat, basiert tatsächlich auf grundlegenden Konzepten, die bereits seit mehreren Jahren existieren. Lassen Sie uns die Ursprünge dieser Idee durch seminale Forschungsarbeiten aufarbeiten.

Das Konzept von MoE

Mixture of Experts (MoE) stellt einen Paradigmenwechsel in der Architektur neuronaler Netze dar. Im Gegensatz zu traditionellen Modellen, die ein einzelnes, homogenes Netzwerk verwenden, um alle Arten von Daten zu verarbeiten, nutzt MoE einen spezifischeren und modularen Ansatz. Es besteht aus mehreren “Experten”-Netzwerken, die jeweils für bestimmte Arten von Daten oder Aufgaben konzipiert sind und von einem “Gating-Netzwerk” überwacht werden, das die Eingabedaten dynamisch an den geeignetsten Experten weiterleitet.

Eine Mixture-of-Experts-(MoE)-Schicht, die in ein rekurrentes Sprachmodell eingebettet ist (Quelle)

Das obige Bild zeigt eine hochrangige Ansicht einer MoE-Schicht, die in ein Sprachmodell eingebettet ist. Im Wesentlichen besteht die MoE-Schicht aus mehreren feed-forward-Subnetzwerken, die als “Experten” bezeichnet werden, von denen jeder das Potenzial hat, sich auf die Verarbeitung verschiedener Aspekte der Daten zu spezialisieren. Ein Gating-Netzwerk, das im Diagramm hervorgehoben ist, bestimmt, welche Kombination dieser Experten für eine gegebene Eingabe aktiviert wird. Diese bedingte Aktivierung ermöglicht es dem Netzwerk, seine Kapazität ohne entsprechenden Anstieg des Rechenaufwands erheblich zu erhöhen.

Funktionalität der MoE-Schicht

In der Praxis bewertet das Gating-Netzwerk die Eingabe (bezeichnet als G(x) im Diagramm) und wählt eine sparse Menge von Experten aus, um sie zu verarbeiten. Diese Auswahl wird durch die Ausgaben des Gating-Netzwerks moduliert, was effektiv die “Stimme” oder den Beitrag jedes Experten zur endgültigen Ausgabe bestimmt. Zum Beispiel kann, wie im Diagramm gezeigt, für jeden bestimmten Eingabetoken nur ein Experte ausgewählt werden, was den Prozess effizient macht, indem die Rechenressourcen konzentriert werden, wo sie am meisten benötigt werden.

Transformer-Encoder mit MoE-Schichten (Quelle)

Das zweite Bild oben zeigt einen traditionellen Transformer-Encoder im Vergleich zu einem, der mit einer MoE-Schicht ergänzt wurde. Die Transformer-Architektur, die für ihre Effektivität bei sprachbezogenen Aufgaben bekannt ist, besteht traditionell aus Selbstaufmerksamkeits- und feed-forward-Schichten, die in Folge gestapelt sind. Die Einführung von MoE-Schichten ersetzt einige dieser feed-forward-Schichten, was es dem Modell ermöglicht, effektiver in Bezug auf Kapazität zu skalieren.

Im ergänzten Modell werden die MoE-Schichten über mehrere Geräte verteilt, was einen modellparallelen Ansatz zeigt. Dies ist entscheidend, wenn man zu sehr großen Modellen skaliert, da es die Verteilung der Rechenlast und der Speicheranforderungen über einen Cluster von Geräten wie GPUs oder TPUs ermöglicht. Diese Verteilung ist für das effiziente Training und die Bereitstellung von Modellen mit Milliarden von Parametern unerlässlich, wie es bei der Ausbildung von Modellen mit Hunderten von Milliarden bis über eine Billion Parametern auf großen Rechenclustern nachgewiesen wurde.

Der Sparse-MoE-Ansatz mit Anweisungstuning auf LLM

Das Papier mit dem Titel “Sparse Mixture-of-Experts (MoE) für skalierbares Sprachmodellieren” diskutiert einen innovativen Ansatz, um Large Language Models (LLM) durch die Integration der Mixture-of-Experts-Architektur mit Anweisungstuning-Techniken zu verbessern.

Es hebt eine häufige Herausforderung hervor, bei der MoE-Modelle im Vergleich zu dichten Modellen gleicher Rechenkapazität bei der Feinabstimmung für spezifische Aufgaben unterlegen sind, aufgrund von Diskrepanzen zwischen allgemeiner Vorverarbeitung und aufgabenbezogener Feinabstimmung.

Anweisungstuning ist eine Trainingsmethodik, bei der Modelle verfeinert werden, um natürliche Sprachanweisungen besser zu befolgen, was effektiv ihre Aufgabenleistung verbessert. Das Papier legt nahe, dass MoE-Modelle eine bemerkenswerte Verbesserung zeigen, wenn sie mit Anweisungstuning kombiniert werden, mehr noch als ihre dichten Pendants. Diese Technik stimmt die vorverarbeiteten Repräsentationen des Modells ab, um Anweisungen effektiver zu befolgen, was zu signifikanten Leistungssteigerungen führt.

Die Forscher führten Studien in drei experimentellen Aufbauten durch, die zeigten, dass MoE-Modelle anfangs bei der direkten Feinabstimmung für spezifische Aufgaben unterlegen sind. Wenn jedoch Anweisungstuning angewendet wird, übertrifft MoE-Modelle, insbesondere wenn sie weiter mit aufgabenbezogener Feinabstimmung ergänzt werden. Dies deutet darauf hin, dass Anweisungstuning ein entscheidender Schritt für MoE-Modelle ist, um dichte Modelle bei nachgelagerten Aufgaben zu überbieten.

Die Wirkung von Anweisungstuning auf MOE

Es stellt auch FLAN-MOE32B vor, ein Modell, das den erfolgreichen Einsatz dieser Konzepte demonstriert. Bemerkenswerterweise übertrifft es FLAN-PALM62B, ein dichtes Modell, bei Benchmark-Aufgaben, während es nur ein Drittel der Rechenressourcen nutzt. Dies zeigt das Potenzial von sparse MoE-Modellen in Kombination mit Anweisungstuning, um neue Standards für die Effizienz und Leistung von LLM zu setzen.

Implementierung von Mixture of Experts in realen Szenarien

Die Vielseitigkeit von MoE-Modellen macht sie für eine Vielzahl von Anwendungen geeignet:

• Natürliche Sprachverarbeitung (NLP): MoE-Modelle können die Nuancen und Komplexitäten der menschlichen Sprache effektiver verarbeiten, was sie ideal für fortgeschrittene NLP-Aufgaben macht.
• Bild- und Videoverarbeitung: Bei Aufgaben, die eine hochauflösende Verarbeitung erfordern, kann MoE verschiedene Aspekte von Bildern oder Video-Frames verwalten, was sowohl die Qualität als auch die Verarbeitungsgeschwindigkeit verbessert.
• Anpassbare KI-Lösungen: Unternehmen und Forscher können MoE-Modelle für spezifische Aufgaben anpassen, was zu gezielteren und effektiveren KI-Lösungen führt.

Herausforderungen und Überlegungen

MoE-Modelle bieten zwar zahlreiche Vorteile, stellen aber auch einzigartige Herausforderungen dar:

• Komplexität bei Training und Feinabstimmung: Die verteilte Natur von MoE-Modellen kann den Trainingsprozess komplizieren, was eine sorgfältige Abstimmung und Feinabstimmung der Experten und des Gating-Netzwerks erfordert.
• Ressourcenmanagement: Die effiziente Verwaltung von Rechenressourcen über mehrere Experten hinweg ist entscheidend, um die Vorteile von MoE-Modellen zu maximieren.

Die Integration von MoE-Schichten in neuronale Netze, insbesondere im Bereich der Sprachmodelle, bietet einen Weg, um Modelle auf Größen zu skalieren, die aufgrund von Rechenbeschränkungen zuvor nicht möglich waren. Die bedingte Berechnung, die durch MoE-Schichten ermöglicht wird, ermöglicht eine effizientere Verteilung von Rechenressourcen, was es möglich macht, größere und leistungsfähigere Modelle zu trainieren. Da wir von unseren KI-Systemen immer mehr verlangen, werden Architekturen wie die MoE-ausgestattete Transformer wahrscheinlich zum Standard für die Verarbeitung komplexer und groß angelegter Aufgaben in verschiedenen Bereichen werden.