Der Aufstieg von Mixture-of-Experts: Wie Sparse-AI-Modelle die Zukunft des Machine Learning prägen

Mixture-of-Experts (MoE)-Modelle revolutionieren die Art und Weise, wie wir künstliche Intelligenz skalieren. Durch die Aktivierung nur eines Teils der Modellkomponenten zu jedem gegebenen Zeitpunkt bieten MoEs einen neuen Ansatz für die Verwaltung des Trade-offs zwischen Modellgröße und Rechenleistung. Im Gegensatz zu herkömmlichen dichten Modellen, die alle Parameter für jeden Eingabe verwenden, erreichen MoEs enorme Parameterzahlen, während sie die Inferenz- und Trainingskosten im Rahmen halten. Dieser Durchbruch hat eine Welle von Forschung und Entwicklung ausgelöst, die sowohl Tech-Giganten als auch Start-ups dazu veranlasst, stark in MoE-basierte Architekturen zu investieren.

Wie Mixture-of-Experts-Modelle funktionieren

Im Kern bestehen MoE-Modelle aus mehreren spezialisierten Sub-Netzwerken, die als “Experten” bezeichnet werden und von einem Gating-Mechanismus überwacht werden, der entscheidet, welche Experten jeden Eingabe bearbeiten sollen. Zum Beispiel kann ein in ein Sprachmodell eingegebener Satz nur zwei von acht Experten aktivieren, was den Rechenaufwand drastisch reduziert.

Dieses Konzept wurde von Google’s Switch Transformer und GLaM-Modellen (GOOGL ) in den Mainstream gebracht, bei denen Experten traditionelle Feed-Forward-Layer in Transformatoren ersetzten. Der Switch-Transformer leitet beispielsweise Token an einen einzelnen Experten pro Layer weiter, während GLaM Top-2-Routing für eine verbesserte Leistung verwendet. Diese Designs zeigten, dass MoEs dichte Modelle wie GPT-3 übertreffen oder gleichziehen können, während sie erheblich weniger Energie und Rechenleistung verbrauchen.

Die Schlüsselinnovation liegt in der bedingten Berechnung. Anstatt das gesamte Modell zu aktivieren, aktivieren MoEs nur die relevantesten Teile, was bedeutet, dass ein Modell mit Hunderten von Milliarden oder sogar Billionen von Parametern mit der Effizienz eines Modells laufen kann, das um Größenordnungen kleiner ist. Dies ermöglicht es Forschern, die Kapazität ohne lineare Erhöhung der Rechenleistung zu skalieren, was mit herkömmlichen Skalierungsmethoden nicht erreichbar ist.

Echte Anwendungen von MoE

MoE-Modelle haben bereits ihre Spuren in verschiedenen Bereichen hinterlassen. Google’s GLaM und Switch Transformer zeigten Spitzenleistungen in der Sprachmodellierung mit geringeren Trainings- und Inferenzkosten. Microsoft’s (MSFT ) Z-Code-MoE ist in seinem Translator-Tool im Einsatz und bearbeitet über 100 Sprachen mit besserer Genauigkeit und Effizienz als frühere Modelle. Diese sind keine Forschungsprojekte – sie betreiben Live-Dienste.

Im Bereich des Computer Vision hat Google’s V-MoE-Architektur die Klassifizierungsgenauigkeit in Benchmarks wie ImageNet verbessert, und das LIMoE-Modell hat starke Leistungen in multimodalen Aufgaben mit Bildern und Text gezeigt. Die Fähigkeit von Experten, sich zu spezialisieren – einige bearbeiten Text, andere Bilder – fügt AI-Systemen eine neue Ebene von Fähigkeiten hinzu.

Empfehlungssysteme und Multi-Task-Learning-Plattformen haben auch von MoEs profitiert. Zum Beispiel hat YouTube’s Empfehlungsmotor eine MoE-ähnliche Architektur verwendet, um Ziele wie Watchtime und Click-through-Rate effizienter zu bearbeiten. Durch die Zuweisung verschiedener Experten zu verschiedenen Aufgaben oder Benutzerverhaltensweisen helfen MoEs, robustere Personalisierungsmotoren aufzubauen.

Vorteile und Herausforderungen

Der Hauptvorteil von MoEs ist die Effizienz. Sie ermöglichen es, massive Modelle mit erheblich weniger Rechenleistung zu trainieren und zu betreiben. Zum Beispiel hat Mistral AI’s Mixtral 8×7B-Modell 47 Milliarden Parameter, aktiviert aber nur 12,9 Milliarden pro Token, was es ermöglicht, die Kosteneffizienz eines 13-Milliarden-Modells zu erreichen, während es mit Modellen wie GPT-3.5 in Qualität konkurriert.

MoEs fördern auch die Spezialisierung. Da verschiedene Experten unterschiedliche Muster lernen können, wird das Gesamtmodell besser darin, diverse Eingaben zu bearbeiten. Dies ist besonders nützlich in multilingualen, multi-domänen- oder multimodalen Aufgaben, bei denen ein einheitliches dichtes Modell unterperformen kann.

MoEs kommen jedoch mit technischen Herausforderungen. Ihre Ausbildung erfordert eine sorgfältige Abstimmung, um sicherzustellen, dass alle Experten effektiv eingesetzt werden. Der Speicheroverhead ist ein weiteres Problem – obwohl nur ein Bruchteil der Parameter pro Inferenz aktiv ist, müssen alle in den Speicher geladen werden. Die effiziente Verteilung der Berechnung auf GPUs oder TPUs ist nicht trivial und hat zur Entwicklung spezieller Frameworks wie Microsoft’s DeepSpeed und Google’s GShard geführt.

Trotz dieser Hürden sind die Leistungs- und Kostenvorteile so groß, dass MoEs nun als kritischer Bestandteil der groß angelegten AI-Entwicklung angesehen werden. Wenn mehr Tools und Infrastrukturen ausgereift sind, werden diese Herausforderungen allmählich überwunden.

Wie MoE im Vergleich zu anderen Skalierungsmethoden abschneidet

Die traditionelle dichte Skalierung erhöht die Modellgröße und die Rechenleistung proportional. MoEs brechen diese Linearität, indem sie die Gesamtzahl der Parameter erhöhen, ohne die Rechenleistung pro Eingabe zu erhöhen. Dies ermöglicht es, Modelle mit Billionen von Parametern auf der gleichen Hardware zu trainieren, die zuvor nur für Modelle mit Zehnmilliarden von Parametern geeignet war.

Im Vergleich zum Modell-Ensembling, das auch Spezialisierung einführt, aber mehrere vollständige Vorwärtsläufe erfordert, sind MoEs viel effizienter. Anstatt mehrere Modelle parallel auszuführen, führen MoEs nur eines aus – aber mit dem Vorteil mehrerer Experten-Wege.

MoEs ergänzen auch Strategien wie die Skalierung der Trainingsdaten (z. B. die Chinchilla-Methode). Während Chinchilla die Verwendung mehrerer Daten mit kleineren Modellen betont, erweitern MoEs die Modellkapazität, während die Rechenleistung stabil bleibt, was sie ideal für Fälle macht, in denen die Rechenleistung der Flaschenhals ist.

Schließlich sind Techniken wie Pruning und Quantisierung nicht die gleiche Sache wie MoEs, da sie Modelle nach der Ausbildung verkleinern, während MoEs die Modellkapazität während der Ausbildung erhöhen. Sie sind kein Ersatz für die Komprimierung, sondern ein orthogonales Werkzeug für effizientes Wachstum.

Die Unternehmen, die die MoE-Revolution anführen

Tech-Giganten

Google hat viel von der heutigen MoE-Forschung vorangetrieben. Ihre Switch-Transformer- und GLaM-Modelle wurden auf 1,6 Billionen bzw. 1,2 Billionen Parameter skaliert. GLaM erreichte die Leistung von GPT-3, während es nur ein Drittel der Energie verbrauchte. Google hat MoEs auch auf das Gebiet des Computer Vision (V-MoE) und multimodale Aufgaben (LIMoE) angewendet, was mit ihrer umfassenderen Vision für universelle AI-Modelle übereinstimmt.

Microsoft hat MoE in die Produktion integriert durch sein Z-Code-Modell in Microsoft Translator. Es hat auch DeepSpeed-MoE entwickelt, um das Training und die Inferenz von Modellen mit Billionen von Parametern zu beschleunigen. Zu ihren Beiträgen gehören Routing-Algorithmen und die Tutel-Bibliothek für effiziente MoE-Berechnung.

Meta hat MoEs in großen Sprachmodellen und Empfehlungssystemen erforscht. Ihr 1,1-Billionen-Parameter-MoE-Modell hat gezeigt, dass es die Qualität dichter Modelle erreichen kann, während es 4-mal weniger Rechenleistung verbraucht. Obwohl LLaMA-Modelle dicht sind, informiert Metas MoE-Forschung die breitere Gemeinschaft weiterhin.

Amazon (AMZN ) unterstützt MoEs über seine SageMaker-Plattform und interne Bemühungen. Es hat die Ausbildung von Mistral’s Mixtral-Modell erleichtert und soll MoEs in Diensten wie Alexa AI verwenden. Die AWS-Dokumentation fördert MoEs aktiv für die Ausbildung großer Modelle.

Huawei und BAAI in China haben auch rekordbrechende MoE-Modelle wie PanGu-Σ (1,085 Billionen Parameter) entwickelt. Dies zeigt das Potenzial von MoEs in Sprach- und multimodalen Aufgaben und unterstreicht ihren globalen Reiz.

Start-ups und Herausforderer

Mistral AI ist das Aushängeschild für MoE-Innovation im Open-Source-Bereich. Ihre Mixtral-8×7B- und 8×22B-Modelle haben bewiesen, dass MoEs dichte Modelle wie LLaMA-2 70B übertreffen können, während sie nur einen Bruchteil der Kosten verursachen. Mit über 600 Millionen Euro an Finanzierung setzt Mistral stark auf sparse Architekturen.

xAI, gegründet von Elon Musk, erforscht angeblich MoEs in ihrem Grok-Modell. Obwohl Details begrenzt sind, bieten MoEs Start-ups wie xAI eine Möglichkeit, mit größeren Spielern zu konkurrieren, ohne massive Rechenleistung benötigen zu müssen.

Databricks hat über seine MosaicML-Akquisition DBRX veröffentlicht, ein offenes MoE-Modell, das für Effizienz konzipiert ist. Es bietet auch Infrastruktur und Rezepte für MoE-Ausbildung, um die Einstiegshürde zu senken.

Andere Akteure wie Hugging Face haben MoE-Unterstützung in ihre Bibliotheken integriert, was es Entwicklern erleichtert, auf diesen Modellen aufzubauen. Selbst wenn sie keine MoEs selbst entwickeln, sind Plattformen, die sie ermöglichen, für das Ökosystem von entscheidender Bedeutung.

Schlussfolgerung

Mixture-of-Experts-Modelle sind nicht nur ein Trend – sie stellen eine grundlegende Veränderung dar, wie künstliche Intelligenz-Systeme aufgebaut und skaliert werden. Durch die selektive Aktivierung nur bestimmter Teile eines Netzwerks bieten MoEs die Leistungsfähigkeit von riesigen Modellen, ohne deren prohibitiven Kosten. Wenn die Software-Infrastruktur aufholt und Routing-Algorithmen verbessert werden, sind MoEs bereit, zur Standardarchitektur für multi-domänen-, multilinguale und multimodale künstliche Intelligenz zu werden.

Ob Sie Forscher, Ingenieur oder Investor sind, MoEs bieten einen Blick in eine Zukunft, in der künstliche Intelligenz leistungsfähiger, effizienter und anpassungsfähiger ist als je zuvor.