Wie DeepSeek mit 5.6 Millionen US-Dollar die Kostenbarriere durchbrach

Die herkömmliche KI-Weisheit besagt, dass der Aufbau Große Sprachmodelle (LLMs) erfordert tiefe Taschen – typischerweise Milliardeninvestitionen. Aber DeepSeek, ein chinesisches KI-Startup, hat dieses Paradigma mit seiner neuesten Errungenschaft gerade erschüttert: die Entwicklung eines KI-Modells der Weltklasse für nur 5.6 Millionen Dollar.

DeepSeeks V3-Modell kann sich mit Branchenriesen messen wie Googles Zwillinge und Die neuesten Angebote von OpenAI, und das alles bei einem Bruchteil der üblichen Computerressourcen. Diese Leistung erregte die Aufmerksamkeit vieler Branchenführer, und was sie besonders bemerkenswert macht, ist, dass das Unternehmen dies trotz US-Exportbeschränkungen erreichte, die den Zugang zu den neuesten Nvidia-Chips.

Die Ökonomie effizienter KI

Die Zahlen sprechen eine überzeugende Sprache in Sachen Effizienz. Während die meisten fortgeschrittenen KI-Modelle zwischen 16,000 und 100,000 GPUs für das Training benötigen, kam DeepSeek mit nur 2,048 GPUs aus, die 57 Tage lang liefen. Das Training des Modells verbrauchte 2.78 Millionen GPU-Stunden auf Nvidia H800-Chips – bemerkenswert bescheiden für ein Modell mit 671 Milliarden Parametern.

Um das in Relation zu setzen: Meta benötigte etwa 30.8 Millionen GPU-Stunden – also etwa 11 Mal mehr Rechenleistung – um seine Modell Lama 3, das mit 405 Milliarden tatsächlich weniger Parameter hat. Der Ansatz von DeepSeek ähnelt einem Meisterkurs in Optimierung unter Einschränkungen. Durch die Arbeit mit H800-GPUs – KI-Chips, die von Nvidia speziell für den chinesischen Markt mit reduzierten Fähigkeiten entwickelt wurden – verwandelte das Unternehmen potenzielle Einschränkungen in Innovation. Anstatt Standardlösungen für die Prozessorkommunikation zu verwenden, entwickelten sie maßgeschneiderte Lösungen, die die Effizienz maximierten.

Während die Konkurrenz weiterhin davon ausgeht, dass enorme Investitionen notwendig sind, zeigt DeepSeek, dass Einfallsreichtum und effiziente Ressourcennutzung zu Chancengleichheit führen können.

Bild: Künstliche Analyse

Das Unmögliche konstruieren

Der Erfolg von DeepSeek liegt in seinem innovativen technischen Ansatz, der zeigt, dass die größten Durchbrüche manchmal dadurch erzielt werden, dass man innerhalb begrenzter Grenzen arbeitet, anstatt ein Problem mit unbegrenzten Ressourcen zu lösen.

Das Herzstück dieser Innovation ist eine Strategie namens „Auxiliary-Loss-Free Load Balancing“. Stellen Sie es sich vor wie die Orchestrierung eines riesigen Parallelverarbeitungssystems, bei dem man traditionell komplexe Regeln und Strafen benötigt, um einen reibungslosen Ablauf zu gewährleisten. DeepSeek hat diese herkömmliche Weisheit auf den Kopf gestellt und ein System entwickelt, das auf natürliche Weise das Gleichgewicht aufrechterhält, ohne den Mehraufwand traditioneller Ansätze.

Das Team war außerdem Vorreiter bei der sogenannten „Multi-Token Prediction“ (MTP) – einer Technik, die das Modell vorausdenken lässt, indem es mehrere Token gleichzeitig vorhersagt. In der Praxis bedeutet dies eine beeindruckende Akzeptanzrate von 85-90 % für diese Vorhersagen zu verschiedenen Themen und eine 1.8-mal schnellere Verarbeitungsgeschwindigkeit als frühere Ansätze.

Die technische Architektur selbst ist ein Meisterwerk der Effizienz. DeepSeeks V3 verwendet einen Experten-Mix mit insgesamt 671 Milliarden Parametern, aber hier liegt der Clou: Für jedes Token werden nur 37 Milliarden aktiviert. Diese selektive Aktivierung bedeutet, dass sie die Vorteile eines massiven Modells nutzen und gleichzeitig die praktische Effizienz beibehalten.

Ihre Wahl des FP8-Trainingsframeworks mit gemischter Präzision stellt einen weiteren Fortschritt dar. Anstatt die herkömmlichen Einschränkungen einer reduzierten Präzision zu akzeptieren, entwickelten sie maßgeschneiderte Lösungen, die die Genauigkeit beibehalten und gleichzeitig den Speicher- und Rechenleistungsbedarf deutlich reduzieren.

Welleneffekte im Ökosystem der KI

Die Auswirkungen der Leistung von DeepSeek gehen weit über ein einzelnes erfolgreiches Modell hinaus.

Für die europäische KI-Entwicklung ist dieser Durchbruch besonders bedeutsam. Viele fortgeschrittene Modelle schaffen es nicht in die EU, weil Unternehmen wie Meta und OpenAI sich nicht an die Anforderungen anpassen können oder wollen. EU-KI-GesetzDer Ansatz von DeepSeek zeigt, dass zum Aufbau hochmoderner KI nicht immer riesige GPU-Cluster erforderlich sind – es geht vielmehr darum, die verfügbaren Ressourcen effizient zu nutzen.

Diese Entwicklung zeigt auch, wie Exportbeschränkungen tatsächlich Innovationen vorantreiben können. Der eingeschränkte Zugang von DeepSeek zu High-End-Hardware zwang sie, anders zu denken, was zu Softwareoptimierungen führte, die in einer ressourcenreichen Umgebung möglicherweise nie entstanden wären. Dieses Prinzip könnte unsere Herangehensweise an die KI-Entwicklung weltweit verändern.

Die Auswirkungen auf die Demokratisierung sind tiefgreifend. Während die Branchenriesen weiterhin Milliarden verbrennen, hat DeepSeek eine Blaupause für eine effiziente und kostengünstige KI-Entwicklung erstellt. Dies könnte Türen für kleinere Unternehmen und Forschungseinrichtungen öffnen, die bisher aufgrund begrenzter Ressourcen nicht konkurrieren konnten.

Dies bedeutet jedoch nicht, dass groß angelegte Computerinfrastrukturen obsolet werden. Die Branche verlagert den Schwerpunkt auf die Skalierung der Inferenzzeit – also wie lange ein Modell braucht, um Antworten zu generieren. Wenn sich dieser Trend fortsetzt, werden weiterhin erhebliche Rechenressourcen erforderlich sein, und mit der Zeit wahrscheinlich sogar noch mehr.

Doch DeepSeek hat die Diskussion grundlegend verändert. Die langfristigen Auswirkungen sind klar: Wir treten in eine Ära ein, in der innovatives Denken und effiziente Ressourcennutzung wichtiger sein könnten als bloße Rechenleistung. Für die KI-Community bedeutet dies, dass sie sich nicht nur darauf konzentrieren muss, welche Ressourcen sie haben, sondern auch darauf, wie kreativ und effizient sie diese nutzen.