Wie DeepSeek die Kostenbarriere mit 5,6 Mio. US-Dollar durchbrach

Die herkömmliche AI-Weisheit besagt, dass der Bau von großen Sprachmodellen (LLMs) tiefe Taschen erfordert – typischerweise Milliarden in Investitionen. Aber DeepSeek, ein chinesischer AI-Start-up, hat diese Vorstellung gerade mit ihrer neuesten Errungenschaft zerschlagen: der Entwicklung eines weltklasse-AI-Modells für nur 5,6 Millionen US-Dollar.

DeepSeeks V3-Modell kann es mit Branchenriesen wie Googles Gemini und OpenAIs neuesten Angeboten aufnehmen, und das bei nur einem Bruchteil der typischen Rechenressourcen. Diese Errungenschaft hat die Aufmerksamkeit vieler Branchenführer auf sich gezogen, und was besonders bemerkenswert ist, ist, dass das Unternehmen dies trotz der US-Exportbeschränkungen erreicht hat, die ihren Zugang zu den neuesten Nvidia-Chips (NVDA ) beschränkten.

Die Ökonomie der effizienten KI

Die Zahlen erzählen eine überzeugende Geschichte der Effizienz. Während die meisten fortschrittlichen AI-Modelle zwischen 16.000 und 100.000 GPUs für die Ausbildung benötigen, hat DeepSeek mit nur 2.048 GPUs auskommen können, die 57 Tage lang liefen. Die Ausbildung des Modells verbrauchte 2,78 Millionen GPU-Stunden auf Nvidia-H800-Chips – bemerkenswert bescheiden für ein 671-Milliarden-Parameter-Modell.

Um dies in Perspektive zu setzen, benötigte Meta etwa 30,8 Millionen GPU-Stunden – etwa 11-mal mehr Rechenleistung –, um sein Llama-3-Modell auszubilden, das tatsächlich weniger Parameter mit 405 Milliarden hat. DeepSeeks Ansatz ähnelt einem Meisterkurs in Optimierung unter Einschränkungen. Durch die Arbeit mit H800-GPUs – AI-Chips, die von Nvidia speziell für den chinesischen Markt mit reduzierten Fähigkeiten entwickelt wurden – hat das Unternehmen potenzielle Einschränkungen in Innovationen umgewandelt. Anstatt standardmäßige Lösungen für die Prozessorkommunikation zu verwenden, entwickelten sie benutzerdefinierte Lösungen, die die Effizienz maximierten.

Während die Wettbewerber weiterhin unter der Annahme operieren, dass massive Investitionen notwendig sind, zeigt DeepSeek, dass Erfindungsreichtum und effiziente Ressourcennutzung das Spielfeld gleich machen können.

Bild: Artificial Analysis

Das Ingenieurskunstwerk

DeepSeeks Errungenschaft liegt in ihrem innovativen technischen Ansatz, der zeigt, dass manchmal die bedeutendsten Durchbrüche aus der Arbeit innerhalb von Einschränkungen und nicht durch das Werfen von unbegrenzten Ressourcen auf ein Problem kommen.

Im Herzen dieser Innovation steht eine Strategie namens “auxiliary-loss-free load balancing”. Stellen Sie sich vor, ein riesiges paralleles Verarbeitungssystem zu orchestrieren, bei dem man traditionell komplexe Regeln und Strafen benötigen würde, um alles reibungslos laufen zu lassen. DeepSeek hat diese herkömmliche Weisheit auf den Kopf gestellt und ein System entwickelt, das ohne den Overhead traditioneller Ansätze natürlich im Gleichgewicht bleibt.

Das Team hat auch eine Technik namens “Multi-Token-Prediction” (MTP) entwickelt – eine Technik, die es dem Modell ermöglicht, voraus zu denken, indem es mehrere Token auf einmal vorhersagt. In der Praxis bedeutet dies eine beeindruckende Akzeptanzrate von 85-90% für diese Vorhersagen in verschiedenen Themen, was 1,8-mal schnellere Verarbeitungsgeschwindigkeiten als bei herkömmlichen Ansätzen ergibt.

Die technische Architektur selbst ist ein Meisterwerk der Effizienz. DeepSeeks V3 verwendet einen Mixture-of-Experts-Ansatz mit insgesamt 671 Milliarden Parametern, aber hier ist der clever Teil – es aktiviert nur 37 Milliarden für jeden Token. Diese selektive Aktivierung bedeutet, dass sie die Vorteile eines riesigen Modells nutzen, während sie gleichzeitig praktische Effizienz bewahren.

Ihre Wahl des FP8-Mixed-Precision-Trainingsframeworks ist ein weiterer Sprung nach vorne. Anstatt die herkömmlichen Einschränkungen der reduzierten Genauigkeit zu akzeptieren, haben sie benutzerdefinierte Lösungen entwickelt, die die Genauigkeit bewahren, während sie gleichzeitig den Speicher- und Rechenbedarf erheblich reduzieren.

Welleneffekte in der KI-Ökonomie

Die Auswirkungen von DeepSeeks Errungenschaft reichen weit über ein einzelnes erfolgreiches Modell hinaus.

Für die europäische KI-Entwicklung ist dieser Durchbruch besonders bedeutend. Viele fortschrittliche Modelle kommen nicht in die EU, weil Unternehmen wie Meta und OpenAI entweder nicht oder nicht wollen, sich an die EU-KI-Verordnung anzupassen. DeepSeeks Ansatz zeigt, dass der Bau von Spitzen-KI nicht immer riesige GPU-Cluster erfordert – es geht mehr um die effiziente Nutzung der verfügbaren Ressourcen.

Diese Entwicklung zeigt auch, wie Exportbeschränkungen tatsächlich die Innovation vorantreiben können. DeepSeeks begrenzter Zugang zu High-End-Hardware hat sie gezwungen, anders zu denken, was zu Software-Optimierungen geführt hat, die in einer ressourcenreichen Umgebung möglicherweise nie entstanden wären. Dieses Prinzip könnte die Art und Weise, wie wir weltweit KI-Entwicklung angehen, verändern.

Die Auswirkungen auf die Demokratisierung sind tiefgreifend. Während Branchenriesen weiterhin Milliarden durchbrennen, hat DeepSeek eine Blaupause für effiziente, kostengünstige KI-Entwicklung geschaffen. Dies könnte kleineren Unternehmen und Forschungseinrichtungen, die zuvor aufgrund von Ressourcenbeschränkungen nicht mithalten konnten, Türen öffnen.

Dies bedeutet jedoch nicht, dass große Recheninfrastrukturen überflüssig werden. Die Branche konzentriert sich auf die Skalierung der Inferenzzeit – wie lange ein Modell braucht, um Antworten zu generieren. Wenn dieser Trend anhält, werden erhebliche Rechenressourcen wahrscheinlich immer noch notwendig sein, möglicherweise sogar mehr als bisher.

Aber DeepSeek hat die Konversation grundlegend verändert. Die langfristigen Auswirkungen sind klar: Wir betreten eine Ära, in der innovative Denkweise und effiziente Ressourcennutzung wichtiger sein könnten als reine Rechenleistung. Für die KI-Gemeinschaft bedeutet dies, sich nicht nur auf die Ressourcen zu konzentrieren, die wir haben, sondern auch darauf, wie kreativ und effizient wir sie nutzen.