Der Heilige Gral der Rechenleistung in KI

Trotz enormer Fortschritte sind die Fähigkeiten der künstlichen Intelligenz immer noch begrenzt, wenn man sie mit den Erwartungen der realen Welt vergleicht. Wir bauen komplexe Modelle, führen neuronale Netze aus und testen Algorithmen, doch der Fortschritt stockt manchmal an den unwahrscheinlichsten Stellen.

Das Problem liegt oft nicht in den Algorithmen oder den Daten, sondern in der Rechenleistung, den Ressourcen, die es Modellen ermöglichen, auf der notwendigen Skala zu lernen und zu arbeiten. Was liegt also hinter dieser Barriere? Lassen Sie uns die kritische Ressource untersuchen, ohne die sogar die vielversprechendsten KI-Projekte nicht über das Labor hinauskommen.

Der Rechenleistungsdefizit und seine Folgen

Um dieses Thema zu verstehen, beginnen wir mit der Geschichte der mobilen Kommunikation. Als 3G- und später 4G-Netze auftraten, war das Internet bereits fast global. Und als 5G eingeführt wurde, fragten viele Menschen eine völlig vernünftige Frage: “Das Internet wird schneller – aber was bedeutet das?”

In Wirklichkeit kommt die Erhöhung der Internetsgeschwindigkeit nicht auf die Benutzerfreundlichkeit hinunter. Sie verändert die gesamte technologische Landschaft. Anwendungsfälle entstehen, die zuvor unmöglich waren. 5G erwies sich als viel schneller als 4G, und dieser Sprung war nicht allmählich, wie der Übergang von 1G zu 2G, sondern exponentiell. Als Ergebnis können neue Anwendungen, Geräte und ganze Technologieklassen entstehen.

Verkehrsampelkameras, Echtzeit-Verkehrsanalyse-Systeme und automatisierte Verkehrsregulierungsmechanismen – all dies wird möglich dank neuer Kommunikationstechnologien. Die Polizei erhält neue Möglichkeiten, Daten auszutauschen, und im Weltraum können Teleskope und Satelliten riesige Mengen an Informationen zur Erde übertragen. Ein qualitativer Sprung in einer grundlegenden Technologie treibt die Entwicklung des gesamten Ökosystems voran.

Dasselbe Prinzip gilt für die Rechenleistung. Stellen Sie sich die gesamte Rechenkapazität der Menschheit in hypothetischen Einheiten vor. Heute haben wir vielleicht zehn solcher Einheiten. Mit ihnen können wir Bilder und Videos erzeugen, Texte schreiben, Marketingmaterial erstellen… Dies ist bereits erheblich, aber der Anwendungsbereich ist hauptsächlich begrenzt.

Nun stellen Sie sich vor, wir hätten nicht zehn, sondern tausend solcher Einheiten. Plötzlich werden Technologien, die zuvor zu teuer waren, machbar, und Startups, die aufgrund hoher Rechenkosten aufgegeben wurden, beginnen, wirtschaftlich Sinn zu machen.

Nehmen wir beispielsweise Robo-Taxis. Heute verlassen sie sich hauptsächlich auf relativ schwache lokale Computer, die in den Fahrzeugen installiert sind. Wenn jedoch das Video-Signal mit enormen Rechenressourcen in der Cloud übertragen würde, könnten die Daten in Echtzeit verarbeitet und zurückgesendet werden. Und das ist entscheidend: Ein Auto, das mit 100 km/h fährt, muss in Bruchteilen einer Sekunde Entscheidungen treffen – geradeaus fahren, abbiegen, bremsen oder nicht bremsen.

Dann wird eine voll funktionsfähige Robo-Taxi-Industrie möglich, nicht nur isolierte Lösungen wie die, die wir heute sehen. Jeder lokale Computer, der in einem Auto installiert ist, ist von Natur aus begrenzt, auf eine Weise, die ein verbundenes System nicht ist. Je schneller wir es skalieren können, desto schneller wird die Welt um uns herum sich ändern.

Zugang zu Chips und der “Goldene Ticket” in KI

Im Kontext der Rechenleistung stellt sich die Frage: Wird der Zugang zu modernen Chips zum “Goldenen Ticket”, um in den KI-Markt einzutreten? Erzeugen große Spieler, die Verträge mit Chip-Herstellern abschließen oder sie selbst herstellen, eine Lücke zwischen großen Unternehmen und allen anderen?

Eine solche Lücke entsteht nur in einem Fall: Wenn ein Geschäftsmodell ausschließlich auf den Verkauf von Chips an große Kunden ausgerichtet ist. In der Praxis zielen Hersteller wie NVIDIA darauf ab, Cloud-Lösungen für jeden anzubieten. Ihre optimierten Chips sind in der Cloud sowohl für OpenAI als auch für unabhängige Entwickler verfügbar.

Auch strategische Allianzen zwischen Unternehmen wie Google, Anthropic, Microsoft, OpenAI, Amazon und NVIDIA sind in erster Linie Partnerschaften für die gemeinsame Nutzung von Ressourcen und nicht Versuche, den Markt abzuschließen. Dieses Modell ermöglicht die effiziente Zuweisung von Rechenleistung und beschleunigt damit die technologische Entwicklung.

Wenn wir die Kette der Nutzung von Rechenressourcen verfolgen, beginnt sie mit dem Endbenutzer. Wenn Sie beispielsweise WhatsApp für Videoanrufe und Messaging verwenden, muss das Unternehmen sicherstellen, dass der Dienst funktioniert: Daten speichern und verarbeiten, Modelle für die Videobereinigung ausführen, Effekte hinzufügen und die Bildqualität verbessern.

Die Wartung von eigenen Servern ist teuer, sie werden veraltet und erfordern ständige Wartung. Deshalb sind Cloud-Lösungen, “die Cloud”, entstanden. Der Markt wird von drei Spielern dominiert: Google Cloud, AWS und Microsoft Azure. Andere Unternehmen können auf diesem Niveau nicht mithalten: Die Infrastruktur ist einfach zu umfangreich.

Cloud-Dienste sind riesige Rechenzentren mit Kühlung, Stromversorgung und rund um die Uhr-Wartung. Sie beherbergen Server und spezielle Chips von NVIDIA, AMD und anderen Herstellern, die große Rechenprozesse ermöglichen.

Hier kommen wir zu der wichtigen Frage, die ich in meinem vorherigen Artikel über Rechenzentren diskutierte und hier fortführen möchte: Was ist das Haupt-Hindernis in diesem System? Ist es der Mangel an Strom oder die Schwierigkeit, Rechenzentren in Regionen zu kühlen, in denen das Klima es besonders herausfordert? In Wirklichkeit liegt das Geheimnis in den Chips selbst…

Der Heilige Gral

Warum wird NVIDIA heute mit etwa 5 Billionen Dollar bewertet und zu den erfolgreichsten börsennotierten Unternehmen der Welt gezählt? Der Grund ist einfach: NVIDIA produziert die Chips, auf denen KI-Modelle trainiert und Inferenz durchgeführt werden.

Jeder dieser Chips verbraucht enorme Mengen an Strom, wenn große Modelle trainiert oder immer größere Datenmengen verarbeitet werden. Aber wie effizient wird diese Energie genutzt? Hier kommen spezielle Chips ins Spiel; sie bearbeiten bestimmte Aufgaben viel effizienter als allgemeine GPU.

KI-Modelle unterscheiden sich. OpenAI hat beispielsweise eine Familie von Modellen, Anthropic eine andere. Die Konzepte können ähnlich sein, aber die mathematischen Strukturen und Rechenprozesse sind unterschiedlich. Ein einzelner allgemeiner Chip, der OpenAI-Modelle (wie ChatGPT) trainiert und Anthropic-Modelle (wie Claude) ausführt, agiert als “Ein-Größe-passt-für-alle-Werkzeug”, das 100.000 Stunden Rechenleistung für ein Modell und 150.000 für ein anderes verbraucht. Die Effizienz variiert erheblich und ist selten optimal.

Unternehmen lösen dieses Problem, indem sie spezielle Chips herstellen. Zum Beispiel kann ein Chip für die ChatGPT-Architektur optimiert werden und in 20 Minuten trainieren, während ein anderer auf die Architektur von Anthropic zugeschnitten ist und ebenfalls in 20 Minuten trainiert. Der Energieverbrauch und die Trainingszeit werden im Vergleich zu einem allgemeinen Chip mehrfach reduziert.

Wenn diese Chips an große Unternehmen wie Google, Amazon, Microsoft oder Azure verkauft werden, werden sie als eigenständige Produkte angeboten. Benutzer können beispielsweise einen Chip wählen, der für ein YOLO-Modell oder einen einfacheren, günstigeren Chip für eine Xen-Architektur optimiert ist. Auf diese Weise erhalten Unternehmen Zugang zu Rechenressourcen, die genau auf ihre Aufgaben zugeschnitten sind, anstatt allgemeine GPU zu kaufen. Wenn ein Benutzer zehn verschiedene Funktionen hat, kann er zehn verschiedene spezielle Chips verwenden.

Der Trend ist klar: Spezielle Chips ersetzen allmählich allgemeine. Viele Startups arbeiten jetzt mit ASICs (Application-Specific Integrated Circuits), Chips, die für bestimmte Rechenaufgaben konzipiert sind. Die ersten ASICs erschienen für Bitcoin-Mining: Anfangs wurde Kryptowährung auf NVIDIA-GPU gemined, dann wurden Chips erstellt, die ausschließlich für Bitcoin geeignet waren und keine anderen Aufgaben ausführen konnten.

Ich sehe dies in der Praxis: dieselbe Hardware-Konfiguration kann völlig unterschiedliche Ergebnisse liefern, je nach Aufgabe. In meinem Startup Introspector untersuchen wir diese Prozesse in realen Projekten, und als strategischer Berater von Keymakr beobachte ich, wie Kunden durch spezielle Chips Effizienz gewinnen, was es Modellen ermöglicht, schneller zu laufen. Projekte, die zuvor während des Trainings oder der Inferenz ins Stocken geraten sind, erreichen mit diesem Ansatz stabile Ergebnisse.

Es gibt jedoch Risiken durch eine enge Spezialisierung. Ein Chip, der für die Architektur von Anthropic optimiert ist, funktioniert nicht für das Training von OpenAI-Modellen und umgekehrt. Jede neue Architektur erfordert eine neue Generation von Hardware, was das Risiko einer großen “Veraltung” mit sich bringt. Wenn Anthropic morgen eine neue Architektur veröffentlicht, werden alle vorherigen Generationen von Chips ineffizient oder nutzlos. Die Herstellung neuer Chips kostet Milliarden von Dollar und kann Jahre dauern.

Dies schafft ein Dilemma: Sollen wir spezielle Chips herstellen, die in einem engen Szenario perfekt funktionieren, oder weiter allgemeine Chips produzieren, die alle Aufgaben mittelmäßig gut lösen, aber nicht den kompletten Ersatz erfordern, wenn Architekturen geändert werden?

Die Effizienz in diesem Kontext wird durch drei primäre Parameter gemessen: Laufzeit, Stromverbrauch und Wärmeentwicklung. Diese Metriken sind direkt miteinander verbunden: Je länger ein System läuft, desto mehr Energie verbraucht es und desto mehr Wärme erzeugt es. Die Reduzierung eines Parameters verbessert automatisch die anderen beiden.

Hier liegt der “Heilige Gral” der KI-Leistung: Wenn mindestens einer der grundlegenden Effizienzmetriken optimiert werden kann, verbessern sich die anderen Metriken fast automatisch.

Nachhaltiger Prozess

Mit der zunehmenden Verwendung spezieller Chips ist das Problem des Überproduktionsrisikos akut geworden. Derzeit ist der Überschuss an Ausrüstung bereits erheblich, und Unternehmen gehen diesem Problem auf verschiedene nachhaltige Weise an, einschließlich der Wiederverwendung bestehender Ressourcen.

Die Wiederverwendung von Ausrüstung ist zu einem wichtigen Element der nachhaltigen Entwicklung in der High-Tech-Industrie geworden. Chips enthalten erhebliche Mengen an Edelmetallen, Kupfer, Aluminium, Palladium und seltenen Erden sowie Materialien, die in Mikrochips und Transistoren verwendet werden. Wenn Ausrüstung veraltet, können diese wertvollen Ressourcen zurück in die Produktion gebracht werden, was die Kosten für neue Komponenten senkt und gleichzeitig den ökologischen Fußabdruck der Branche verringert.

Einige spezialisierte Fabriken und Unternehmen konzentrieren sich auf die Wiederverwendung und das Recycling von Edelmetallen aus veralteten Komponenten. Zum Beispiel verwenden einige Anlagen hydrometallurgische Prozesse und fortschrittliche chemische Methoden, um Gold und Kupfer mit hoher Reinheit zu extrahieren, was es ermöglicht, diese Materialien in neuen Chips wiederverwendet zu werden.

Unternehmen setzen auch geschlossene Kreislaufmodelle um, bei denen alte Ausrüstung aufgerüstet oder in neue Lösungen integriert wird, was den Bedarf an primären Ressourcenextraktionen verringert. Solche Ansätze helfen nicht nur, Abfall zu minimieren, sondern senken auch den CO2-Fußabdruck der Produktion, da traditionelles Bergbau und Metallverarbeitung erhebliche Energiemengen erfordern.

Die nachhaltige Verwaltung des Lebenszyklus von Chips und Ausrüstung könnte zu einem Branchenstandard werden, bei dem technologischer Fortschritt mit ökologischer Verantwortung einhergeht.