Warum der AI-Chip-Wettlauf jetzt auf Software basiert

Jeder neue AI-Accelerator kommt mit einer Benchmarking-Geschichte: Spitzen-Durchsatz, Tera-Operationen pro Watt, beeindruckende Zahlen, die versprechen, dass dieser Chip alles ändern wird. Was diese Zahlen jedoch auslassen, ist, ob der Kunde den Chip tatsächlich in der Produktion verwenden kann. Meistens kann er es nicht, und das ist die wahre Geschichte, wo die AI-Hardware-Industrie heute steht. Sie steht vor einem Software-Reifegrad-Problem, und die meisten Unternehmen sind noch nicht bereit, dies öffentlich zuzugeben.

Die Lücke, über die niemand spricht

Silizium-Entwicklungszyklen dauern zwei bis vier Jahre, während die AI-Modell-Landschaft auf einem Zyklus basiert, der Monate misst und tendenziell auf Wochen zugeht. Darunter liegt ein Werteketten-Problem: Endanwendungsfälle, von Fahrzeugen und Fabriken bis hin zu Krankenhäusern und Geräten, reifen in ihrer Funktionalität und beginnen, messbare P&L-Auswirkungen zu erzielen. Diese Reife treibt die Nachfrage nach Software-Anpassungen an, die wiederum Hardware-Änderungen erfordern. Jede dieser drei Ebenen operiert mit einer grundlegend unterschiedlichen Geschwindigkeit, und diese Fehlanpassung ist die Ursache für die Reibung, die sich über den Markt aufbaut. Der Software-Stack, der zum Ausführen von Large-Language-Model-Inferenz benötigt wird, unterscheidet sich grundlegend von dem, der für frühere Machine-Learning-Workloads erstellt wurde. Hardware-Entwicklungszeiträume haben sich nicht komprimiert, um diesem Zyklus zu entsprechen. Unternehmen, die heute neues Silizium ausliefern, übergeben es den Kunden mit Software, die die Fähigkeiten des Chips nicht vollständig freischalten kann, was ein Muster erzeugt, das sich über den Markt wiederholt: beeindruckendes Silizium, unreife Software, langsames Engagement und verpasste Einnahmen. Der Chip tut, was er konzipiert wurde zu tun. Das Problem ist, dass Kunden ihn nicht leicht verwenden können.

Denken Sie an das, was der Automobilindustrie passiert ist. Autos selbst waren größtenteils ein gelöstes Problem bis zum mittleren 20. Jahrhundert, aber als Software zum Differenzierungsmerkmal wurde, hatten Unternehmen mit den tiefsten Herstellungslegacies am meisten Schwierigkeiten, sich anzupassen. Ford und GM wussten, wie man Motoren baut, aber hatten keine Muskel-Memorie, um Betriebssysteme zu bauen. Die AI-Hardware-Industrie durchlebt jetzt denselben Übergang, und der Vergleich ist unangenehm präzise. NVIDIA (NVDA ) spielt die Rolle des software-nativen Disruptors, während traditionelle Halbleiterunternehmen noch herausfinden, wie man Entwickler-Ökosysteme neben Silizium verkauft.

NVIDIAs Dominanz hat fast nichts mit dem Besitz der besten Chips zu tun. CUDA (Compute Unified Device Architecture) ist zwanzig Jahre alt, mit all dem technischen Schulden, das das impliziert, aber was NVIDIA tatsächlich aufgebaut hat, ist das Betriebssystem des AI-Rechnens: ein vorhersehbares, reifes Ökosystem, auf das Entwickler und OEMs in der Produktion vertrauen können.

Kunden wählen Plattformen auf der Grundlage der Software-Reife und Integrationsrisiken, sodass wenn ein neuer Accelerator ohne einen produktionsreifen Software-Stack ankommt, das kommerzielle Gespräch vorzeitig endet.

Die Zeit bis zum ersten Modell, definiert als die Zeit, die ein Kunde benötigt, um eine reale AI-Workload auf einem gegebenen Accelerator auszuführen, ist ein viel bedeutungsvolleres kommerzielles Maß als der Spitzen-Durchsatz. Das ist das Gespräch, auf das sich die meisten Hardware-Unternehmen am wenigsten vorbereitet haben.

Der echte Markt ist Inferenz

Die Muttersprache des Geschäfts ist die P&L, und jedes Unternehmen, das AI einsetzt, muss die gleiche Frage beantworten: Wo ist das Geld, und was hindert mich daran, es zu erfassen? Training ist ein notwendiger Schritt, aber kommerzielle AI lebt in der Inferenz, und dieser Markt hat kaum begonnen.

Die Skalenasymmetrie hier ist auffallend. Training deckt einen Anwendungsfall ab; Inferenz deckt eine unendliche Anzahl ab. Jede Anwendung von AI in einem Fahrzeug, einer Fabrik, einem Krankenhaus, einem Telefon oder einem Lagerhaus erfordert Inferenz. Ein Chip, der Sicherheitssysteme in einem Auto ausführt, kann nicht die Leistung eines Rechenzentrums nutzen, und ein Gerät, das Echtzeit-Inferenz auf einem Fabrikboden ausführt, kann keine hohe Latenz tolerieren. Der Edge-Inferenz-Markt erfordert Silizium, das speziell für Leistungseffizienz, physische Einschränkungen und die Sicherheits- und Zuverlässigkeitsanforderungen der Branchen, die es einsetzen, konzipiert ist.

Googles jüngste Entscheidung, seinen achten TPU in zwei separate Chips aufzuteilen, einen für Training und einen für Inferenz, ist es wert, sich damit auseinanderzusetzen. Diese architektonische Wahl erkennt an, dass die beiden Workloads so sehr divergiert sind, dass die Optimierung für beide in einem einzigen Design jetzt bedeutet, in keinem von beiden hervorragend zu sein. Wenn ein Unternehmen, das einige der größten AI-Infrastrukturen betreibt, entscheidet, dass Spezialisierung wichtiger ist als Konsolidierung, signalisiert es, wohin der Rest des Marktes geht: hin zu speziell für Inferenz konzipiertem Silizium, das am Rand, in großen Mengen und unter realen Einschränkungen eingesetzt wird, die Datenzentrum-Benchmarks nie messen sollten.

Wir sind in einem Inferenz-Land-Grab, während der größte Teil des Marktes noch immer um das Training organisiert ist.

Die strukturellen Grenzen von Legacy

Die Unternehmen, die am besten positioniert sind, um in großem Umfang zu produzieren, sind strukturell nicht in der Lage, die Märkte zu bedienen, in denen Inferenz leben wird. Automobilkunden benötigen Lieferanten, die die Verfügbarkeit von Komponenten für ein Jahrzehnt garantieren. Allgemeine Halbleiterunternehmen wie Intel (INTC ) werden sich nicht darauf einlassen. Diese strukturelle Einschränkung lässt eine ganze Branche unbedient, und keine Menge an Verhandlungen ändert das.

NVIDIAs Edge-AI-Plattform steht bereits vor einer Herausforderung durch PIN-kompatible Alternativen, die bessere Leistung pro Watt liefern, ohne dass Änderungen am Software-Stack erforderlich sind. Ein Kunde kann den Chip austauschen und alles andere beibehalten, was dies zu einem direkten kommerziellen Angriff auf den am besten verteidigbaren Teil von NVIDIAs Edge-Position macht.

Die Unternehmen, die ihr Konzept auf CUDA bewiesen haben, entdecken, dass wirtschaftliche Einsetzung im großen Maßstab eine Neukonzeption auf Silizium mit geringerem Stromverbrauch erfordert, weil wenn Organisationen Zehntausende von Geräten ausrollen, Kosten pro Einheit und Stromverbrauch entscheidende Faktoren werden. Die Sequenz, die sich über den Inferenz-Markt abspielt, ist einfach: Verwenden Sie etwas, das funktioniert, testen Sie es, und finden Sie dann einen Weg, es wirtschaftlich einzusetzen, weil Sie damit Geld verdienen müssen. Angesichts des Tempos der AI-Einführung ist das Fenster für die Errichtung von Software- und Ökosystem-Vorteilen in Quartalen gemessen.

Die Ingenieur-Investition, die die meisten Unternehmen auslassen

AI-Hardware-Unternehmen liefern weiterhin leistungsstarke Chips mit Software, die sie nicht vollständig ausführen kann. Produktionsreife Systemsoftware, die Inferenz-Laufzeiten, Compiler-Optimierung und Workload-Enablement abdeckt, erfordert tiefe, spezialisierte Ingenieurskunst, die die meisten Hardware-Unternehmen einfach nicht im Haus haben.

Das Aufbauen dieser Fähigkeit bedeutet, Compiler-Ingenieure und Laufzeit-Architekten einzustellen, die die Lücke zwischen dem, was ein Chip theoretisch leisten kann, und dem, was ein Kunde praktisch einsetzen kann, schließen können. Unternehmen müssen auch in Toolchains investieren, bevor die Einnahmen es rechtfertigen, weil wenn die Einnahmen eintreffen, das Fenster bereits geschlossen ist. Unternehmen, die diese Investition auslassen, fallen nicht nur zurück. Sie verlieren Geschäfte.

Die Chips, die das Maß erreichen, sind die am besten einsetzbaren Chips, und Einsetzbarkeit ist eine Funktion der Software-Qualität. Große Abnehmer, von OEMs und Hyperscalern bis hin zu Unternehmenskunden, sind bereits von Silizium betroffen, das gut benchmarkt, aber schlecht integriert. Sie wählen basierend auf Ökosystem-Reife und Integrationsrisiko. Unternehmen, die Software als erste Ingenieur-Priorität behandeln, wandeln mehr Pilotprojekte in Produktionsverträge um und erreichen Einnahmen schneller. Diejenigen, die es als nachgelagertes Versandstück behandeln, sehen, wie technisch überlegenes Silizium an inferioren Chips mit reiferen Stacks verliert.

Die Uhr tickt bereits

Die AI-Hardware-Unternehmen, die positioniert sind, um in der nächsten Phase einen signifikanten Anteil zu erobern, bauen heute Ökosystem-Vorteile auf, die es späteren Eindringlingen schwer machen werden, sie zu replizieren. Software-Flexibilität, die Fähigkeit, sich an neue Modell-Architekturen anzupassen, ohne auf den nächsten Tape-out zu warten, trennt Silizium, das kommerziell relevant bleibt, von Silizium, das endlos durch Pilotprojekte zyklisiert, ohne jemals die Einnahmen zu erzielen, die benötigt werden, um die nächste Generation zu finanzieren.

Die Entscheidungen, die jetzt in Ingenieur-Teams, Partnerschaftsvereinbarungen und kommerziellen Pilotprojekten über den gesamten AI-Hardware-Landschaft getroffen werden, werden bestimmen, welche Unternehmen 2028 noch relevant sind. CUDAs zwanzigjährige Vorgeschichte ist ein Graben, der auf Ökosystem-Tiefe basiert, aber jedes Unternehmen, das bereit ist, Software als nachhaltige Ingenieur-Priorität zu behandeln, kann über die Zeit dieselbe Tiefe aufbauen.

Die Frage, die die Branche beantworten muss, ist, welche Unternehmen schnell genug sind, um die Ökosystem-Tiefe aufzubauen, die ihre Chips zur Standardwahl macht, bevor jemand anderes’ zu sehr verwurzelt ist, um verdrängt zu werden.