Waarom de AI-chiprace nu op software draait

Elk nieuw AI-versneller arriveert met een benchmarkverhaal: piekdoorvoer, tera-ops per watt, indrukwekkende cijfers die beloven dat deze chip alles zal veranderen. Wat deze cijfers niet meenemen, is of de klant de chip daadwerkelijk in productie kan gebruiken. Meestal kan dat niet, en dat is het echte verhaal van waar de AI-hardwareindustrie vandaag staat. Het heeft een software-maturiteitsprobleem, en de meeste bedrijven zijn nog niet klaar om dat openlijk toe te geven.

De kloof waar niemand over praat

Siliciumontwikkelingscycli duren twee tot vier jaar, terwijl het AI-modellandschap evolueert op een cyclus die maanden meet en trend naar weken. Onderliggend hieraan zit een waardeketenprobleem: eindgebruikscases, van voertuigen en fabrieken tot ziekenhuizen en apparaten, rijpen in functionaliteit en beginnen meetbare P&L-impact te genereren. Die maturiteit drijft de vraag naar softwareaanpassingen, die op hun beurt hardwarewijzigingen vereisen. Elk van deze drie lagen werkt op een fundamenteel andere snelheid, en die misalignering is de oorzaak van de wrijving die zich over de markt ontwikkelt. De softwarestack die nodig is om grote taalmodelinference uit te voeren, verschilt fundamenteel van wat eerder voor machine learning-werklasten is gebouwd. Hardwareontwikkelingstijden zijn niet gecomprimeerd om deze cyclus bij te houden. Bedrijven die vandaag nieuwe silicium verschepen, geven het aan klanten met software die de mogelijkheden van de chip niet volledig kan ontsluiten, waardoor een patroon ontstaat dat zich over de markt herhaalt: indrukwekkend silicium, onrijpe software, langzame adoptie en gemiste omzet. De chip doet wat hij is ontworpen om te doen. Het probleem is dat klanten hem niet gemakkelijk kunnen gebruiken.

Overweeg wat er met de automotive-industrie is gebeurd. Auto’s zelf waren grotendeels een opgelost probleem tegen het midden van de twintigste eeuw, maar toen software de differentiator werd, worstelden bedrijven met de diepste productie-erfenis het meest om aan te passen. Ford en GM wisten hoe ze motoren moesten bouwen, maar hadden geen spiergeheugen voor het bouwen van besturingssystemen. De AI-hardwareindustrie gaat nu door dezelfde overgang heen, en de parallel is ongemakkelijk precies. NVIDIA (NVDA ) speelt de rol van de software-native disruptor, terwijl traditionele halfgeleiderbedrijven nog steeds proberen te begrijpen hoe ze ontwikkelaarecosystemen naast silicium kunnen verkopen.

NVIDIA’s dominantie heeft bijna niets te maken met het hebben van de beste chips. CUDA (Compute Unified Device Architecture) is twintig jaar oud, met alle technische schulden die dat impliceert, maar wat NVIDIA eigenlijk heeft gebouwd, is het besturingssysteem van AI-rekenen: een voorspelbaar, volwassen ecosysteem dat ontwikkelaars en OEM’s in productie kunnen vertrouwen.

Klanten selecteren platforms op basis van softwarematuriteit en integratierisico, dus wanneer een nieuwe versneller arriveert zonder een productieklare softwarestack, eindigt het commerciële gesprek voordat het begint.

De tijd tot het eerste model, gedefinieerd als hoe snel een klant een echte AI-werklast op een bepaalde versneller uitvoert, is een veel meer betekenisvolle commerciële metric dan piekdoorvoer. Dat is het gesprek dat de meeste hardwarebedrijven het minst bereid zijn om te voeren.

De echte markt is inference

De moedertaal van het bedrijfsleven is de P&L, en elk bedrijf dat AI implementeert, moet hetzelfde antwoord geven: waar is het geld, en wat weerhoudt me ervan om het te verdienen? Training is een noodzakelijke stap, maar commerciële AI leeft in inference, en die markt is nog maar net begonnen.

De schaalasymmetrie hier is opvallend. Training dekt één use case; inference dekt een oneindige hoeveelheid. Elke toepassing van AI in een voertuig, fabriek, ziekenhuis, telefoon of magazijn vereist inference. Een chip die veiligheidssystemen in een auto uitvoert, kan geen datacenterstroom trekken, en een apparaat dat real-time inference op een fabrieksvloer uitvoert, kan geen hoge latentie tolereren. De edge-inferencemarkt vereist silicium dat specifiek is ontworpen voor energie-efficiëntie, fysieke beperkingen en de veiligheids- en betrouwbaarheidsvereisten van de industrieën die het implementeren.

Google’s recente beslissing om zijn achtste generatie TPU te splitsen in twee afzonderlijke chips, een voor training en een voor inference, is het overdenken waard. Deze architectonische keuze erkent dat de twee werklasten zo significant zijn gedivergeerd dat optimaliseren voor beide in één ontwerp nu betekent dat je uitstekend bent in geen van beide. Wanneer een bedrijf dat een van de grootste AI-infrastructuur draait, besluit dat specialisatie belangrijker is dan consolidatie, geeft het aan waar de rest van de markt naartoe gaat: naar purpose-built inferencsilicium dat op de edge wordt geïmplementeerd, in volume, onder real-worldbeperkingen die datacenterbenchmarks nooit zijn ontworpen om te meten.

We zijn in een inferencelandgrab, terwijl de meeste van de markt nog steeds georganiseerd is rond training.

De structurele beperkingen van legacy

De bedrijven die het beste zijn gepositioneerd om op grote schaal te produceren, zijn structureel niet in staat om de markten te bedienen waar inference zal leven. Automotive-klanten hebben leveranciers nodig die componentbeschikbaarheid voor een decennium kunnen garanderen. Algemene halfgeleiderbedrijven zoals Intel (INTC ) zullen dat nooit doen. Deze structurele beperking laat een hele industrie onbediend, en geen enkele hoeveelheid onderhandelingen verandert dat.

NVIDIA’s edge AI-platform wordt al uitgedaagd door PIN-compatibele alternatieven die betere prestaties per watt leveren zonder dat er enige wijzigingen in de softwarestack nodig zijn. Een klant kan de chip verwisselen en alles anders laten, waardoor dit een directe commerciële aanval is op het meest verdedigbare deel van NVIDIA’s edge-positie.

De bedrijven die hun concept hebben bewezen op CUDA, ontdekken dat economische implementatie op grote schaal een herarchitectuur naar lagere vermogenssilicium vereist, omdat wanneer organisaties tienduizenden apparaten uitrollen, de kosten per eenheid en stroomverbruik beslissende factoren worden. De sequentie die zich over de inferencemarkt ontwikkelt, is rechttoe rechtaan: gebruik iets dat werkt, test het, vind dan een manier om het economisch te implementeren, omdat je er geld mee moet verdienen. Gegeven het tempo van AI-adoptie, is het venster voor het vestigen van software- en ecosysteemvoordeel gemeten in kwartalen.

De engineeringinvestering die de meeste bedrijven overslaan

AI-hardwarebedrijven blijven krachtige chips verschepen met software die ze niet volledig kan uitvoeren. Productieklare systeemsoftware, die inference-runtimes, compileroptimalisatie en workload-enablement omvat, vereist diepe, gespecialiseerde engineering die de meeste hardwarebedrijven simpelweg niet in-house hebben.

Het opbouwen van die capaciteit betekent het aannemen van compilerengineers en runtime-architecten die de kloof tussen wat een chip theoretisch kan doen en wat een klant praktisch kan implementeren, kunnen dichten. Bedrijven moeten ook investeren in toolchains voordat de omzet het rechtvaardigt, omdat tegen de tijd dat de omzet arriveert, het venster is gesloten. Bedrijven die die investering overslaan, vallen niet alleen achter. Ze verliezen deals.

De chips die schaal bereiken, zijn de meest implementeerbare chips, en implementeerbaarheid is een functie van softwarekwaliteit. Grote downstream-kopers, van OEM’s en hyperscalers tot enterprise-klanten, zijn eerder verbrand door silicium dat goed benchmarkt en slecht integreert. Ze kiezen op basis van ecosysteemvolwassenheid en integratierisico. Bedrijven die software als een eerste klas engineeringprioriteit behandelen, zetten meer pilots om in productiecontracten en bereiken omzet sneller. Diegenen die het als een verzendingsnaam behandelen, zien technisch superieure silicium deals verliezen aan inferieure chips met meer volwassen stacks.

De klok tikt al

De AI-hardwarebedrijven die gepositioneerd zijn om een aanzienlijk aandeel in de volgende fase te winnen, bouwen ecosysteemvoordelen op die vandaag moeilijk voor latere entrants te repliceren zullen zijn. Softwareflexibiliteit, de mogelijkheid om aan te passen aan nieuwe modelarchitecturen zonder te wachten op de volgende tape-out, onderscheidt silicium dat commercieel relevant blijft van silicium dat eindeloos door pilots gaat zonder ooit de omzet te genereren die nodig is om de volgende generatie te financieren.

De beslissingen die nu worden genomen, in engineeringteams, partnershipovereenkomsten en commerciële pilots over de gehele AI-hardwarelandschap, zullen bepalen welke bedrijven in 2028 nog relevant zijn. CUDA’s twintig jaar oude voorsprong is een gracht gebouwd op ecosysteemdiepte, maar elk bedrijf dat bereid is om software als een duurzame engineeringprioriteit te behandelen, kan diezelfde diepte over tijd opbouwen.

De vraag die de industrie moet beantwoorden, is welke bedrijven snel genoeg bewegen om de ecosysteemdiepte op te bouwen die hun chips de standaardkeuze maakt voordat iemand anders’ te diep geworteld is om te verplaatsen.