Proč závod s AI čipem běží na software

Každý nový akcelerátor AI přichází s příběhem benchmarkingu: špičkový průtok, teraopery za watt, působivé číslo, které slibuje, že tento čip změní vše. Co tato čísla vynechávají, je to, zda zákazník může čip skutečně použít ve výrobě. Nejčastěji tomu tak není, a to je skutečný příběh o tom, kde se dnes nachází průmysl AI hardwaru. Čelí problému zralosti softwaru a většina společností není ještě připravena to veřejně přiznat.

Mezera, o které nikdo nemluví

Cykly vývoje křemíku trvají dva až čtyři roky, zatímco krajina modelů AI se vyvíjí v cyklu měřícím měsíce a směřující k týdnu. Pod tím leží problém hodnotového řetězce: koncové použití, od vozidel a továren po nemocnice a zařízení, dospívají v funkčnosti a začínají generovat měřitelný dopad na zisk a ztrátu. Tato zralost vytváří poptávku po softwarových adaptacích, které vyžadují změny hardwaru. Každá z těchto tří vrstev funguje na fundamentálně odlišné rychlosti a tato nesoulad je kořenem tření, které se vytváří napříč trhem. Softwarový stack potřebný pro běh velkých jazykových modelů se liší fundamentálně od toho, co bylo postaveno pro dřívější úkoly strojového učení. Časové osy vývoje hardwaru se nezkrátily, aby odpovídaly tomuto cyklu. Společnosti, které dnes dodávají novou křemíkovou technologii, předávají zákazníkům software, který nemůže plně využít schopnosti čipu, vytvářející vzorec, který se opakuje napříč trhem: působivý křemík, nezralý software, pomalá adopce a ztracené příjmy. Čip dělá to, co byl navržen k tomu, aby dělal. Problém je, že zákazníci jej nemohou snadno použít.

Vezměte si, co se stalo v automobilovém průmyslu. Vozy samy o sobě byly largely vyřešeným problémem do poloviny dvacátého století, ale když se software stal rozlišovacím faktorem, společnosti s nejhlubšími výrobními dědictvími se nejvíce snažily přizpůsobit. Ford a GM věděli, jak postavit motory, ale neměli žádnou svalovou paměť pro stavbu operačních systémů. Průmysl AI hardwaru prochází stejnou transformací nyní a paralela je nepříjemně přesná. NVIDIA (NVDA ) hraje roli softwarově nativního disruptora, zatímco tradiční polovodičové společnosti se stále snaží pochopit, jak prodávat vývojářské ekosystémy spolu se silikonem.

Dominance NVIDIA má téměř nic společného s tím, že má nejlepší čipy. CUDA (Compute Unified Device Architecture) je dvacet let stará, s veškerým technickým dluhem, který to znamená, ale co NVIDIA vlastně postavilo, je operační systém AI výpočtu: předvídatelný, zralý ekosystém, na který mohou vývojáři a OEM spoléhat v produkci.

Zákazníci vybírají platformy na základě zralosti softwaru a rizika integrace, takže když nový akcelerátor přijde bez produkčního softwarového stacku, komerční konverzace skončí, než začne.

Doba do prvního modelu, definovaná jako to, jak rychle zákazník dostane skutečnou AI zátěž běžící na daném akcelerátoru, je mnohem významnějším komerčním metrem než špičkový průtok. To je konverzace, na kterou většina hardwarových společností je nejméně připravena.

Skutečný trh je inference

Rodný jazyk obchodu je zisk a ztráta, a každá společnost, která nasazuje AI, potřebuje odpovědět na stejnou otázku: kde je peníze a co mě brání je získat? Školení je nezbytným krokem, ale komerční AI žije v inference, a ten trh téměř ani nezačal.

Asymetrie měřítka je zde působivá. Školení pokrývá jeden případ užití; inference pokrývá nekonečné číslo. Každé použití AI ve vozidle, továrně, nemocnici, telefonu nebo skladu vyžaduje inference. Čip, který běží bezpečnostní systémy v autě, nemůže čerpat energii z datového centra, a zařízení, které běží inference v reálném čase na tovární podlaze, nemůže tolerovat vysokou latenci. Trh inference na okraji vyžaduje křemíkovou technologii navrženou speciálně pro energetickou efektivitu, fyzické omezení a bezpečnostní a spolehlivostní požadavky průmyslu, který ji nasazuje.

Nedávné rozhodnutí Googlu rozdělit jeho osmou generaci TPU na dva samostatné čipy, jeden pro školení a jeden pro inference, je něco, co stojí za to. Tento architektonický výběr uznává, že dvě zátěže se tolik liší, že optimalizace pro obě v jednom designu nyní znamená vynikání v žádné. Když společnost, která běží některé z největších AI infrastruktur, rozhodne, že specializace je důležitější než konsolidace, signalizuje, kam se zbytek trhu ubírá: směrem k specializované inference křemíkové technologii nasazené na okraji, ve velkém množství, pod skutečnými omezeními, která nebyla navržena pro měření datových center.

Jsme v inference land grabu, zatímco většina trhu zůstává organizována kolem školení.

Strukturální limity legacy

Společnosti, které jsou nejlépe umístěny k výrobě ve velkém, zůstávají strukturálně neschopné sloužit trhům, kde inference bude žít. Zákazníci v automobilovém průmyslu potřebují dodavatele, kteří garantují dostupnost komponentů po dobu deseti let. Společnosti jako Intel (INTC ) simplemente nebudou souhlasit s tím. Tento strukturální omezení zanechává celý průmysl nedostatečně obsluhovaný, a žádná část jednání nemůže to změnit.

Edge AI platforma NVIDIA již čelí výzvě ze strany PIN-kompatibilních alternativ, které poskytují lepší výkon na watt bez požadavku na změnu softwarového stacku. Zákazník může vyměnit čip a zachovat vše ostatní, což je přímý komerční útok na nejvíce defenzivní část edge pozice NVIDIA.

Společnosti, které prokázaly svou koncepci na CUDA, objevují, že ekonomické nasazení ve velkém vyžaduje re-architekturu na nižší spotřebu křemíkové technologie, protože když organizace nasazují desítky tisíc zařízení, cena za jednotku a spotřeba energie se stávají rozhodujícími faktory. Sekvence, která se hraje napříč trhem inference, je přímá: použít něco, co funguje, otestovat to, a pak najít způsob, jak to nasadit ekonomicky, protože musíte na tom vydělat peníze. Vzhledem k tempu adopce AI je okno pro stanovení softwarové a ekosystémové výhody měřeno čtvrtletími.

Inženýrské investice, které většina společností vynechává

Společnosti AI hardwaru pokračují ve vývoji silných čipů se softwarem, který je nemůže plně spustit. Produkční systémový software, pokrývající inference běhy, kompilátorovou optimalizaci a povolení zátěže, vyžaduje hluboké, specializované inženýrství, které většina hardwarových společností prostě nemá v domě.

Stavba této kapacity znamená najímání kompilátorových inženýrů a architektů běhů, kteří mohou uzavřít mezeru mezi tím, co čip teoreticky může udělat, a tím, co zákazník může prakticky nasadit. Společnosti také potřebují investovat do nástrojů předtím, než je to odůvodněné příjmy, protože do doby, kdy příjmy přijdou, okno se zavře. Společnosti, které vynechávají tuto investici, se nezadržují pouze. Ztrácejí smlouvy.

Čipy, které dosahují měřítka, jsou nejvíce nasaditelné čipy, a nasaditelnost je funkcí softwarové kvality. Velcí zákazníci, od OEM a hyperscalerů po podnikové zákazníky, byli dříve spáleni silikonem, který se dobře benchmarkuje a špatně integruje. Vybírají na základě zralosti ekosystému a rizika integrace. Společnosti, které zacházejí se softwarem jako s první třídou inženýrské priority, převádějí více pilotů do produkčních smluv a dosahují příjmů rychleji. Ty, které zacházejí s ním jako s postranním produktem, sledují technicky lepší silikon, který prohrává smlouvy s horšími čipy podporovanými zralejšími stacky.

Hodiny již tikají

Společnosti AI hardwaru, které jsou umístěny k získání významného podílu v příštím cyklu, staví ekosystémové výhody dnes, které budou pro pozdější příchozí obtížné replikovat. Softwarová flexibilita, schopnost přizpůsobit se novým architekturám modelů bez čekání na další tape-out, odděluje silikon, který zůstává komerčně relevantní, od silikonu, který se neustále opakuje v pilotech bez generování příjmů potřebných k financování další generace.

Rozhodnutí, která jsou učiněna právě teď, v inženýrských týmech, partnerstvích a komerčních pilotech napříč krajиной AI hardwaru, určí, které společnosti budou ještě relevantní v roce 2028. Dvacetiletá výhoda CUDA je příkop postavený na hloubce ekosystému, ale každá společnost, která je ochotna zacházet se softwarem jako s udržitelnou inženýrskou prioritou, může postavit stejnou hloubku v průběhu času.

Otázka, na kterou průmysl potřebuje odpovědět, je, které společnosti se pohybují dostatečně rychle, aby postavily ekosystémovou hloubku, která dělá jejich čipy výchozím výběrem, než se někdo jiný stane příliš zakořeněným, aby jej mohl nahradit.