De ce cursa cipului AI se desfășoară acum pe software

Fiecare nou accelerator AI vine cu o poveste de benchmarking: debitul maxim, teraopți pe watt, numere impresionante care promit că acest cip va schimba totul. Ce aceste numere lasă deoparte este dacă clientul poate să utilizeze de fapt cipul în producție. De obicei, nu o pot face, și aceasta este povestea reală a stadiului în care se află industria de hardware AI astăzi. Ea se confruntă cu o problemă de maturitate a software-ului, și majoritatea companiilor nu sunt încă pregătite să o recunoască public.

Gap-ul despre care nimeni nu vorbește

Ciclurile de dezvoltare a siliciului durează doi până la patru ani, în timp ce peisajul modelului AI evoluează pe un ciclu care măsoară luni și se îndreaptă spre săptămâni. Sub aceasta se află o problemă a lanțului de valoare: cazurile de utilizare finală, de la vehicule și fabrici la spitale și dispozitive, se maturizează în funcționalitate și încep să genereze un impact P&L măsurabil. Această maturitate determină cererea de adaptări software, care la rândul lor necesită modificări hardware. Fiecare dintre aceste trei straturi funcționează la o viteză fundamental diferită, și această nealiniere este cauza principală a fricțiunii care se acumulează pe piață. Stiva de software necesară pentru a rula inferența modelului de limbaj mare diferă fundamental de ceea ce a fost construit pentru sarcinile de învățare automată anterioare. Timurile de dezvoltare a hardware-ului nu s-au comprimat pentru a se potrivi acestui ciclu. Companiile care livrează noi silicii astăzi le predau clienților cu software care nu poate debloca pe deplin capacitățile cipului, producând un model care se repetă pe piață: siliciu impresionant, software imatur, adoptare lentă și venituri pierdute. Cipul face ceea ce a fost proiectat să facă. Problema este că clienții nu pot să-l utilizeze ușor.

Luăm în considerare ce s-a întâmplat în industria automotive. Mașinile însele au fost în mare parte o problemă rezolvată până la jumătatea secolului al XX-lea, dar atunci când software-ul a devenit diferențiatorul, companiile cu cele mai adânci moșteniri de fabricație au avut cele mai multe dificultăți în a se adapta. Ford și GM știau cum să construiască motoare, dar nu aveau nicio memorie musculară pentru a construi sisteme de operare. Industria de hardware AI traversează aceeași tranziție acum, și paralela este neconfortabil de precisă. NVIDIA (NVDA ) joacă rolul de disruptor nativ al software-ului, în timp ce companiile de semiconductoare tradiționale încă încearcă să înțeleagă cum să vândă ecosisteme de dezvoltatori alături de siliciu.

Dominația NVIDIA are aproape nimic de-a face cu faptul că are cele mai bune cipuri. CUDA (Arhitectura Unificată de Calcul Dispozitiv) are douăzeci de ani, cu toată datoria tehnică acumulată pe care o implică, dar ceea ce NVIDIA a construit de fapt este sistemul de operare al calculului AI: un ecosistem previzibil, matur, pe care dezvoltatorii și OEM-urile pot să se bazeze în producție.

Clienții selectează platformele pe baza maturității software-ului și a riscului de integrare, așa că atunci când un nou accelerator sosește fără o stivă de software de calitate pentru producție, conversația comercială se încheie înainte de a începe.

Timpul până la primul model, definit ca timpul necesar pentru ca un client să ruleze o sarcină reală de AI pe un anumit accelerator, este un metric comercial mult mai semnificativ decât debitul maxim. Aceasta este conversația pe care majoritatea companiilor de hardware nu sunt pregătite să o aibă.

Piața reală este inferența

Limba nativă a afacerilor este P&L, și fiecare companie care implementează AI trebuie să răspundă la aceeași întrebare: unde este banul, și ce mă împiedică să-l capturez? Antrenamentul este un pas necesar, dar AI-ul comercial trăiește în inferență, și acea piață abia a început.

Asimetria de scară aici este izbitoare. Antrenamentul acoperă un singur caz de utilizare; inferența acoperă un număr infinit. Fiecare aplicație a AI-ului într-un vehicul, fabrică, spital, telefon sau depozit necesită inferență. Un cip care rulează sisteme de siguranță într-o mașină nu poate trage putere de la centru, și un dispozitiv care rulează inferență în timp real pe o fabrică nu poate tolera întârzieri mari. Piața inferenței de margine necesită siliciu proiectat special pentru eficiență energetică, constrângeri fizice și cerințe de siguranță și fiabilitate ale industriilor care o implementează.

Decizia recentă a Google de a împărți al optulea TPU în două cipuri distincte, unul pentru antrenament și unul pentru inferență, este demnă de luat în considerare. Acestă alegere arhitecturală recunoaște că cele două sarcini de lucru au divergat atât de semnificativ încât optimizarea pentru ambele într-un singur design înseamnă acum să exceli la niciuna. Când o companie care rulează unele dintre cele mai mari infrastructuri de AI decide că specializarea contează mai mult decât consolidarea, semnalează unde se îndreaptă restul pieței: spre siliciu de inferență specializat, implementat la margine, în volum, sub constrângeri reale pe care benchmark-urile de centru nu au fost proiectate să le măsoare.

Ne aflăm într-o cursă de inferență, în timp ce majoritatea pieței rămâne organizată în jurul antrenamentului.

Limitele structurale ale moștenirii

Companiile cele mai bine poziționate pentru a fabrica la scară rămân structural incapabile să deservească piețele în care inferența va trăi. Clienții din industria automotive au nevoie de furnizori care să garanteze disponibilitatea componentelor pentru o decadă. Companiile de semiconductoare cu scop general, cum ar fi Intel (INTC ), nu vor să se angajeze în acest sens. Această constrângere structurală lasă o întreagă industrie neservită, și nicio negociere nu o poate schimba.

Platforma de AI de margine a NVIDIA este deja confruntată cu o provocare din partea alternativelor compatibile PIN care oferă o performanță mai bună pe watt fără a necesita modificări ale stivei de software. Un client poate înlocui cipul și păstra tot restul, făcând acest lucru o atacare comercială directă asupra părții cele mai defensive a poziției NVIDIA la margine.

Companiile care și-au demonstrat conceptul pe CUDA descoperă că implementarea economică la scară necesită o re-arhitecturare pe siliciu cu putere mai mică, deoarece atunci când organizațiile implementează zeci de mii de dispozitive, costul pe unitate și consumul de putere devin factori decisivi. Secvența care se desfășoară pe piața de inferență este simplă: utilizați ceva care funcționează, testați-l, apoi găsiți o modalitate de a-l implementa economic, deoarece trebuie să faceți bani din el. Având în vedere ritmul de adoptare a AI, fereastra pentru stabilirea avantajului software și ecosistemului este măsurată în trimestre.

Investiția de inginerie pe care majoritatea companiilor o omit

Companiile de hardware AI continuă să livreze cipuri puternice cu software care nu poate să le ruleze pe deplin. Software-ul de sistem de calitate pentru producție, care acoperă inferența în timpul rulării, optimizarea compilatorului și activarea sarcinilor de lucru, necesită o inginerie profundă și specializată pe care majoritatea companiilor de hardware nu o au în casa.

Construirea acestei capacități înseamnă angajarea inginerilor de compilatoare și arhitecților de timp de rulare care pot să închidă gap-ul dintre ceea ce un cip este teoretic capabil să facă și ceea ce un client poate să implementeze în practică. Companiile trebuie să investească în lanțuri de instrumente înainte ca veniturile să le justifice, deoarece atunci când veniturile sosesc, fereastra s-a închis. Companiile care omit această investiție nu se lasă doar în urmă. Ele pierd contracte.

Cipurile care ating scala sunt cele mai implementabile cipuri, și implementabilitatea este o funcție a calității software-ului. Cumpărătorii importanți din aval, de la OEM-uri și hyperscalers la clienți enterprise, au fost arși înainte de siliciul care se benchmark-uiește bine și se integrează prost. Ei aleg pe baza maturității ecosistemului și a riscului de integrare. Companiile care tratează software-ul ca o prioritate de inginerie de primă clasă convertește mai multe proiecte pilot în contracte de producție și ajung la venituri mai repede. Cele care tratează software-ul ca o grijă de expediere privesc cum siliciul tehnic superior pierde contracte în fața cipurilor inferioare, dar susținute de stive mai mature.

Celei este deja în funcțiune

Companiile de hardware AI poziționate pentru a captura o cotă semnificativă în următoarea fază construiesc avantaje ale ecosistemului astăzi care vor fi dificil de replicat pentru intranzii târzii. Flexibilitatea software-ului, capacitatea de a se adapta la noi arhitecturi de modele fără a aștepta următoarea etapă de producție, separă siliciul care rămâne comercial relevant de siliciul care cicluiește în mod constant prin proiecte pilot fără a genera niciodată veniturile necesare pentru a finanța următoarea generație.

Deciziile luate acum, în echipele de ingineri, acordurile de parteneriat și proiectele pilot comerciale de-a lungul peisajului de hardware AI, vor determina care companii vor mai fi relevante în 2028. Avansul de douăzeci de ani al CUDA este o groapă construită pe adâncimea ecosistemului, dar orice companie dispusă să trateze software-ul ca o prioritate de inginerie susținută poate construi aceeași adâncime în timp.

Întrebarea pe care industria trebuie să o răspundă este care companii se mișcă suficient de repede pentru a construi adâncimea ecosistemului care face cipurile lor alegerea implicită înainte ca altcineva să devină prea înrădăcinat pentru a fi înlocuit.