Perché la corsa ai chip AI si basa ora sul software

Ogni nuovo acceleratore AI arriva con una storia di benchmarking: throughput di picco, teraops per watt, numeri impressionanti che promettono che questo chip cambierà tutto. Ciò che quei numeri omettono è se il cliente possa effettivamente utilizzare il chip in produzione. La maggior parte delle volte, non possono, ed è la vera storia di dove si trova oggi l’industria dell’hardware AI. Affronta un problema di maturità del software, e la maggior parte delle aziende non è ancora pronta ad ammetterlo pubblicamente.

Il divario di cui nessuno parla

I cicli di sviluppo del silicio durano due-quattro anni, mentre il paesaggio dei modelli AI evolve su un ciclo che misura mesi e tende verso settimane. Sotto questo si trova un problema della catena del valore: i casi d’uso finali, dalle auto e dalle fabbriche agli ospedali e ai dispositivi, stanno maturando in funzionalità e iniziando a generare un impatto P&L misurabile. Quella maturità guida la domanda di adattamenti del software, che a loro volta richiedono modifiche hardware. Ognuno di questi tre strati opera a una velocità fondamentalmente diversa, e quella mancanza di allineamento è la causa radice della frizione che si sta costruendo nel mercato. Lo stack del software necessario per eseguire l’inferenza del modello linguistico di grandi dimensioni differisce fondamentalmente da ciò che è stato costruito per i carichi di lavoro di apprendimento automatico precedenti. I tempi di sviluppo dell’hardware non si sono compressi per adeguarsi a questo ciclo. Le aziende che spediscono nuovo silicio oggi lo consegnano ai clienti con un software che non può completamente sbloccare le capacità del chip, producendo un modello che si ripete in tutto il mercato: silicio impressionante, software immaturo, adozione lenta e entrate mancate. Il chip fa ciò per cui è stato progettato. Il problema è che i clienti non possono utilizzarlo facilmente.

Considera cosa è successo all’industria automobilistica. Le auto in sé erano in gran parte un problema risolto alla metà del XX secolo, ma quando il software è diventato il differenziatore, le aziende con le più profonde eredità di produzione hanno lottato di più per adattarsi. Ford e GM sapevano come costruire motori, ma non avevano memoria muscolare per costruire sistemi operativi. L’industria dell’hardware AI sta vivendo la stessa transizione ora, e il parallelo è scomodamente preciso. NVIDIA (NVDA ) ricopre il ruolo del disruptore nativo del software, mentre le aziende di semiconduttori tradizionali stanno ancora cercando di capire come vendere ecosistemi di sviluppatori insieme al silicio.

Il dominio di NVIDIA ha quasi nulla a che fare con l’avere i migliori chip. CUDA (Compute Unified Device Architecture) ha vent’anni, con tutto il debito tecnico che ciò implica, ma ciò che NVIDIA ha effettivamente costruito è il sistema operativo del calcolo AI: un ecosistema prevedibile e maturo che gli sviluppatori e gli OEM possono affidarsi in produzione.

I clienti selezionano le piattaforme in base alla maturità del software e al rischio di integrazione, quindi quando un nuovo acceleratore arriva senza uno stack di software di produzione, la conversazione commerciale finisce prima di iniziare.

Il tempo per il primo modello, definito come la rapidità con cui un cliente ottiene un carico di lavoro AI reale in esecuzione su un determinato acceleratore, è una metrica commerciale molto più significativa del throughput di picco. È la conversazione che la maggior parte delle aziende di hardware è meno preparata ad avere.

Il mercato reale è l’inferenza

La lingua nativa degli affari è il P&L, e ogni azienda che distribuisce AI deve rispondere alla stessa domanda: dove si trova il denaro e cosa mi impedisce di catturarlo? L’addestramento è un passaggio necessario, ma l’AI commerciale vive nell’inferenza, e quel mercato è appena iniziato.

La simmetria di scala qui è sorprendente. L’addestramento copre un caso d’uso; l’inferenza copre un numero infinito. Ogni applicazione di AI in un veicolo, una fabbrica, un ospedale, un telefono o un magazzino richiede l’inferenza. Un chip che esegue sistemi di sicurezza in un’auto non può utilizzare la potenza di un data center, e un dispositivo che esegue l’inferenza in tempo reale in un piano di produzione non può tollerare una latenza elevata. Il mercato dell’inferenza edge richiede silicio progettato specificamente per l’efficienza energetica, le costrizioni fisiche e i requisiti di sicurezza e affidabilità delle industrie che lo distribuiscono.

La recente decisione di Google di dividere il suo ottavo TPU in due chip distinti, uno per l’addestramento e uno per l’inferenza, è degna di nota. Questa scelta architettonica riconosce che i due carichi di lavoro sono diventati così diversi che ottimizzare entrambi in un unico design significa eccellere in nessuno dei due. Quando un’azienda che esegue alcune delle più grandi infrastrutture AI decide che la specializzazione è più importante della consolidazione, segnala dove si sta dirigendo il resto del mercato: verso silicio di inferenza progettato per scopi specifici, distribuito ai margini, in volume, sotto vincoli del mondo reale che i benchmark dei data center non erano progettati per misurare.

Siamo in una corsa all’inferenza, mentre la maggior parte del mercato rimane organizzata intorno all’addestramento.

I limiti strutturali dell’eredità

Le aziende meglio posizionate per produrre su larga scala rimangono strutturalmente incapaci di servire i mercati in cui l’inferenza vivrà. I clienti automobilistici hanno bisogno di fornitori che garantiscano la disponibilità dei componenti per un decennio. Aziende di semiconduttori general-purpose come Intel (INTC ) semplicemente non si impegnano a farlo. Questa costrizione strutturale lascia un’intera industria inservita, e nessun negoziato cambia questo.

La piattaforma edge AI di NVIDIA sta già affrontando una sfida da parte di alternative compatibili PIN che offrono una migliore prestazione per watt senza richiedere alcun cambiamento nello stack del software. Un cliente può sostituire il chip e mantenere tutto il resto, rendendolo un attacco commerciale diretto alla parte più difendibile della posizione di NVIDIA ai margini.

Le aziende che hanno dimostrato il loro concetto su CUDA stanno scoprendo che il dispiegamento economico su larga scala richiede una riarchitettura su silicio a bassa potenza, perché quando le organizzazioni distribuiscono decine di migliaia di dispositivi, il costo per unità e il consumo di energia diventano fattori decisivi. La sequenza che si sta svolgendo nel mercato dell’inferenza è semplice: utilizzare qualcosa che funziona, testarlo, poi trovare un modo per distribuirlo economicamente, perché devi guadagnare denaro su di esso. Dato il ritmo dell’adozione dell’AI, la finestra per stabilire un vantaggio software ed ecosistemico è misurata in trimestri.

Gli investimenti ingegneristici che la maggior parte delle aziende sta saltando

Le aziende di hardware AI continuano a spedire chip potenti con software che non può completamente eseguirli. Il software di sistema di produzione, che copre i tempi di esecuzione dell’inferenza, l’ottimizzazione del compilatore e l’abilitazione del carico di lavoro, richiede un’ingegneria profonda e specializzata che la maggior parte delle aziende di hardware semplicemente non ha in casa.

Costruire quella capacità significa assumere gli ingegneri del compilatore e gli architetti dei tempi di esecuzione che possono colmare il divario tra ciò che un chip è teoricamente in grado di fare e ciò che un cliente può praticamente distribuire. Le aziende devono anche investire nelle catene di strumenti prima che il ricavo lo giustifichi, perché una volta che il ricavo arriva, la finestra si chiude. Le aziende che saltano quell’investimento non solo rimangono indietro. Perdono affari.

I chip che raggiungono la scala sono i chip più distribuibili, e la distribuibilità è una funzione della qualità del software. I principali acquirenti a valle, dagli OEM e dagli iperscalatori ai clienti aziendali, sono stati bruciati in precedenza dal silicio che si benchmark bene e si integra male. Scegliere in base alla maturità dell’ecosistema e al rischio di integrazione. Le aziende che trattano il software come una priorità di ingegneria di prima classe convertono più piloti in contratti di produzione e raggiungono il ricavo più velocemente. Quelle che trattano il software come un pensiero accessorio dopo la spedizione guardano il silicio tecnicamente superiore perdere affari con chip inferiori supportati da stack più maturi.

Il tempo sta già scadendo

Le aziende di hardware AI posizionate per catturare una quota significativa nella prossima fase stanno costruendo vantaggi ecosistemici oggi che saranno difficili da replicare per i nuovi entranti. La flessibilità del software, la capacità di adattarsi a nuove architetture di modelli senza aspettare il prossimo tape-out, separa il silicio che rimane commercialmente rilevante dal silicio che si ripete all’infinito attraverso i piloti senza mai generare il ricavo necessario per finanziare la prossima generazione.

Le decisioni che vengono prese ora, nei team di ingegneria, negli accordi di partnership e nei piloti commerciali in tutto il paesaggio dell’hardware AI, determineranno quali aziende saranno ancora rilevanti nel 2028. Il ventennale vantaggio di CUDA è un fossato costruito sulla profondità dell’ecosistema, ma qualsiasi azienda disposta a trattare il software come una priorità di ingegneria sostenibile può costruire la stessa profondità nel tempo.

La domanda che l’industria deve rispondere è quale azienda si sta muovendo abbastanza velocemente per costruire la profondità dell’ecosistema che rende i loro chip la scelta predefinita prima che quella di qualcun altro diventi troppo radicata per essere sostituita.

Una società disposta a trattare il software come una priorità di ingegneria sostenibile può costruire la stessa profondità nel tempo. La domanda che l’industria deve rispondere è quale azienda si sta muovendo abbastanza velocemente per costruire la profondità dell’ecosistema che rende i loro chip la scelta predefinita prima che quella di qualcun altro diventi troppo radicata per essere sostituita.