Perché la prossima fase dell’infrastruttura di intelligenza artificiale richiederà più dei datacenter hyperscale

L’intelligenza artificiale sta entrando in una fase in cui la strategia di infrastruttura sta diventando inscindibile dalla capacità del modello. Per anni, i datacenter hyperscale hanno alimentato l’ascesa della formazione su larga scala, consentendo ai modelli di frontiera di crescere da milioni a trilioni di parametri. Tuttavia, poiché l’adozione dell’IA si accelera nelle imprese, nei settori e nei sistemi in tempo reale, l’inferenza sta sostituendo la formazione come carico di lavoro dominante, e l’inferenza ha requisiti fondamentalmente diversi.

La prossima era dell’IA non potrà essere supportata solo dai datacenter hyperscale. Al contrario, un modello ibrido sta emergendo, in cui i campus centralizzati per la formazione sono integrati da datacenter distribuiti, allineati con la potenza, commerciali e di scala locale per l’inferenza. Questo passaggio è guidato da vincoli di latenza, esigenze di sovranità dei dati, realtà energetiche e limiti fisici della continua espansione hyperscale.

La divergenza tra formazione e inferenza

La formazione rimane un’attività centralizzata. Richiede cluster massicci, pipeline di dati ad alta velocità e lavori a lunga durata che beneficiano delle economie di scala. I campus hyperscale sono ottimizzati per questo con calcolo denso, reti specializzate e disponibilità globale. Tuttavia, l’inferenza si comporta diversamente. È a breve durata, ad alta volumetria, sensibile alla latenza e spesso legata alla geografia o ai confini aziendali. Le analisi di Akamai sul sistema agente mostrano che la maggior parte delle organizzazioni ora si concentra su una latenza end-to-end inferiore a 500 millisecondi per i casi d’uso critici dell’IA, e i flussi di lavoro multi-agente superano frequentemente quella soglia a causa del transito di rete e dell’esecuzione del lato CPU.

La latenza non è una metrica astratta. Nei sistemi di robotica e autonomi, i cicli di controllo spesso funzionano a 100-1.000 hertz ogni 1-10 millisecondi. Qualsiasi intelligenza esterna deve rispettare quelle limitazioni temporali. Un viaggio di andata e ritorno di 50 millisecondi a un datacenter lontano rompe interamente il regime di controllo. Nel trading finanziario e nella rilevazione delle frodi, i millisecondi determinano gli esiti economici. Nell’automazione industriale, l’inferenza ritardata può destabilizzare i processi o compromettere la sicurezza. E nelle esperienze interattive come i giochi, AR/VR e copiloti in tempo reale, la risposta si deteriora bruscamente al di sopra dei 100-150 millisecondi.

I moderni sistemi di intelligenza artificiale si basano sempre più su flussi di lavoro multi-agente costituiti da catene di decine di chiamate sequenziali. L’analisi di Akamai mostra che l’esecuzione del lato CPU può rappresentare la maggior parte della latenza totale, e ogni viaggio di rete aggiunge ulteriore ritardo. Un flusso di lavoro con 50 chiamate sequenziali può subire secondi di latenza di trasporto quando instradato a una regione hyperscale lontana. Collocare lo stesso flusso di lavoro in un datacenter iperlocale situato nello stesso campus o area metropolitana e la fisica cambia. L’inferenza locale può fornire una latenza di andata e ritorno di 1-5 millisecondi. Un flusso di lavoro a 50 passaggi che richiederebbe secondi in una regione lontana può essere completato in 50-250 millisecondi localmente, rimanendo all’interno dei budget di latenza aziendali.

Sovranità dei dati e realtà della rete elettrica che guidano i dispiegamenti locali

La latenza è solo una parte della storia. Per i settori regolamentati come la sanità, la finanza e il settore pubblico, la sovranità dei dati è spesso il principale driver per l’inferenza locale. Eseguire carichi di lavoro di intelligenza artificiale dietro un firewall aziendale preserva i perimetri di sicurezza esistenti, riduce l’esposizione multitenant, semplifica la conformità e mantiene i dati sensibili fuori dalle infrastrutture cloud condivise. I fornitori hyperscale offrono una forte sicurezza, ma la superficie di attacco e la catena di fiducia sono intrinsecamente più ampie. Le aziende preferiscono sempre più architetture di inferenza che si allineano con la loro postura di sicurezza esistente.

Oltre alle preoccupazioni sulla latenza e sulla sicurezza, la disponibilità di energia sta diventando un vincolo altrettanto importante. I grandi campus hyperscale spesso affrontano ritardi multiennali a causa dei vincoli di trasmissione e delle code di connessione. I dispiegamenti commerciali di scala più piccoli, specialmente quelli situati vicino a carichi esistenti o a generazione distribuita, possono spesso essere energizzati molto più rapidamente. Ciò conta perché la domanda di intelligenza artificiale sta collidendo con una strana paradossalità.

Allo stesso tempo in cui gli operatori lottano per assicurarsi nuove connessioni alla rete elettrica, enormi quantità di energia rinnovabile vengono ridotte. A livello globale, la riduzione dell’energia rinnovabile supera i 200 terawatt-ore all’anno. Negli Stati Uniti, la riduzione è stimata a circa 20 terawatt-ore all’anno. ERCOT solo ha ridotto oltre 9 terawatt-ore di generazione eolica e solare in un anno recente. Nel frattempo CAISO ha ridotto 3,4 terawatt-ore di energia solare e eolica nel 2024, con l’energia solare che rappresenta il 93% di tutta la produzione tagliata. Le indagini sui sistemi energetici mostrano costantemente che sia l’energia solare che eolica affrontano una riduzione significativa quando la generazione supera la capacità della rete. La riduzione dell’energia solare è particolarmente comune nelle regioni con forti picchi di mezzogiorno, mentre la riduzione dell’energia eolica si verifica spesso durante le ore di minore traffico o in corridoi vincolati. I datacenter distribuiti situati vicino alla generazione, specialmente nelle regioni ricche di energia solare, possono convertire l’energia bloccata in capacità di inferenza utile.

I campus hyperscale rimarranno essenziali per la formazione, ma affrontano limiti fisici e economici crescenti. La connessione alla rete di trasmissione può essere un processo lungo, richiede nuove stazioni, aggiornamenti della trasmissione, permessi multi-agency e revisione della comunità. Questi sono processi che di routine richiedono anni. Le strutture hyperscale richiedono grandi impronte di terra, assegnazioni di acqua significative e approvazioni ambientali complesse. Le comunità sono sempre più resistenti allo sviluppo di nuovi datacenter a causa del rumore, dell’uso dell’acqua e dell’impatto sulla terra. E i campus centralizzati concentrano il rischio in modo tale che eventi meteorologici, interruzioni della rete o disruptioni geopolitiche possono influenzare grandi porzioni della capacità di calcolo globale. Le architetture distribuite forniscono ridondanza geografica e resilienza operativa.

Il futuro è un’architettura di intelligenza artificiale a più livelli

Quando si tratta di garantire che il calcolo dell’inferenza funzioni senza problemi, l’efficienza potrebbe diventare altrettanto importante della capacità grezza. L’inferenza consuma energia in modo continuo e gli analisti del settore suggeriscono che l’inferenza potrebbe rappresentare la maggior parte del consumo energetico legato all’IA. I guadagni di efficienza derivanti dall’integrazione locale di energia rinnovabile, dalla riduzione delle perdite di trasmissione, dai dispiegamenti di dimensioni adeguate, dai profili termici migliorati e da tassi di utilizzo più elevati saranno essenziali per soddisfare la domanda globale di intelligenza artificiale in modo sostenibile. I datacenter commerciali di scala distribuiti sono ben posizionati per fornire questi guadagni perché possono essere situati dove l’energia è abbondante, economica o inutilizzata.

La prossima fase dell’infrastruttura di intelligenza artificiale sarà una miscela ibrida di campus hyperscale che dominano la formazione, datacenter commerciali di scala distribuiti che servono l’inferenza e dispositivi edge che servono carichi di lavoro ultra-locali. Questa architettura a più livelli riflette le realtà fisiche di potenza, latenza, sicurezza e scala. Man mano che l’IA si integra nei sistemi in tempo reale in tutti i settori, l’infrastruttura deve evolversi di conseguenza per portare l’inferenza più vicino al mondo che serve.