Il prossimo collo di bottiglia di potenza dell’IA sarà all’interno delle città

Negli ultimi anni, e il trend continua, il mercato dell’infrastruttura AI ha speso una grande quantità di tempo e denaro (vicino a $7 trillion di investimenti in data centre entro il 2030, secondo le stime di McKinsey) per imparare a costruire grandi data centre ovunque sia disponibile energia. “Ovunque” è la parola chiave perché la posizione non era molto importante. Un cluster di addestramento ha semplicemente bisogno di accesso a energia sufficiente. Ma la posizione sta diventando sempre più rilevante al giorno d’oggi, poiché l’uso dell’IA si espande oltre le interfacce di chat verso macchine, sistemi vocali, video e applicazioni che interagiscono con il mondo fisico. Tali operazioni richiedono che la potenza di calcolo sia più vicina ai centri urbani dove avvengono tali interazioni per ridurre la latenza. Mentre strumenti come i chatbot possono tollerare un ritardo di mezzo secondo, le applicazioni di servizio automatizzate come robot di consegna supervisionati a distanza, assistenti vocali in tempo reale o sistemi di evasione automatizzata potrebbero dover reagire entro millisecondi.

Questa è la nuova sfida per le aziende AI. Come trovare blocchi più piccoli di energia affidabile dentro e intorno alle grandi aree metropolitane? E anche dopo aver individuato le location, come gestire le reazioni negative che anche i data centre remoti stanno affrontando?

La domanda di IA nei centri urbani è in aumento

C’è una domanda crescente nell’ambito urbano per l’IA che va oltre l’uso personale di chatbot o qualsiasi iperfissazione sui robot. Un documento di lavoro del FMI stima che il consumo di elettricità da data centre e IA abbia già raggiunto 400–500 TWh a livello globale nel 2023, e che il consumo guidato dall’IA possa potenzialmente arrivare a 1.500 TWh entro il 2030. L’automazione necessaria per rendere più efficienti le operazioni semplici — sia nella gestione della documentazione sia nell’archiviazione di video — richiede molta energia su larga scala.

Le città sono in prima linea in questo, come evidenziato da una revisione OCSE di 250 città in 78 paesi. È emerso che Il 56% utilizzava già attivamente l’IA, mentre un altro 35% stava sperimentando o pianificando implementazioni. Per illustrare un caso d’uso semplice, consideriamo le telecamere di sorveglianza in città. IHS Markit stimava diversi anni fa che il numero di telecamere di sorveglianza a livello mondiale avrebbe superato un miliardo. Sebbene siano principalmente usate per scopi di registrazione, ora vengono impiegate anche per compiti più esigenti dal punto di vista computazionale, ad esempio il tracciamento di oggetti attraverso una rete o la ricerca in grandi archivi video usando il linguaggio naturale. Tali processi non possono avvenire in ogni telecamera con l’attuale capacità di elaborazione AI. Dovrebbero essere inviate fuori dalla città a un data centre distante per l’elaborazione? Ciò è poco pratico a causa delle normative sui dati e anche del costo di spostare volumi così grandi di traffico.

Un recente sondaggio Gallup mostra che circa Il 30% dei dipendenti del settore privato e pubblico utilizza l’IA nel loro ruolo e i numeri sono in crescita. Questi settori — che si tratti di banche, ospedali o organizzazioni del settore pubblico — incontrano gli stessi problemi. Vogliono infrastruttura AI all’interno della propria giurisdizione e fisicamente sufficientemente vicina per poterla controllare. I loro sistemi vocali interattivi e le applicazioni video si degradano con l’aumento della latenza di rete. Anche se il problema può essere inizialmente aggirato mantenendo un operatore umano per la prima generazione di sistemi autonomi, tale supervisione non è molto indulgente nei confronti della latenza. Per esempio, i robot di consegna e i robot domestici supervisionati tramite una connessione video richiedono un ciclo di comunicazione completo che deve rimanere al di sotto di circa 80 millisecondi, come misurato in uno studio di teleoperazione robotica remota. Le auto autonome, controintuitivamente, sono l’eccezione: la guida rimane a bordo per motivi di sicurezza, e gli operatori remoti di Waymo operano con una latenza di un quarto di secondo, alcuni dei quali da un altro continente. Ciò che la città eredita dalle flotte autonome sono i loro dati, non il volante.

Il mercato dei data centre sta sottovalutando questa crescita della domanda. La Banca Mondiale ha pubblicato un documento che mostra come i comuni di paesi come Argentina, India ed Etiopia, tra gli altri, abbiano adottato l’IA in ambiti di giustizia, lotta alla corruzione, dogane, amministrazione pubblica e miglioramento dei servizi. Non si tratta di un fenomeno locale. È una trasformazione globale. In Teravolt, la nostra stima è che un’area metropolitana di 10‑15 milioni di abitanti possa supportare circa 6‑13 MW di carico AI sensibile alla latenza in modo continuo entro il 2030, prima che i robot di uso generale vengano distribuiti su larga scala. Si può sostenere che non sia un numero così elevato per gli standard iperscalari, ma trovarlo nel posto giusto è molto più difficile di quanto sembri. Entro il 2036, la stessa area metropolitana passerà a 22‑50 MW di carico sensibile alla latenza — e a 60‑100 MW se l’industria automobilistica inizierà a produrre robot su scala automobilistica. L’economia della domanda è spietata nel miglior senso: qualche centinaio di dollari all’anno di costo server su una macchina che sostituisce $30.000‑$60.000 di lavoro è una domanda che non contratta sul prezzo.

Aggiungere un quarto livello al calcolo

Attualmente, la potenza computazionale per l’IA esiste su tre livelli. Lo strato superiore è costituito da gigafabbriche utilizzate per addestrare i modelli. La loro posizione è rilevante per gli sviluppatori solo nella misura in cui garantisce grandi quantità di energia a un prezzo accettabile. Seguono le strutture AI regionali, tipicamente tra 20 e 200 MW, dove avviene gran parte della domanda ricorrente di inferenza nelle principali operazioni cloud e aziendali. Infine, disponiamo della potenza di calcolo integrata direttamente nel dispositivo o nel robot.

Sembra che vi sia un divario tra gli ultimi due livelli che identifico come livello urbano — il divario responsabile dei problemi di latenza. Questi dovrebbero trovarsi all’interno o molto vicino a grandi città. Dovrebbero essere misurati in megawatt a una cifra singola o a doppia cifra bassa, posizionati nelle aree metropolitane e collegati a fibra di alta qualità. Il punto di partenza potrebbe essere intorno a 2 MW se il sito dispone di energia garantita. Per illustrare la praticità, consideriamo un robot di consegna. Gestisce richieste diverse e non tutte possono essere elaborate sul dispositivo stesso. Sebbene sia addestrato nella gigafactory, sarebbe necessario un supporto più avanzato in tempo reale da una struttura urbana vicina invece di inviarlo ogni volta a una struttura regionale.

Il problema del traffico bidirezionale

I data centre urbani non saranno semplicemente punti intermedi di ricezione dei dati dai centri di addestramento, ma produrranno anche grandi quantità di dati da rimandare indietro nella pipeline.

Ogni macchina autonoma e ogni sistema ricco di sensori accumulerà informazioni che dovranno essere elaborate e rimandate per essere integrate nell’addestramento. Le flotte di robot che tornano ai loro punti di ricarica dopo un turno invieranno enormi quantità di informazioni utili su casi limite e operazioni quotidiane di cui i data centre hanno bisogno per migliorare le funzioni. Immaginate tutto questo traffico inviato contemporaneamente nella stessa direzione. Creerebbe un collo di bottiglia. È qui che il data centre urbano risulta utile, poiché può elaborare parte del carico prima che sovrasti la struttura di calcolo regionale. Può identificare e scartare alcuni dati errati, comprimendo e inoltrando le parti utili.

In sostanza, il data centre urbano fornisce un ulteriore livello di filtraggio rispetto ai due livelli precedenti, rendendo il flusso di dati ancora più organizzato.

Il futuro sarà un server in ogni isolato?

Sebbene io presenti i server urbani come una soluzione, è anche semplicemente troppo costoso risolvere i problemi di latenza con una proliferazione incontrollata. Indipendentemente dalle dimensioni, un data centre richiede comunque una connessione alla rete elettrica, trasformatori, raffreddamento, sicurezza, networking e personale. Questi costi non si riducono proporzionalmente con il carico IT. Per mettere le cose in prospettiva, una struttura da 0,5 MW porta ancora molti degli stessi costi fissi di un sito molto più grande.

Nei nostri progetti, abbiamo osservato che un data centre urbano autonomo diventa economicamente sostenibile intorno a 5‑8 MW. Anche assumendo che diversi siti possano condividere un centro operativo di rete, la soglia scende solo a 1,5‑3 MW. Pertanto, il risultato finale rimane lo stesso. Suddividere 20 MW distribuiti su venti sedi invece di due o tre riducono quasi nulla la latenza all’interno di un’area metropolitana — l’anello in fibra della città è lungo solo pochi millisecondi — moltiplicando al contempo i costi di capitale e di esercizio.

È per questo che credo che il settore debba ridursi di dimensioni e costruire ciò che chiamo “sottostazioni per l’intelligenza”. Attualmente, gli sviluppatori stanno imparando a costruire strutture regionali nell’intervallo da 20 a 100 MW. L’obiettivo futuro è applicare questo modello a siti urbani ancora più piccoli, per raggiungere il livello di 2 MW adatto alle grandi città.

L’ostacolo politico

Superata la fattibilità economica, la sfida politica rimane. I data centre sono diventati sempre più vilipendiati nei media per il loro impatto negativo sull’ambiente. Secondo un sondaggio Pew, più della metà degli americani ritengono che i data centre siano dannosi per l’ambiente e ne hanno una visione negativa. L’argomento della creazione di posti di lavoro impallidisce rispetto alla quantità di acqua, terra ed elettricità consumate, così come al rumore e alle emissioni generate. Ottenere le autorizzazioni anche per strutture urbane più piccole si dimostrerebbe difficile.

Stiamo già osservando esempi di sviluppatori di data centre e autorità cittadine in conflitto. Negli Stati Uniti, l’uso di turbine a gas da parte di xAI per accelerare la costruzione di Memphis ha provocato dispute di autorizzazione, opposizione della comunità e contenziosi. L’Europa è andata oltre: Amsterdam ha imposto un moratorio su strutture superiori a 70 MW, Dublino ora ammette nuovi data centre solo se forniscono la propria generazione o stoccaggio, e la sottostazione chiave del corridoio di West London non sarà potenziata prima dei primi anni 2030. Anche al di fuori di casi di alto profilo, essendo quest’area una nuova fonte di contesa, molte autorità cittadine non hanno un processo di approvazione chiaro per l’autorizzazione di ulteriori 10 MW di infrastruttura AI all’interno dell’area urbana. Come osservato in un rapporto della National League of Cities, una delle sfide più comuni per le città è che i vecchi codici di zonizzazione locale non affrontano esplicitamente i data centre, portando a revisioni caso per caso. Tali incertezze legali possono ritardare anche progetti tecnicamente fattibili.

Le decisioni infrastrutturali di oggi modellano la nostra capacità per il futuro

Tutto ciò significa che dobbiamo pianificare e costruire preventivamente l’infrastruttura necessaria per i futuri progressi dell’IA. Perché, mentre i modelli si sviluppano rapidamente, la potenza richiesta per farli funzionare dipende da un tipo di infrastruttura che richiede tempo per essere costruita. Le connessioni alla rete possono richiedere anni e, in alcuni dei principali mercati dei data centre, le code ora si estendono da sette a dieci anni. Quindi, se le città aumenteranno la potenza di calcolo dell’IA entro il 2030, quell’infrastruttura elettrica deve essere realizzata ora. In Teravolt, il nostro modello operativo stima la domanda globale di IA urbana da 9 a 18 GW entro il 2036. Ciò implica da 1000 a 1500 siti urbani e metropolitani significativi in tutto il mondo, a seconda della dimensione media delle strutture, e complessivamente potrebbe rappresentare un mercato del valore di circa $500 miliardi a $1 trilione.

Se la pianificazione necessaria non viene effettuata, rimarremo bloccati con una capacità avanzata di IA che non potremo sfruttare. L’era mobile aveva bisogno di un’infrastruttura di torri per la copertura radio per seguire le persone; altrimenti, il telefono cellulare sarebbe stato superfluo. Allo stesso modo, dobbiamo riconoscere la discrepanza tra l’evoluzione dell’IA e l’installazione dell’infrastruttura elettrica. Mentre l’era mobile misurava la copertura in barre di segnale, l’era dell’IA la misurerà in millisecondi e watt per residente — e non serviranno milioni di torri, ma circa mille strutture delle dimensioni di una sottostazione. Fibra, millisecondi e megawatt sono la valuta in questo settore e chi riconosce questa scarsità in anticipo sarà meglio posizionato per plasmare il futuro.