Google ha pubblicato i numeri reali sull’uso di energia dell’AI – e non sono quelli che pensi

Tutti parlano dell’enorme impronta energetica dell’AI. Avete visto i titoli: “ChatGPT utilizza tanto elettricità quanto un piccolo paese” o “Ogni query AI beve una bottiglia d’acqua.”

Google ha appena pubblicato dati reali dai loro sistemi di produzione, e i numeri raccontano una storia completamente diversa.

Il vero costo energetico della tua query AI

Ecco cosa ha scoperto Google: la query di testo mediana Gemini utilizza 0,24 watt-ore di energia. Questo è meno di elettricità di quanto se ne utilizzi guardando la TV per nove secondi. Consumo di acqua? Cinque gocce. Non cinque bicchieri. Cinque gocce.

Il divario tra la percezione pubblica e la realtà è enorme. Le stime precedenti sostenevano che le query AI consumavano tra 10 e 50 millilitri di acqua per query. Alcuni studi suggerivano un consumo di energia 30 volte superiore a quello misurato da Google nei sistemi di produzione.

Perché la differenza è così grande? Perché nessuno ha misurato sistemi reali su larga scala fino ad ora. Gli studi accademici eseguono test isolati su hardware non utilizzato. Stanno essenzialmente misurando l’efficienza del carburante di un’auto mentre è in folle nel vialetto.

Il miglioramento del 44 volte

Google ha ridotto le emissioni di carbonio dell’AI del 44 volte in un anno. Non del 44 percento – del 44 volte.

Questo non è un miglioramento teorico in un laboratorio. Questo sta accadendo proprio adesso sui sistemi che servono miliardi di query. Hanno raggiunto questo attraverso una combinazione di ottimizzazione del software (miglioramento del 33 volte) e fonti di energia più pulite (miglioramento del 1,4 volte).

La maggior parte degli studi si concentra solo sui chip AI che eseguono il calcolo. Questo è come misurare il consumo di energia di un ristorante contando solo i forni, ignorando i frigoriferi, le luci e il sistema di condizionamento dell’aria.

I dati di Google mostrano l’immagine completa: sì, gli acceleratori AI utilizzano il 58% dell’energia. Ma avete anche bisogno di processori e memoria regolari (24%), capacità di backup per l’affidabilità (10%) e sistemi di raffreddamento (8%). Saltare qualsiasi di questi nella vostra misurazione e i vostri numeri sono essenzialmente insignificanti.

Quando Google ha applicato la metodologia ristretta che tutti gli altri utilizzano – misurando solo i chip AI su macchine completamente utilizzate – il loro consumo di energia è sceso a 0,10 watt-ore. Il sistema di produzione reale utilizza 2,4 volte più energia perché i sistemi reali hanno bisogno di ridondanza, raffreddamento e infrastrutture di supporto.

Cosa significa questo per il futuro dell’AI

La narrazione sul consumo di energia dell’AI ha bisogno di un controllo di realtà. Sì, l’AI utilizza energia. Ma i sistemi ottimizzati correttamente sono molto più efficienti delle scenari apocalittici che vengono suggeriti.

Il contesto è importante qui. Quelle 0,24 watt-ore per query? Gli americani utilizzano circa 30 kilowatt-ore di elettricità al giorno in media. Avreste bisogno di eseguire 125.000 query AI per eguagliare un giorno di consumo di energia domestica tipico.

La storia del consumo di acqua è ancora più drammatica. Quelle cinque gocce di acqua per query? Utilizzate più acqua nel primo secondo di lavaggio delle mani.

La pila di ottimizzazione

Google non sta raggiungendo questi numeri attraverso una singola scoperta. Stanno impilando ottimizzazioni su ogni livello del sistema.

Stanno eseguendo modelli “bozze” più piccoli che abbozzano le risposte, poi verificano con modelli più grandi solo quando necessario. Stanno raggruppando migliaia di query insieme per l’efficienza. Stanno utilizzando chip personalizzati progettati specificamente per carichi di lavoro AI che sono 30 volte più efficienti della loro prima generazione.

I loro data center operano al 9% di sovraccarico rispetto al minimo teorico – essenzialmente così efficienti come è possibile fisicamente. E stanno sempre più alimentati da fonti di energia pulita, riducendo le emissioni anche quando l’uso di elettricità aumenta.

Riepilogo

Funziona solo quando le aziende ottimizzano effettivamente la loro intera pila e misurano correttamente. Le aziende che trattano l’infrastruttura AI come un ripensamento, eseguendo sistemi inefficienti su reti elettriche sporche? Sono loro che stanno creando i problemi di cui tutti si preoccupano.

Il divario tra i sistemi AI efficienti e inefficienti è assolutamente enorme. E proprio adesso, la maggior parte dell’industria sta ancora eseguendo la versione inefficiente.