Google har precis släppt riktiga siffror om AI-energianvändning – och de är inte vad du tror

Alla pratar om AI:s enorma energiavtryck. Du har sett rubrikerna: ”ChatGPT använder lika mycket el som ett litet land” eller ”Varje AI-förfrågan dricker en flaska vatten”.

Google precis publicerat faktiska data från deras produktionssystem, och siffrorna berättar en helt annan historia.

Den verkliga energikostnaden för din AI-fråga

Här är vad Google hittade: Medianvärdet tvillingarna Textmeddelandet använder 0.24 wattimmar energi. Det är mindre el än att titta på TV i nio sekunder. Vattenförbrukning? Fem droppar. Inte fem glas. Fem droppar.

Skillnaden mellan allmänhetens uppfattning och verkligheten är enorm. Tidigare uppskattningar hävdade att AI-uppmaningar förbrukade mellan 10 och 50 milliliter vatten per fråga. Vissa studier tyder på en energiförbrukning som är 30 gånger högre än vad Google mäter i produktionen.

Varför den enorma skillnaden? För att ingen har mätt verkliga system i stor skala fram tills nu. Akademiska studier kör isolerade tester på underutnyttjad hårdvara. De mäter i princip en bils bränsleeffektivitet medan den står på tomgång på uppfarten.

44x-förbättringen

Google minskade sina AI-koldioxidutsläpp med 44 gånger på ett år. Inte 44 procent – ​​44 gånger.

Detta är inte någon teoretisk förbättring i ett labb. Detta händer just nu på system som hanterar miljarder frågor. De uppnådde detta genom en kombination av programvaruoptimering (33x förbättring) och renare energikällor (1.4x förbättring).

De flesta studier tittar bara på AI-chipen som gör beräkningen. Det är som att mäta en restaurangs energiförbrukning genom att bara räkna ugnarna och ignorera kylskåp, lampor och värme- och ventilationssystemet.

Googles data visar hela bilden: Ja, AI-acceleratorerna använder 58 % av energin. Men du behöver också vanliga processorer och minne (24 %), reservkapacitet för tillförlitlighet (10 %) och kylsystem (8 %). Hoppa över något av dessa i dina mätningar, och dina siffror är i princip meningslösa.

När Google tillämpade den snäva metod som alla andra använder – att bara mäta AI-chipsen på fullt utnyttjade maskiner – sjönk deras energisiffra till 0.10 wattimmar. Det verkliga produktionssystemet använder 2.4 gånger mer energi eftersom verkliga system behöver redundans, kylning och stödjande infrastruktur.

Vad detta faktiskt betyder för AI:s framtid

Berättelsen kring AI:s energiförbrukning behöver en verklighetskontroll. Ja, AI använder energi. Men korrekt optimerade system är mycket effektivare än vad ödesscenarierna antyder.

Kontexten spelar roll här. De där 0.24 wattimmar per fråga? Amerikaner använder i genomsnitt cirka 30 kilowattimmar el per dag. Man skulle behöva köra 125,000 XNUMX AI-frågor för att matcha en dags typiska hushållsenergianvändning.

Vattenförbrukningshistorien är ännu mer dramatisk. De där fem vattendropparna per förfrågan? Du använder mer vatten under den första sekunden av att tvätta händerna.

Optimeringsstacken

Google uppnår inte dessa siffror genom ett enda genombrott. De är staplingsoptimeringar över alla lager i systemet.

De kör mindre ”utkast”-modeller som skissar upp svar och sedan verifierar med större modeller endast vid behov. De sätter ihop tusentals frågor för effektivitets skull. De använder anpassade chip som är specifikt utformade för AI-arbetsbelastningar och som är 30 gånger effektivare än deras första generation.

Deras datacenter har bara 9 % överdriftskostnader över det teoretiska minimumet – i princip så effektiva som fysiskt möjligt. Och de drivs i allt högre grad av ren energi, vilket minskar utsläppen även när elförbrukningen ökar.

Bottom Line

Detta fungerar bara när företag faktiskt optimerar sin fulla stack och mäter ordentligt. Företagen som behandlar AI-infrastruktur som en eftertanke och kör ineffektiva system på smutsiga elnät? Det är de som skapar problemen som alla oroar sig för.

Klyftan mellan effektiva och ineffektiva AI-system är enorm. Och just nu använder större delen av branschen fortfarande den ineffektiva versionen.