Den neste AI‑strømflaskehalsen vil være inne i byer

De siste årene, og fortsatt, har AI‑infrastrukturmarkedet brukt enormt med tid og penger (nær $7 trillion av datasenterinvesteringer innen 2030, ifølge McKinsey) på å lære seg hvordan man bygger store datasentre hvor strøm er tilgjengelig. «Hvor som helst» er nøkkelordet fordi lokasjonen ikke var særlig viktig. Et treningskluster trenger bare tilgang til tilstrekkelig strøm. Men lokasjonen begynner nå å bli stadig mer relevant etter hvert som AI‑bruken vokser utover chat‑grensesnitt til maskiner, stemmesystemer, video og applikasjoner som samhandler med den fysiske verden. Slike operasjoner krever datakraft nærmere de urbane sentrene der disse interaksjonene skjer for å holde latenstiden nede. Mens verktøy som chat‑bots kan tolerere en halvsekunders forsinkelse, kan automatiserte tjenesteapplikasjoner som fjernstyrte leveringsroboter, levende stemmeassistenter eller automatiserte oppfyllelsessystemer måtte reagere innen millisekunder.

Dette er den nye utfordringen for AI‑selskaper. Hvordan finne mindre blokker med pålitelig strøm i og rundt store storbyområder? Og selv etter at lokasjoner er kartlagt, hvordan håndtere motstanden som selv fjern‑datasentre møter?

Etterspørselen etter AI i urbane sentre øker

Det er en økende etterspørsel i den urbane sfæren etter AI som går utover personlig bruk av chat‑bots eller en besettelse av roboter. Et IMF-arbeidspapir anslår at strømforbruket fra datasentre og AI allerede hadde nådd 400–500 TWh globalt i 2023, og AI‑drevet forbruk kan potensielt nå 1 500 TWh innen 2030. Automatiseringen som kreves for å gjøre enkle operasjoner mer effektive – enten det gjelder behandling av papirarbeid eller arkivering av videoer – krever mye strøm i stor skala.

Byer står i frontlinjen, som sett i en OECD‑gjennomgang av 250 byer i 78 land. Den fant at 56 % allerede aktivt brukte AI, mens ytterligere 35 % pilotere eller planla utrullinger. For å illustrere ett enkelt brukstilfelle, la oss se på overvåkingskameraer i byen. IHS Markit estimerte for flere år siden at antallet overvåkingskameraer verden over ville passere én milliard. Selv om de hovedsakelig brukes til opptak, brukes de nå også til andre, mer beregningsintensive oppgaver, f.eks. sporing av objekter over et nettverk, eller søk i store videoarkiver med naturlig språk. Slike prosesser kan ikke foregå i hvert kamera med dagens AI‑behandling. Skal de sendes ut av byen til et fjernt datasenter for behandling? Det er upraktisk på grunn av datalover og kostnadene ved å flytte så store mengder trafikk.

En nylig Gallup‑undersøkelse viser at rundt 30 % av ansatte i privat og offentlig sektor bruker AI i sin rolle, og tallene øker. Disse sektorene – enten det er bank, sykehus eller offentlige organisasjoner – støter på de samme problemene. De ønsker AI‑infrastruktur innenfor egen jurisdiksjon og fysisk nær nok til å kontrollere. Deres interaktive stemmesystemer og videoapplikasjoner forringes når nettverkslatensen øker. Selv om problemet i første omgang kan omgås ved å beholde en menneskelig operatør for den første generasjonen av autonome systemer, er denne tilsynet i seg selv lite tolerant for latens. For eksempel krever leveringsroboter og hjemme‑roboter som overvåkes via videolink en full kommunikasjonsløype som må holde seg under omtrent 80 millisekunder ifølge en fjernstyringsstudie av robotteleoperasjon. Selvkjørende biler er derimot unntaket: kjøring foregår lokalt av sikkerhetsmessige grunner, og Waymos fjernoperatører arbeider med en kvartsekunders latens, noen av dem fra et annet kontinent. Det byen arver fra autonome flåter er deres data, ikke rattene.

Datasentermarkedet undervurderer denne etterspørselsøkningen. Verdensbanken publiserte en rapport som viser hvordan kommuner i land som Argentina, India og Etiopia, blant andre, har tatt i bruk AI innen rettsvesen, antikorrupsjon, toll, offentlig administrasjon og tjenesteforbedring. Dette er ikke en lokal foreteelse. Det er en global transformasjon. Hos Teravolt anslår vi at et storbyområde med 10 til 15 millioner innbyggere kunne støtte omtrent 6 til 13 MW kontinuerlig latens‑sensitiv AI‑belastning innen 2030, før generelle roboter blir masseutplassert. Det er kanskje ikke et stort tall etter hyperskala‑standarder, men å finne det på rett sted er betydelig vanskeligere enn det ser ut. Innen 2036 vil samme storbyområde gå opp til 22 til 50 MW latens‑sensitiv belastning — og til 60 til 100 MW dersom bilindustrien begynner å produsere roboter i bilskala. Økonomien i etterspørselen er ubarmhjertig på den beste måten: noen hundre dollar i året i serverkostnad på en maskin som erstatter $30 000 til $60 000 i arbeidskraft er etterspørsel som ikke forhandler om pris.

Legge til et fjerde lag i databehandling

For øyeblikket finnes beregningskraft for AI i tre nivåer. Øverste lag består av gigafabrikker som brukes til å trene modeller. Deres plassering er kun viktig for utviklere i den grad den sikrer store mengder strøm til en akseptabel pris. Deretter kommer regionale AI‑anlegg, vanligvis mellom 20 og 200 MW, hvor en stor del av gjentakende inferensbehov i store sky- og bedriftsoperasjoner oppstår. Til slutt har vi datakraft som er innebygd direkte i enheten eller roboten.

Det ser ut til å være et gap mellom de to siste lagene som jeg identifiserer som det urbane laget – gapet som er ansvarlig for latensproblemer. Disse må plasseres inne i eller svært nær store byer. De må måles i ensifrede eller lave tosifrede megawatt mens de er plassert i storbyområder og koblet til høy‑kvalitets fiber. Utgangspunktet kan være rundt 2 MW dersom stedet har garantert strøm. For å illustrere praktiskheten, tenk på en leveringsrobot. Den håndterer ulike forespørsler, og ikke alle kan behandles på enheten selv. Selv om den trenes på gigafabrikken, vil mer avansert sanntidsassistanse måtte behandles av en nærliggende urban fasilitet i stedet for å sendes til en regional fasilitet hver gang.

Det toveis trafikkproblemet

Urbane datasentre vil ikke bare være mellomledd som mottar data fra treningssentre, men de vil også generere store mengder data som skal sendes tilbake oppover i prosessen.

Alle autonome maskiner og sensorsystemer vil samle inn informasjon som må behandles og sendes tilbake for å integreres i trening. Flåter av roboter som returnerer til ladestasjonene etter en vakt, vil sende enorme mengder nyttig informasjon om kanttilfeller og daglig drift som datasentre trenger for å forbedre funksjonene. Tenk deg at all denne trafikken sendes samtidig i samme retning. Det vil skape en flaskehals. Dette er også hvor det urbane datasenteret kommer til nytte, da det kan behandle noe av belastningen før den overvelder den regionale databehandlingsfasiliteten. Det kan identifisere og forkaste feilaktige data samtidig som det komprimerer og videresender de nyttige delene.

I hovedsak gir det urbane datasenteret et ekstra filtreringslag til de to foregående lagene, noe som gjør datastrømmen enda mer organisert.

Er fremtiden en server på hvert kvartal?

Selv om jeg presenterer urbane servere som en løsning, er det også simpelthen for dyrt å løse latensproblemer med ukontrollert spredning. Uansett størrelse krever et datasenter fortsatt en nettilkobling, transformatorer, kjøling, sikkerhet, nettverk og personale. Disse kostnadene reduseres ikke proporsjonalt med IT‑belastningen. For å sette det i perspektiv, har en 0,5 MW‑fasilitet fortsatt mange av de samme faste kostnadene som en mye større lokasjon.

I våre prosjekter har vi sett at et frittstående urbant datasenter blir økonomisk levedyktig ved rundt 5 til 8 MW. Selv om man antar at flere steder kan dele et nettverksoperasjons­senter, faller terskelen bare til 1,5 til 3 MW. Derfor er bunnlinjen fortsatt den samme. Å dele 20 MW på tjue lokasjoner i stedet for to eller tre sparer nesten ingen latens innenfor et storbyområde – byens fiberring er bare noen få millisekunder over – mens kapital‑ og driftskostnadene multipliseres.

Dette er grunnen til at jeg mener industrien må gå ned i størrelse og bygge det jeg kaller «substasjoner for intelligens». For øyeblikket lærer utviklere seg å bygge regionale fasiliteter i området 20 til 100 MW. Fremtidsmålet er å anvende dette på enda mindre, urbane steder for å nå 2 MW‑nivået som er egnet for store byer.

Det politiske hinderet

Når den økonomiske levedyktigheten er tatt i betraktning, gjenstår fortsatt den politiske utfordringen. Datasentre har blitt stadig mer demonisert i media for sin negative påvirkning på miljøet. Ifølge en Pew‑undersøkelse mener over halvparten av amerikanerne at datasentre er skadelige for miljøet og har en negativ holdning til dem. Argumentet om jobbskaping blekner i forhold til mengden vann, land og elektrisitet som forbrukes; samt støy og utslipp som genereres. Å få godkjenninger selv for mindre urbane fasiliteter vil vise seg å være vanskelig.

Vi ser allerede eksempler på konflikter mellom datasenterutviklere og bymyndigheter. I USA har xAI’s bruk av gasturbiner for å akselerere byggingen i Memphis ført til tillatelsesstridigheter, lokalt motstand og rettssaker. Europa har gått lenger: Amsterdam innførte et moratorium på fasiliteter over 70 MW, Dublin tillater nå nye datasentre kun dersom de medbringer egen produksjon eller lagring, og den viktigste transformatoren i West London‑korridoren vil ikke bli forsterket før tidlig på 2030‑tallet. Selv uten slike høyprofilerte saker, med dette som et nytt stridsspørsmål, har mange bymyndigheter ingen klar godkjenningsprosess for å godkjenne ytterligere 10 MW AI‑infrastruktur innenfor det urbane området. Som en National League of Cities‑rapport påpeker, er en av de vanligste utfordringene for byer at eldre lokale reguleringsplaner ikke eksplisitt adresserer datasentre, noe som fører til saks‑for‑saks‑vurderinger. Slike juridiske usikkerheter kan forsinke selv teknisk levedyktige prosjekter.

Infrastrukturbeslutninger i dag former vår kapasitet for fremtiden

All dette betyr at vi må planlegge og bygge infrastrukturen som kreves for fremtidige fremskritt innen AI på forhånd. Fordi mens modeller utvikler seg raskt, avhenger kraften som trengs for å kjøre dem av en type infrastruktur som tar tid å bygge. Nettilkoblinger kan ta år, og i noen store datasentermarkeder er køene nå strekker seg til syv til ti år. Så hvis byer øker AI‑datakraften frem mot 2030, må den elektriske infrastrukturen settes på plass nå. Hos Teravolt estimerer vår arbeidsmodell globalt urbant AI‑behov til 9–18 GW innen 2036. Det innebærer omtrent 1000 til 1500 betydelige urbane og metropolitane lokasjoner verden over, avhengig av gjennomsnittlig anleggsstørrelse, og samlet kan dette utgjøre et marked på omtrent $500 milliarder til $1 trillion.

Hvis nødvendig planlegging ikke gjennomføres, vil vi sitte fast med avansert AI‑kapasitet som vi ikke kan utnytte. Mobilæra krevde infrastruktur av tårn for radiodekning for å følge folk, ellers ville mobiltelefonen vært overflødig. På samme måte må vi erkjenne misforholdet mellom AI‑utviklingen og installasjonen av elektrisk infrastruktur. Hvor mobilæra målte dekning i signalstolper, vil AI‑æraen måle den i millisekunder og watt per innbygger – og den vil ikke trenge millioner av tårn, men omtrent tusen anlegg på størrelse med en transformatorstasjon. Fiber, millisekunder og megawatt er valutaen i dette feltet, og de som erkjenner denne knappheten på forhånd, er bedre rustet til å forme fremtiden.