Den nästa AI‑flaskhalsen kommer att ligga i städerna

Under de senaste åren, och fortfarande pågående, har AI‑infrastrukturmarknaden lagt ner enorm tid och pengar (nära $7 biljon för datacenterinvesteringar fram till 2030, enligt McKinseys uppskattning) på att lära sig hur man bygger stora datacenter där ström finns tillgänglig. ”Var som helst” är nyckelordet eftersom platsen tidigare inte var så viktig. Ett träningskluster behöver bara tillgång till tillräcklig kraft. Men platsen börjar bli allt mer relevant i dag när AI:s användning växer bortom chattgränssnitt till maskiner, röstsystem, video och applikationer som interagerar med den fysiska världen. Sådana operationer kräver beräkningskraft som är närmare de urbana centren där dessa interaktioner sker för att hålla latensen låg. Medan verktyg som chatbots kan tolerera en halvt sekunds fördröjning, kan automatiserade tjänstprogram som fjärrstyrda leveransrobotar, live‑röstassistenter eller automatiserade uppfyllandesystem behöva reagera inom millisekunder.

Detta är den nya utmaningen för AI‑företag. Hur hittar man mindre block av pålitlig kraft i och omkring stora storstadsområden? Och även efter att platser har kartlagts, hur hanterar man motståndet som även avlägsna datacenter möter?

Efterfrågan på AI i urbana centra ökar

Det finns en ökande efterfrågan inom den urbana sfären på AI som går bortom personlig användning av chatbots eller någon hyperfixering på robotar. En IMF:s arbetsrapport uppskattar att elförbrukningen från datacenter och AI redan hade nått 400–500 TWh globalt år 2023, och AI‑driven förbrukning potentiellt kan nå 1 500 TWh till 2030. Den automation som krävs för att göra enkla operationer mer effektiva — vare sig det gäller bearbetning av pappersarbete eller arkivering av videor — kräver mycket kraft i stor skala.

Städer är i framkant av detta, vilket framgår av en OECD‑granskning av 250 städer i 78 länder. Den visade att 56 % redan aktivt använde AI, medan ytterligare 35 % provade eller planerade implementeringar. För att illustrera ett enkelt användningsfall, låt oss betrakta övervakningskameror i staden. IHS Markit uppskattade för flera år sedan att antalet övervakningskameror världen över skulle passera en miljard. Även om de främst används för inspelningsändamål, används de nu också för andra, mer beräkningsintensiva uppgifter, t.ex. att spåra objekt över ett nätverk eller söka i stora videoarkiv med naturligt språk. Sådana processer kan inte genomföras i varje kamera med den nuvarande AI‑behandlingen vi har. Skulle de då skickas ut ur staden till ett avlägset datacenter för bearbetning? Det är opraktiskt på grund av datalagar och även kostnaden för att flytta så stora mängder trafik.

Ett nyligen Gallup‑undersökning visar att omkring 30 % av anställda i privat och offentlig sektor använder AI i sina roller och siffrorna ökar. Dessa sektorer — vare sig det är bankverksamhet, sjukhus eller offentliga organisationer — stöter på samma problem. De vill ha AI‑infrastruktur inom sin egen jurisdiktion och fysiskt tillräckligt nära för att kunna kontrollera den. Deras interaktiva röstsystem och videoapplikationer försämras när nätverkslatensen ökar. Även om problemet initialt kan kringgås genom att behålla en mänsklig operatör för den första generationen av autonoma system, är den övervakningen i sig inte särskilt förlåtande mot latens. Till exempel kräver leveransrobotar och hemrobotar som övervakas via en videokoppling en full kommunikationsslinga som måste hållas under ungefär 80 millisekunder enligt en studie om fjärrstyrd robotteleoperation. Självkörande bilar är, paradoxalt, undantaget: körningen sker ombord av säkerhetsskäl, och Waymos fjärroperatörer arbetar med en fjärdedel av en sekund i latens, några av dem från en annan kontinent. Det som staden ärver från autonoma flottor är deras data, inte deras ratt.

Datacentermarknaden underskattar denna efterfrågeökning. Världsbanken publicerade en rapport som visar hur kommuner i länder som Argentina, Indien och Etiopien, bland andra, har antagit AI inom rättsväsende, anti‑korruption, tull, offentlig förvaltning och serviceförbättring. Detta är inte ett lokalt fenomen. Det är en global omvandling. På Teravolt uppskattar vi att ett storstadsområde med 10 till 15 miljoner invånare skulle kunna stödja ungefär 6 till 13 MW kontinuerlig latenskänslig AI‑belastning till 2030, innan generella robotar massutplaceras. Man kan hävda att det inte är så stor siffra enligt hyperskala‑standarder, men att hitta den på rätt plats är betydligt svårare än det ser ut. År 2036 går samma storstadsområde upp till 22 till 50 MW latenskänslig belastning — och till 60 till 100 MW om bilindustrin börjar producera robotar i bilskala. Efterfrågeekonomin är oförsonlig på bästa sätt: några hundra dollar per år i serverkostnad på en maskin som ersätter $30 000 till $60 000 i arbetskraft är en efterfrågan som inte prutar om priset.

Lägga till ett fjärde lager i databehandling

För närvarande finns beräkningskraft för AI på tre nivåer. Det översta lagret består av gigafabriker som används för att träna modeller. Deras placering är bara viktig för utvecklare i den mån den garanterar stora mängder kraft till ett acceptabelt pris. Därefter kommer regionala AI‑anläggningar, typiskt omkring 20 till 200 MW, där en stor del av återkommande inferensbehov i stora moln‑ och företagsoperationer uppstår. Slutligen har vi beräkningskraften som är inbäddad direkt i enheten eller roboten.

Det verkar finnas ett gap mellan de två sista lagren som jag identifierar som det urbana lagret – gapet som ansvarar för latensproblem. Dessa skulle behöva placeras inuti eller mycket nära stora städer. De skulle behöva mätas i ensiffriga eller låga tvåsiffriga megawatt samtidigt som de är placerade inom storstadsområden och anslutna till högkvalitativ fiber. Utgångspunkten kan vara omkring 2 MW om anläggningen har garanterad ström. För att illustrera praktiken, tänk på en leveransrobot. Den hanterar olika förfrågningar och inte alla kan bearbetas på enheten själv. Även om den tränas på gigafabriken, skulle mer avancerad realtidsassistans behöva bearbetas av en närliggande urban anläggning istället för att skickas till en regional anläggning varje gång.

Tvåvägs trafikproblemet

Urbana datacenter kommer inte bara att vara mellansteg som tar emot data från träningscentra, utan de kommer också att producera stora mängder data som ska skickas tillbaka upp i pipeline:n.

Varje autonom maskin och sensorsystem kommer att samla in information som måste bearbetas och skickas tillbaka för att integreras i träningsprocessen. Flottar av robotar som återvänder till sina laddningsstationer efter ett skift kommer att skicka enormt användbar information om kantfall och dagliga operationer som datacenter behöver för att förbättra funktionerna. Föreställ dig all denna trafik som skickas på en gång i samma riktning. Det kommer att skapa en flaskhals. Det är också här det urbana datacentret blir praktiskt, eftersom det kan bearbeta en del av belastningen innan den överväldigar den regionala beräkningsanläggningen. Det kan identifiera och kassera felaktig data samtidigt som det komprimerar och vidarebefordrar den användbara delen.

I grund och botten ger det urbana datacentret ett ytterligare filtreringslager till de två föregående lagren, vilket gör dataflödet ännu mer organiserat.

Är framtiden en server på varje kvarter?

Även om jag presenterar urbana servrar som en lösning, är det också helt enkelt för dyrt att lösa latensproblem med en okontrollerad spridning. Oavsett storlek kräver ett datacenter fortfarande en nätanslutning, transformatorer, kylning, säkerhet, nätverk och personal. Dessa kostnader minskar inte proportionellt med IT-belastningen. För att sätta det i perspektiv bär en anläggning på 0,5 MW fortfarande många av de samma fasta kostnaderna som en mycket större anläggning.

I våra projekt har vi sett att ett fristående urbant datacenter blir ekonomiskt hållbart vid omkring 5 till 8 MW. Även om man antar att flera anläggningar kan dela ett nätverksoperationscenter, sjunker tröskeln bara till 1,5 till 3 MW. Därför är slutsatsen fortfarande densamma. Att dela 20 MW över tjugo platser istället för två eller tre sparar nästan ingen latens inom ett storstadsområde – stadens fiberring är bara några millisekunder över hela – samtidigt som det multiplicerar kapital och driftskostnader.

Det är därför jag tror att branschen måste gå ner i storlek och bygga vad jag kallar ”substationer för intelligens”. För närvarande lär sig utvecklare att bygga regionala anläggningar i spannet 20 till 100 MW. Framtidsmålet är att tillämpa detta på ännu mindre, urbana anläggningar för att nå 2 MW-nivån som är lämplig för stora städer.

Det politiska hindret

När den ekonomiska hållbarheten är klar, kvarstår den politiska utmaningen. Datacenter har blivit alltmer fördömda i media för sin negativa påverkan på miljön. Enligt en Pew-undersökning anser mer än hälften av amerikanerna att datacenter är skadliga för miljön och har en negativ syn på dem. Argumentet om jobbskapande bleknar i jämförelse med den mängd vatten, mark och el som förbrukas; liksom buller och utsläpp som genereras. Att få godkännanden även för mindre urbana anläggningar skulle visa sig vara svårt.

Vi ser redan exempel på konflikter mellan datacenterutvecklare och stadens myndigheter. I USA har xAI:s användning av gasturbiner för att påskynda sin byggnation i Memphis lett till tillståndstvister, samhällsmotstånd och rättstvister. Europa har gått längre: Amsterdam införde ett moratorium för anläggningar över 70 MW, Dublin tillåter nu nya datacenter endast om de medför egen elproduktion eller lagring, och den centrala transformatorstationen i West London-korridoren kommer inte att förstärkas förrän tidigt på 2030-talet. Även utanför sådana högprofilerade fall, med detta som ett nytt konfliktområde, har många stadsmyndigheter ingen tydlig godkännandeprocess för att godkänna ytterligare 10 MW AI-infrastruktur inom det urbana området. Enligt en National League of Cities-rapport är en av de vanligaste utmaningarna för städer att äldre lokala zonkoder inte uttryckligen behandlar datacenter, vilket leder till fall‑till‑fall‑granskning. Sådana juridiska osäkerheter kan fördröja även tekniskt genomförbara projekt.

Infrastrukturbeslut idag formar vår kapacitet för framtiden

Allt detta innebär att vi måste planera och bygga den infrastruktur som krävs för framtida framsteg inom AI i förväg. För medan modeller utvecklas snabbt, beror den kraft som behövs för att köra dem på en typ av infrastruktur som tar tid att bygga. Nätanslutningar kan ta år, och i vissa stora datacentermarknader är köerna nu sträcker sig till sju till tio år. Så om städer ökar AI‑beräkningskapaciteten till 2030, måste den el‑infrastrukturen sättas på plats redan nu. På Teravolt uppskattar vår arbetsmodell den globala urbana AI‑efterfrågan till 9–18 GW år 2036. Det innebär omkring 1 000–1 500 betydande urbana och metropolitiska platser världen över, beroende på genomsnittlig anläggningsstorlek, och sammanlagt kan det motsvara en marknad värd ungefär 500 miljarder till 1 biljon dollar.

Om den nödvändiga planeringen inte genomförs kommer vi att fastna med avancerad AI‑kapacitet som vi inte kan utnyttja. Mobilåldern krävde infrastruktur av torn för radiotäckning för att följa människor, annars skulle mobiltelefonen ha varit meningslös. På liknande sätt måste vi inse mismatchen mellan AI:s utveckling och installationen av el‑infrastruktur. Där mobilåldern mätte täckning i signalstaplar, kommer AI‑åldern att mäta den i millisekunder och watt per invånare — och den kommer inte att behöva miljontals torn, utan ungefär ett tusen anläggningar i storlek med en transformatorstation. Fiber, millisekunder och megawatt är valutan i detta fält, och de som inser denna knapphet i förväg är bättre rustade att forma framtiden.