Hvorfor den næste fase af AI-infrastruktur kræver mere end hyperskala datacentre

Kunstig intelligens indtræder en periode, hvor infrastrukturstrategi bliver uadskillelig fra modelkapacitet. I årevis har hyperskala datacentre drevet opsvinget i stor skala træning, og enablede frontmodeller til at vokse fra millioner til billioner af parametre. Men da AI-adopteringshastigheden accelererer over virksomheder, brancher og realtidsystemer, inference erstatter træning som den dominerende arbejdslast, og inference har grundlæggende forskellige krav.

Den næste æra af AI kan ikke understøttes af hyperskala faciliteter alene. I stedet opstår en hybridmodel, hvor centraliserede campusser til træning suppleres med distribuerede, kraftalignerede, kommercielle skala datacentre til inference. Dette skift drives af latensbegrænsninger, datasuverænitet, energirealiteter og de fysiske begrænsninger for fortsat hyperskala udvidelse.

Diversionen mellem træning og inference

Træning forbliver en centraliseret aktivitet. Det kræver massive cluster, højhastigheds datapipelines og lange varighedsjob, der drager fordel af skalaøkonomi. Hyperskala campusser er optimeret til dette med tæt beregning, specialiseret netværksstof og global tilgængelighed. Men inference opfører sig anderledes. Det er kort varighed, høj volumen, latensfølsomt og ofte knyttet til geografi eller virksomhedsgrænser. Analyser fra Akamais seneste arbejde med agente systemer viser, at de fleste organisationer nu målretter sub 500 millisekunders slut-til-slut latens for kritiske AI-brugs Tilfælde, og multi-agent arbejdsgange ofte overskrider denne grænse alene på grund af netværkstransit og CPU-side eksekvering.

Latens er ikke en abstrakt måling. I robotteknologi og autonome systemer kører kontrolloop ofte med 100 til 1.000 hertz hver 1 til 10 millisekunder. Enhver ekstern intelligens må respektere disse tidsbegrænsninger. En 50 millisekunders tur-retur til et fjernt datacenter bryder kontrolregimet helt. I finansielle handel og svindelforesbyggelse bestemmer millisekunder økonomiske resultater. I industriautomatisering kan forsinket inference destabilisere processer eller kompromittere sikkerheden. Og i interaktive oplevelser som spil, AR/VR og realtids co-piloter forringes responsiviteten skarpt over 100 til 150 millisekunder.

Moderne AI-systemer afhænger mere og mere af multi-agent arbejdsgange bestående af kæder af dusinvis af sekventielle opkald. Akamais analyse viser, at CPU-side eksekvering kan stå for det meste af den totale latens, og hvert netværks tur-retur tilføjer yderligere forsinkelse. En arbejdsgang med 50 sekventielle opkald kan medføre sekunders transportlatens, når den rutes til et fjernt hyperskala område. Placer denne arbejdsgang i et hyperlokalt datacenter beliggende på samme campus eller metro område, og fysikken ændrer sig. Lokal inference kan levere 1 til 5 millisekunders tur-retur latens. En 50-trins arbejdsgang, der ville tage sekunder i et fjernt område, kan afsluttes på 50 til 250 millisekunder lokalt og forblive inden for virksomhedens latensbudget.

Data suverænitet og grid realiteter driver lokale installationer

Latens er kun en del af historien. For regulerede brancher som sundhedssektor, finans og offentlig sektor er datasuverænitet ofte den primære driver for lokal inference. Kørsel af AI-arbejdslast bag en virksomheds brandmur bevares eksisterende sikkerhedsperimeter, reducerer multitenant eksponering, simplificerer overholdelse og holder følsomme data uden for delt cloud-infrastruktur. Hyperskala udbydere tilbyder stærk sikkerhed, men angrebsfladen og tillidskæden er inherent bredere. Virksomheder foretrækker stadig mere inference-arkitekturer, der er i overensstemmelse med deres eksisterende sikkerhedsposition.

Ud over bekymringer over latens og sikkerhed bliver energitilgængelighed lige så vigtig en begrænsning. Store hyperskala campusser står ofte over for multiårige forsinkelser på grund af transmissionsbegrænsninger og interconnectionskøer. Mindre kommercielle skala installationer, især de, der er placeret nær eksisterende last eller distribueret generation, kan ofte energiseres meget hurtigere. Dette betyder noget, fordi AI-efterspørgsel kolliderer med en underlig paradoks.

På samme tid, som operatører kæmper for at sikre nye gridforbindelser, afkortes enorme mængder vedvarende energi. Globalt afkortning af vedvarende energi overstiger 200 terawatt-timer om året. I USA er afkortning anslået til omkring 20 terawatt-timer årligt. ERCOT alene afkortede over 9 terawatt-timer vedvarende energiproduktion i et nyligt år. CAISO afkortede 3,4 terawatt-timer sol- og vindenergi i 2024, med solenergi, der stod for 93% af alle klippede output. Energisystemundersøgelser viser konsekvent, at både sol- og vindenergi ofte møder betydelig afkorting, når generationen overstiger gridkapaciteten. Solafkorting er særligt almindelig i regioner med stærke midtodpeaks, mens vindafkorting ofte sker under lavpunkt eller i begrænsede korridorer. Distribuerede datacentre, der er placeret nær generation, især solrige regioner, kan omdanne strandede energi til nyttig inferenskapacitet.

Hyperskala campusser vil forblive essentielle for træning, men de står over for voksende fysiske og økonomiske begrænsninger. Forbindelse til transmissionsgridet kan være en længerevarende proces, der kræver nye understationer, transmissionsopgraderinger, multi-agency godkendelse og samfunds gennemgang. Disse processer tager rutinemæssigt år. Hyperskala faciliteter kræver store arealer, betydelige vandtilladelser og komplekse miljøgodkendelser. Samfund er stadig mere modstandere over for ny datacenter udvikling på grund af støj, vandforbrug og areal påvirkning. Og centraliserede campusser koncentrerer risiko, så vejrevents, gridafbrydelser eller geopolitiske forstyrrelser kan påvirke store dele af den globale beregningskapacitet. Distribuerede arkitekturer giver geografisk redundans og operationel robusthed.

Fremtiden er en multi-niveau AI-arkitektur

Når det kommer til at sikre, at inferens beregning kører ubrudt, kan effektivitet blive lige så vigtig som rå kapacitet. Inference forbruger energi kontinuerligt, og brancheanalytikere mener, at inference kan repræsentere det meste af AI-relateret energiforbrug. Effektivitetsgevinster fra lokal vedvarende integration, reduceret transmissions tab, rette størrelses installationer, forbedrede termiske profiler og højere udnyttelsesrater vil blive essentielle for at opfylde den globale AI-efterspørgsel på en bæredygtig måde. Distribuerede kommercielle skala datacentre er godt positionerede til at levere disse gevinster, fordi de kan placeres, hvor energi er overflod, billigt eller underudnyttet.

Den næste fase af AI-infrastruktur vil være en hybridblanding af hyperskala campusser, der dominerer træning, distribuerede kommercielle skala datacentre, der servicere inference, og kantenheder, der servicere ultra-lokale arbejdslaster. Denne multi-niveau arkitektur afspejler de fysiske realiteter af kraft, latens, sikkerhed og skala. Da AI bliver integreret i realtids systemer på tværs af hver branche, må infrastrukturen udvikle sig derefter for at bringe inference tættere på verden, den betjener.