AI-modeller og plattformer
KI-beregning i 2027: Kostnaden ved inferens vil omforme datasenteret

Viktige punkterProgramvareoppgraderinger kan frigjøre 30 % mer gjennomstrømning på allerede…
Vis mer
- Programvareoppgraderinger kan frigjøre 30 % mer gjennomstrømning på allerede installerte akseleratorer innenfor faste latensmål.
- Å skille prefill fra decode lønner seg bare når trafikkformen rettferdiggjør den økte nettverks- og driftskompleksiteten.
- Alternative akseleratorer kan vinne utvalgte serving-arbeidsbelastninger når sammenligninger inkluderer migrering og driftskostnader.
Et datasenter kan være fullt av dyre akseleratorer og likevel mangle nyttig kapasitet. Noen brikker venter på minnet. Andre behandler forespørsler som ikke når målet for responstid. En referansetest kan se svært bra ut samtidig som kostnadene for tjenesten fortsetter å stige. Å eie maskinvaren er bare begynnelsen på den økonomiske utfordringen.
I 2027 vil en større del av konkurransen om datakraft handle om hva hvert installerte system kan levere under forholdene kundene faktisk krever. Dermed rettes oppmerksomheten mot programvare for tjenestelevering, plassering av arbeidsbelastninger og kostnaden ved et tilfredsstillende svar.
Utgangspunktet endrer seg allerede raskt. MLPerf Inference v6.1, som ble utgitt i september 2026, la til RAG fra ende til ende og en agentbasert arbeidsbelastning for kantnære systemer. Den beskrev også overgangen til en API-sentrisk Endpoints-serie. Dette viser at de som utformer referansetester, tilpasser seg arbeidsbelastninger med flere trinn; det viser ikke at alle KI-applikasjoner kan representeres med én enkelt referansetestscore.
IEAs energianalyse for 2026 beskriver samtidig en spenning mellom effektivitetsgevinster per oppgave og veksten i mer krevende applikasjoner. Den rapporterer om økende strømforbruk i datasentre og understreker usikkerheten som følger av endrede arbeidsbelastninger. Min slutning er at lavere enhetskostnader vil skjerpe konkurransen om systemutformingen, samtidig som strøm og minne fortsatt vil være viktige begrensninger. De vil ikke automatisk føre til at de samlede infrastrukturkostnadene går ned.
1. Programvare vil gi en betydelig kapasitetsøkning på maskinvare som allerede er installert
Den neste kapasitetsøkningen kan komme i form av en programvareutrulling. Planlegging, minnehåndtering og kjøringskjerner kan endre hvor mye arbeid en installert akselerator utfører, uten at selve brikken endres. Jeg forventer et reproduserbart resultat i 2027 som viser minst 30 % høyere gjennomstrømning innenfor responstidsmålet, på den fastsatte maskinvaren og modellen som er definert her. Den interessante forretningsmessige konsekvensen er økt brukbar kapasitet fra et kjøp operatøren allerede har gjort.
Den økonomiske fordelen er enkel å forstå. Maskinvare som allerede er installert, har en kapasitetskostnad enten planleggeren bruker den effektivt eller ikke. Bedre gruppering av forespørsler, kjøring av kjerner, minneallokering og ruting av forespørsler kan øke mengden nyttig resultat uten å legge til flere akseleratorer. Dette er særlig verdifullt der et nytt rack også ville kreve mer strøm, kjøling eller nettverkskapasitet.
Den opprinnelige forskningen på PagedAttention viser hvorfor minnehåndtering hører hjemme i diskusjonen om ytelse: ineffektiv håndtering av nøkkelverdi-bufferen kan sløse med kapasitet og begrense grupperingen av forespørsler. De historiske resultatene bør ikke videreføres som en universell hastighetsøkning på dagens systemer. De viser hvordan mekanismen fungerer, ikke hvor stor den neste gevinsten blir.
Det finnes nyere tegn på at det fortsatt er rom for forbedringer. I sin analyse av innsendingene til v6.1 rapporterer AMD om høyere gjennomstrømning på den samme MI355X-maskinvaren mellom referansetestomgangene, blant annet en forbedring på 38 % i Server med AMDs spesifiserte GPT-OSS-120B-konfigurasjon. Denne leverandørsammenligningen gjelder en annen modell enn den jeg bruker som mål for prognosen. Den støtter påstanden om at moden programvare fortsatt har betydning; den beviser ikke at en forbedring på 30 % med Llama 3.1 8B er garantert.
Den fastsatte arbeidsbelastningen i denne prognosen er valgt med hensikt. En påstand om at ett system produserer flere tokener etter at man bytter til en mindre modell, lavere kvalitet eller et mindre strengt responstidsmål, forteller en annen økonomisk historie. Testen må holde disse valgene uendret. AMDs offentliggjorte oppskrifter for reproduksjon er et nyttig eksempel på hvordan programvare- og konfigurasjonsdetaljer kan synliggjøres, selv om oppskrifter fra leverandører fortsatt må granskes uavhengig.
Dette bør du følge med på i 2027
Se etter referansetester av tjenestelevering som øker gjennomstrømningen på maskinvare som allerede er installert, samtidig som modellen, svarkvaliteten og kravene til responstid holdes uendret. Offentliggjorte konfigurasjoner og responstidsfordelinger vil gjøre slike gevinster enklere å vurdere. Resultater oppnådd med mindre modeller, lavere presisjon uten kvalitetskontroller eller mindre strenge responstidsmål vil underbygge en annen påstand.
Hva dette betyr for bedrifter
Innkjøpere av infrastruktur bør måle hvor mye ledig kapasitet de har i den nåværende løsningen for tjenestelevering, før de forplikter seg til å kjøpe flere akseleratorer. Sammenlign kostnadene ved programvareoppgraderinger, finjustering og driftsstøtte med kapasiteten dette kan frigjøre. Beslutninger om utvidelse bør baseres på antall godkjente forespørsler innenfor tjenestemålene til applikasjonen, slik at en høyere oppgitt tokenrate ikke skjuler en dårligere kundeopplevelse.
2. Oppdeling vil lønne seg når den tilpasses økonomien i den enkelte arbeidsbelastning
Å lese en lang ledetekst og å generere et svar stiller ulike krav til et system for tjenestelevering. Det er praktisk å legge begge oppgavene på samme maskinvare, men denne bekvemmeligheten kan føre til at dyre ressurser ikke passer godt til arbeidet. I 2027 vil navngitte operatører vise hvor det å skille disse trinnene gir en betydelig økning i antall forespørsler som behandles per akseleratortime. Resultatet vil avhenge av trafikkmønsteret; en bedre arkitektur for én tjeneste kan være en unødvendig komplikasjon for en annen.
Prefylling behandler konteksten som kommer inn. Dekoding genererer svaret token for token. De to fasene har ulike ressursbehov og mål for latenstid, noe som betyr at en felles ressursgruppe kan føre til interferens eller tvinge fram overdimensjonering. Ved å dele opp fasene kan ressursene fordeles separat, men det øker kostnadene fordi tilstanden må flyttes mellom dem.
DistServe formaliserte denne avveiningen med utgangspunkt i nyttig gjennomstrømning: arbeid som fullføres innenfor tjenestens latenstidskrav. De rapporterte forbedringene gjaldt bestemte arbeidsbelastninger og forhold som ble evaluert. De bør ikke tolkes som en generell multiplikator for alle produksjonsklynger. Nettverkstopologi, kontekstlengde, utdataenes lengde og variasjoner i trafikken avgjør om separasjon lønner seg.
I 2026 er dette mer enn et forskningsforslag. NVIDIA Dynamo omfatter en planlegger, hurtigminnebevisst ruting og komponenter for overføring ved distribuert inferens. NVIDIAs analyse av oppdeling av multimodal inferens er nyttig blant annet fordi den peker på forhold der fordelene blir mindre eller en topologi presterer dårligere. Når en leverandør beskriver forholdene der løsningen kommer dårligst ut, får kjøperne et bedre utgangspunkt enn om de bare får oppgitt den høyeste hastighetsøkningen.
Prognosen min forutsetter at de riktige arbeidsbelastningene når et tilstrekkelig omfang. Lange forespørsler og ujevn etterspørsel kan skape så store utfordringer for planleggingen at en mer kompleks inferensarkitektur kan forsvares. Små, stabile arbeidsbelastninger kan håndteres mer kostnadseffektivt ved å holde systemet enkelt. Å skille fasene er derfor en beslutning om kapasitetsstyring, med programvare- og driftskostnader som må tjenes inn igjen.
Dette bør du følge med på i 2027
Følg med på om operatører publiserer resultater fra reelle forespørselsmikser, inkludert lange forespørsler, varierende etterspørsel og kostnadene ved å flytte tilstand mellom inferensfasene. Gevinstene bør fortsatt være synlige når alle reserverte akseleratorer og kostnader knyttet til overføring er tatt med. Implementeringer som øker kompleksiteten uten å øke mengden nyttig arbeid per kapasitetsenhet, vil svekke grunnlaget for oppdeling.
Hva dette betyr for bedrifter
Se på separasjon mellom prefylling og dekoding som et arkitekturvalg som må valideres mot trafikken deres. Før de tar det i bruk, bør teamene modellere de ekstra kravene til nettverk, planlegging og drift. Store, ujevne arbeidsbelastninger kan gjøre innsatsen verdt det; for mindre tjenester bør det kreves dokumentasjon på at tilleggskomponentene tjener inn kostnadene under normale driftsforhold.
3. Alternative akseleratorer vil være mest kostnadseffektive for utvalgte inferensarbeidsbelastninger, ifølge offentliggjorte kostnadstall
En billigere akselerator er bare et godt kjøp hvis det ferdige svaret holder mål og kommer fram i tide. Det gir alternativer til NVIDIA rom til å konkurrere om utvalgte arbeidsbelastninger, selv om moden programvare og god tilgjengelighet fortsatt er betydelige fordeler for den etablerte aktøren. Jeg forventer at uavhengige sammenligninger i 2027 vil vise en betydelig kostnadsfordel for to ulike alternative akseleratorfamilier. Sammenligningen må også ta høyde for migreringen og driftsforholdene som ikke framgår av spesifikasjonsarket for en brikke.
Dette er en prognose om bestemte driftspunkter, ikke om at én plattform vil erstatte en annen fullstendig. En inferensløsning kan være attraktiv for én modell og ett trafikkmønster, men uegnet for et annet. Arbeidet med å overføre programvaren, operatørenes kjennskap til løsningen, støttede kjerner og tilgang på passende instanser kan veie tyngre enn en gunstig maskinvarespesifikasjon.
Flere leverandører tilbyr allerede solide alternativer. Googles dokumentasjon for Ironwood angir kapasitet og båndbredde for minne med høy båndbredde, samt egenskaper ved sammenkoblingen. AWS’ kunngjøring om tilgjengeligheten av Trainium3 beskriver en plattform utviklet for arbeidsbelastninger med høy tetthet og ekspertparallellisering. AMDs MLPerf-innsendelser dokumenterer deltakelse i standardiserte arbeidsbelastningstester. Ingen av disse kildene beviser i seg selv kostnadsfordelen i prognosen min.
Sammenligningen får først økonomisk betydning når arbeidsbelastningen er fastlagt. Hvis en akselerator krever flere verter, en annen parallelliseringsmetode eller lengre reservasjonsperioder, må disse kostnadene tas med i nevneren. En annonsert pris som ikke kan oppnås i regionen der testen utføres, bør ikke avgjøre resultatet. Det samme gjelder ubrukt reservert kapasitet og en fordelaktig referansetest basert på maskinvare kundene faktisk ikke kan få tak i.
Jeg har middels stor tillit til prognosen fordi teknisk konkurranseevne og åpenhet om økonomien er to separate hindringer. Det kan være mulig å gjennomføre testen selv om kostnadsdetaljene forblir forretningshemmeligheter. Det er også mulig at en konkurrerende akselerator vinner på gjennomstrømning, men kommer dårligere ut når det gjelder enkel drift. En fullstendig beslutningsvurdering bør vise løpende infrastrukturkostnader og engangskostnader ved migrering separat.
Dette bør du følge med på i 2027
Se etter sammenligninger utført av andre enn leverandøren av den vinnende brikken, med kapasitet som kan kjøpes, og like krav til kvalitet og latenstid. Dokumentasjonen som blir avgjørende, bør omfatte forutsetninger om verter, nettverk, ledig kapasitet og migrering. En imponerende spesifikasjon for en akselerator uten en etterprøvbar sammenligning av inferenskostnader vil ikke bevise den økonomiske prognosen.
Hva dette betyr for bedrifter
Bygg maskinvareevalueringer rundt en representativ modell og et representativt trafikkmønster, og beregn deretter kostnaden for hele utrullingen. Hold tilbakevendende driftsbesparelser atskilt fra kostnadene ved portering, opplæring av ansatte på nytt og vedlikehold av enda en programvarestabel. En alternativ akselerator kan være attraktiv for en bestemt tjeneste uten dermed å være den rette plattformen for alle arbeidsbelastningene virksomheten har.
4. Referansetester for AI-agenter vil måle energibruk opp mot fullførte oppgaver
En agent kan bruke energi mens den tenker, kaller verktøy, prøver på nytt og til slutt mislykkes. Måling av ett inferenstrinn overser hele dette forløpet. Innen utgangen av 2027 forventer jeg at referansetester for AI-agenter i MLPerf-tradisjonen setter målt energibruk for systemet opp mot fullført arbeid. Det vil gi operatørene et bedre sammenligningsgrunnlag for et vanskelig spørsmål: Hvor mye infrastruktur bruker denne tjenesten på å produsere noe kunden faktisk kan bruke?
En agent kan kalle modellen gjentatte ganger, gå tilbake til en lang kontekst, bruke verktøy og prøve mislykkede trinn på nytt. Et energitall per token fanger bare opp en del av kostnaden ved denne atferden. Den relevante måleenheten for en arbeidsbelastning med flere trinn er den fullførte oppgaven, med en tydelig definert grense for hvilken infrastruktur som måles.
Kunngjøringen av v6.1 beskriver allerede en voksende samtalehistorikk i inferens med AI-agenter, en test av AI-agenter på kanten og arbeid med referansetesting av AI-agenter i datasentre. Prognosen gjelder derfor et ytterligere målekrav, ikke introduksjonen av referansetester for AI-agenter. Jeg forventer et økende press for å knytte disse arbeidsbelastningene til systemets energibruk etter hvert som kjøpere av inferenskapasitet møter begrensninger i strømtilgangen.
IEAs vurdering fra 2026 gir en bredere grunn til å bry seg: Forholdet mellom effektivitet og samlet etterspørsel avhenger av utbredelsen og kompleksiteten i arbeidsbelastningene. En forespørsel som krever et kort svar, og en agent som kjører over lang tid, kan ikke tilordnes samme representative energikostnad. På samme måte er ikke en effektiv enkeltakselerator ensbetydende med en effektiv arbeidsflyt som helhet.
Denne prognosen har lavest grad av sikkerhet i artikkelen, fordi målestandarder krever koordinering. Verktøytjenester kan kjøre utenfor systemet som måles. En referansetest kan prioritere reproduserbarhet framfor realisme, eller rapportere effekt uten å kreve at oppgaven fullføres fra ende til ende. Dette kan være forsvarlige designvalg, men de vil ikke oppfylle akkurat denne prognosen.
Dette bør du følge med på i 2027
Se etter rapporter om referansetester for AI-agenter som setter målt energibruk opp mot fullførte oppgaver, og som forklarer hvilke komponenter som inngår i målegrensen. Gjentatte modellkall, nye forsøk og mislykkede forsøk bør fortsatt være synlige. Hvis man bare rapporterer akseleratoreffekt eller energibruk per token, får kjøperne et ufullstendig bilde av kostnaden ved en agent som utfører flere trinn.
Hva dette betyr for virksomheter
Kapasitets- og bærekraftsteam bør bli enige om en nyttig måleenhet for arbeid før de sammenligner energitall. Følg med på hvor mange oppgaver som lykkes, hvilke ressurser mislykkede forsøk bruker, og hvilken infrastruktur som er utelatt fra beregningen. Slik regnskapsføring kan hjelpe teamene med å avgjøre om en mer kapabel agent også utnytter tilgjengelige strøm- og databehandlingsbudsjetter effektivt.
Svaret ligger i måleenheten som betyr noe
Den knappe ressursen blir kapasitet som oppfyller tjenestens krav til en akseptabel kostnad. Raskere brikker vil være viktige, men det vil også en planlegger som sløser mindre, en minneorganisering som passer arbeidsbelastningen, og målinger som teller feil på en ærlig måte. Det neste fortrinnet i datasenteret er kanskje mindre synlig enn et nytt rack – og viktigere for regningen.












