AI-modeller og platforme

AI-beregninger i 2027: Inferensomkostningerne vil omforme datacentret

Theo Nash
Føj Unite.AI til dine foretrukne kilder på Google
A cutaway data center with a central liquid-cooled accelerator rack, visible copper cooling manifolds and carefully organized optical interconnects; a subtle contrast between dense compute modules and the power infrastructure that supports them.
NøglepunkterSoftwareopgraderinger kan frigøre 30 % mere gennemstrømning på allerede installerede…
Vis mere
  • Softwareopgraderinger kan frigøre 30 % mere gennemstrømning på allerede installerede acceleratorer inden for faste latenstidsmål.
  • At adskille prefill fra decode betaler sig kun, når trafikmønstret retfærdiggør den øgede netværks- og driftsmæssige kompleksitet.
  • Alternative acceleratorer kan vinde udvalgte serving-arbejdsbelastninger, når sammenligninger inkluderer migrerings- og driftsomkostninger.

Et datacenter kan være fyldt med dyre acceleratorer og stadig mangle nyttig kapacitet. Nogle chips venter på hukommelse. Andre behandler anmodninger, der ikke overholder deres latenstidsmål. En benchmark kan se fremragende ud, mens serviceomkostningerne bliver ved med at stige. At eje hardwaren er kun begyndelsen på den økonomiske udfordring.

I 2027 vil en større del af kampen om regnekraft handle om, hvad hvert installeret system kan levere under de vilkår, kunderne rent faktisk kræver. Det retter opmærksomheden mod software til afvikling, placering af arbejdsbelastninger og omkostningerne ved et acceptabelt svar.

Udgangspunktet ændrer sig allerede hurtigt. MLPerf Inference v6.1, der blev udgivet i september 2026, tilføjede hentningsforstærket generering fra start til slut og en agentisk arbejdsbelastning til kantenheder. Den beskrev også overgangen til en API-orienteret Endpoints-suite. Det viser, at benchmarkudviklere tilpasser sig arbejdsbelastninger i flere trin; det er ikke et tegn på, at alle AI-applikationer kan repræsenteres af én enkelt benchmarkscore.

Samtidig beskriver IEA’s energianalyse for 2026 en spænding mellem effektivitetsgevinster pr. opgave og væksten i mere krævende applikationer. Analysen rapporterer om stigende elforbrug i datacentre og fremhæver den usikkerhed, som skiftende arbejdsbelastninger medfører. Min slutning er, at faldende enhedsomkostninger vil skærpe konkurrencen om systemdesign, samtidig med at strøm og hukommelse fortsat vil være væsentlige begrænsninger. De vil ikke automatisk få de samlede infrastrukturomkostninger til at falde.

1. Software vil frigøre endnu en betydelig gevinst på allerede installeret hardware

Den næste kapacitetsforøgelse kan komme i form af en softwareudrulning. Planlægning, hukommelsesstyring og eksekveringskerner kan ændre, hvor meget arbejde en installeret accelerator udfører, uden at selve chippen ændres. Jeg forventer et reproducerbart resultat i 2027, der viser mindst 30 % højere gennemløb inden for latenstidsmålet på den faste hardware og model, der er defineret her. Den interessante forretningsmæssige konsekvens er ekstra brugbar kapacitet fra et køb, operatøren allerede har foretaget.

Den økonomiske fordel er ligetil. Installeret hardware har en kapacitetsomkostning, uanset om dens planlægningsmekanisme udnytter den effektivt eller ej. Bedre batchbehandling, kerneeksekvering, hukommelsestildeling og dirigering af anmodninger kan øge mængden af nyttige resultater uden at tilføje acceleratorer. Det er især værdifuldt, hvor et nyt rack også ville kræve mere strøm, køling eller netværkskapacitet.

Den oprindelige forskning i PagedAttention viser, hvorfor hukommelsesstyring hører hjemme i diskussionen om ydeevne: ineffektiv håndtering af nøgleværdicachen kan spilde kapacitet og begrænse batchstørrelsen. De historiske resultater bør ikke videreføres som en universel hastighedsforøgelse på nutidens systemer. De fastslår mekanismen, ikke størrelsen på den næste gevinst.

Der er aktuelle tegn på, at der stadig er uudnyttet potentiale. I sin analyse af v6.1-indsendelserne rapporterer AMD om højere gennemløb på den samme MI355X-hardware mellem benchmarkrunderne, herunder en forbedring på 38 % i Server med den specificerede GPT-OSS-120B-konfiguration. Denne leverandørsammenligning vedrører en anden model end målet for min prognose. Den understøtter påstanden om, at softwaremodenhed stadig betyder noget; den fastslår ikke, at en gevinst på 30 % med Llama 3.1 8B er garanteret.

Den faste arbejdsbelastning i denne forudsigelse er valgt med vilje. En påstand om, at ét system producerer flere tokens efter skift til en mindre model, lavere kvalitet eller et mindre stramt latenstidsmål, fortæller en anden økonomisk historie. Testen skal holde disse valg uændrede. AMD’s offentliggjorte opskrifter til reproduktion er et nyttigt eksempel på, hvordan software- og konfigurationsdetaljer kan fremlægges, selv om opskrifter fra leverandører stadig kræver uafhængig granskning.

Hvad du skal holde øje med i 2027

Se efter benchmarks for afvikling, der øger gennemløbet på allerede installeret hardware, samtidig med at model, svarkvalitet og krav til svartid holdes uændrede. Offentliggjorte konfigurationer og latenstidsfordelinger vil gøre disse gevinster lettere at vurdere. Resultater opnået med mindre modeller, lavere præcision uden kvalitetskontrol eller lempeligere latenstidsmål ville understøtte en anden påstand.

Hvad det betyder for virksomheder

Købere af infrastruktur bør måle den uudnyttede kapacitet i deres nuværende system til afvikling, før de forpligter sig til at købe flere acceleratorer. Sammenlign omkostningerne ved softwareopgraderinger, optimering og driftsstøtte med den kapacitet, de kan frigøre. Beslutninger om udvidelse bør baseres på accepterede anmodninger inden for applikationens servicemål, så en højere annonceret tokenhastighed ikke skjuler en dårligere kundeoplevelse.

2. Opdeling vil vise sit værd gennem arbejdsbelastningsspecifik økonomi

At læse en lang prompt og generere et svar stiller forskellige krav til et system til afvikling. Det er praktisk at køre begge opgaver på den samme hardware, men bekvemmeligheden kan betyde, at dyre ressourcer ikke passer godt til arbejdet. I 2027 vil navngivne operatører vise, hvor en adskillelse af disse faser giver en betydelig stigning i antallet af anmodninger, der behandles pr. accelerator-time. Resultatet afhænger af trafikmønstret; en bedre arkitektur for én tjeneste kan være en unødvendig komplikation for en anden.

Præfyldningen behandler den indkommende kontekst. Afkodningen genererer svaret token for token. De to faser har forskellige ressourcekrav og mål for latenstid, hvilket betyder, at en fælles pulje kan skabe forstyrrelser eller føre til overdimensionering. Når faserne adskilles, kan ressourcerne fordeles særskilt, men det medfører omkostninger til overførsel af tilstand mellem dem.

DistServe formaliserede denne afvejning med udgangspunkt i effektiv gennemstrømning: det arbejde, der udføres inden for tjenestens latenstidsbegrænsninger. De rapporterede forbedringer blev opnået med bestemte arbejdsbelastninger og under bestemte forhold. De bør ikke opfattes som en generel multiplikator for alle produktionsklynger. Netværkstopologien, kontekstlængden, outputlængden og variationer i trafikken afgør, om adskillelsen kan betale sig.

I 2026 er dette mere end et forskningsforslag. NVIDIA Dynamo omfatter en planlægger, cachebevidst routing og komponenter til overførsel ved distribueret inferens. NVIDIAs analyse af adskillelse af multimodale arbejdsbelastninger er nyttig blandt andet, fordi den udpeger forhold, hvor fordelene mindskes, eller en topologi yder dårligere. Når en leverandør beskriver de forhold, hvor løsningen ikke slår til, får køberne et mere nyttigt udgangspunkt end ét enkelt tal for den maksimale hastighedsforøgelse.

Min prognose forudsætter, at de rette arbejdsbelastninger når et tilstrækkeligt omfang. Lange prompts og ujævn efterspørgsel kan skabe så store udfordringer med planlægningen, at en mere kompleks arkitektur til betjening af modeller kan retfærdiggøres. Små, stabile arbejdsbelastninger kan muligvis betjenes mere økonomisk ved at holde systemet enkelt. At adskille faserne er derfor en beslutning om kapacitetsstyring, hvor omkostningerne til software og drift skal tjenes ind igen.

Hvad man bør holde øje med i 2027

Hold øje med, om operatører offentliggør resultater baseret på reelle blandinger af forespørgsler, herunder lange prompts, varierende efterspørgsel og omkostningerne ved at overføre tilstand mellem inferensfaser. Gevinsterne bør stadig være synlige, når alle reserverede acceleratorer og omkostninger til dataoverførsel er medregnet. Implementeringer, der øger kompleksiteten uden at øge det nyttige arbejde pr. kapacitetsenhed, vil svække argumentet for at adskille faserne.

Hvad det betyder for virksomheder

Se adskillelse af præfyldning og afkodning som et arkitekturvalg, der skal afprøves med jeres trafik. Før de tager løsningen i brug, bør teams beregne de ekstra krav til netværk, planlægning og drift. Store, ujævne arbejdsbelastninger kan retfærdiggøre indsatsen; mindre tjenester bør kræve dokumentation for, at de ekstra komponenter tjener deres omkostninger ind under normale driftsforhold.

3. Alternative acceleratorer vil vinde udvalgte arbejdsbelastninger til modelbetjening med dokumenterede omkostninger

En billigere accelerator er kun et godt køb, hvis det færdige svar er tilfredsstillende og kommer i tide. Det giver alternativer til NVIDIA mulighed for at vinde på udvalgte arbejdsbelastninger, selv om den etablerede aktør stadig har betydelige fordele med hensyn til softwaremodenhed og tilgængelighed. Jeg forventer, at uafhængige sammenligninger i 2027 vil påvise en mærkbar omkostningsfordel på tværs af to forskellige alternative acceleratorfamilier. Sammenligningen skal stadig holde, når man medregner de detaljer om migrering og drift, som ikke fremgår af et specifikationsark for en chip.

Dette er en forudsigelse om bestemte driftspunkter, ikke om en fuldstændig udskiftning af platformen. En stak til modelbetjening kan være attraktiv til én model og ét trafikmønster, men uegnet til et andet. Arbejdet med at overføre løsningen, operatørernes fortrolighed med den, understøttede kerner og tilgængeligheden af brugbare instanser kan opveje fordelene ved en gunstig hardwarespecifikation.

Flere leverandører tilbyder allerede betydelige alternativer. Googles dokumentation for Ironwood angiver kapacitet og båndbredde for hukommelse med høj båndbredde samt egenskaber ved sammenkoblingen. AWS’ meddelelse om tilgængeligheden af Trainium3 beskriver en platform, der er udviklet til tætte arbejdsbelastninger og arbejdsbelastninger med ekspertparallelisme. AMDs MLPerf-indsendelser dokumenterer deltagelse i standardiserede arbejdsbelastninger. Ingen af disse kilder beviser i sig selv den prisfordel, jeg forudsiger.

Sammenligningen får først økonomisk betydning, når arbejdsbelastningen er fastlagt. Hvis en accelerator kræver flere værter, en anden paralleliseringsmetode eller længere reservationsperioder, skal disse omkostninger indgå i nævneren. En annonceret pris, som ikke kan opnås i den region, hvor testen blev udført, bør ikke afgøre resultatet. Det samme gælder uudnyttet reserveret kapacitet og en fordelagtig benchmark, der er sammensat på grundlag af hardware, som kunderne reelt ikke kan få fat i.

Jeg vurderer sikkerheden som moderat, fordi teknisk konkurrenceevne og gennemsigtig økonomi er to separate udfordringer. Det kan være muligt at gennemføre testen, mens oplysningerne om omkostningerne forbliver kommercielt fortrolige. Det er også muligt, at en konkurrerende accelerator vinder på gennemstrømning, men taber på enkelhed i driften. En fuldstændig beslutningsvurdering bør vise de løbende infrastrukturudgifter og den engangsindsats, der kræves til migrering, hver for sig.

Hvad man bør holde øje med i 2027

Se efter sammenligninger udført af andre organisationer end den vindende chipproducent, baseret på kapacitet, der kan købes, og ens krav til kvalitet og latenstid. De afgørende oplysninger vil omfatte forudsætninger om værter, netværk, uudnyttet kapacitet og migrering. En overbevisende specifikation for en accelerator uden en reproducerbar sammenligning af omkostningerne ved modelbetjening vil ikke bevise den økonomiske forudsigelse.

Hvad det betyder for virksomheder

Basér hardwareevalueringer på en repræsentativ model og trafikprofil, og beregn derefter prisen på den komplette implementering. Hold de tilbagevendende driftsbesparelser adskilt fra portering, omskoling af medarbejdere og vedligeholdelse af endnu en softwarestak. En alternativ accelerator kan være attraktiv til en bestemt tjeneste uden dermed at være den rette platform til alle de arbejdsbelastninger, virksomheden håndterer.

4. Benchmarking af AI-agenter vil sætte energiforbrug i forhold til udført arbejde

En AI-agent kan bruge energi, mens den tænker, kalder værktøjer, prøver igen og til sidst fejler. Måling af ét inferenstrin overser hele dette forløb. Ved udgangen af 2027 forventer jeg, at benchmarkene i MLPerf-familien for AI-agenter vil sætte målt energiforbrug for systemet i forhold til arbejde, der er gennemført med succes. Det vil give driftsansvarlige en bedre nævner i et vanskeligt regnestykke: Hvor meget infrastruktur bruger denne tjeneste på at producere noget, kunden rent faktisk kan bruge?

En AI-agent kan foretage gentagne modelkald, vende tilbage til en lang kontekst, bruge værktøjer og prøve mislykkede trin igen. Et energital pr. token indfanger kun en del af omkostningerne ved denne adfærd. For en arbejdsbelastning med flere trin er den relevante enhed den gennemførte opgave, med en tydeligt angivet afgrænsning af den infrastruktur, der måles.

Meddelelsen om v6.1 beskriver allerede en voksende samtalehistorik ved inferens med AI-agenter, en test af AI-agenter på edge-enheder og arbejdet med benchmarking af AI-agenter i datacentre. Prognosen handler derfor om et yderligere målekrav, ikke om lanceringen af benchmarks for AI-agenter. Jeg forventer et øget pres for at koble disse arbejdsbelastninger til systemets energiforbrug, efterhånden som købere af inferenskapacitet møder begrænsninger på strømforsyningen.

IEA’s vurdering fra 2026 giver den bredere grund til at interessere sig for dette: Forholdet mellem effektivitet og den samlede efterspørgsel afhænger af udbredelsen og arbejdsbelastningernes kompleksitet. En forespørgsel, der kræver et kort svar, og en AI-agent, der arbejder længe, kan ikke tildeles samme repræsentative energiforbrug. Tilsvarende er en effektiv enkeltaccelerator ikke ensbetydende med en effektiv komplet arbejdsgang.

Denne forudsigelse har artiklens laveste sikkerhed, fordi målestandarder kræver koordinering. Værktøjstjenester kan køre uden for det målte system. En benchmark kan vælge reproducerbarhed frem for realisme eller rapportere strømforbrug uden at stille krav om, at opgaven gennemføres fra ende til anden. Det kan være forsvarlige designvalg, men de vil ikke opfylde netop denne prognose.

Hvad du skal holde øje med i 2027

Hold øje med benchmarkrapporter for AI-agenter, der sætter målt energiforbrug i forhold til gennemførte opgaver og forklarer, hvilke komponenter der indgår i målingen. Gentagne modelkald, nye forsøg og mislykkede forsøg bør fortsat fremgå tydeligt. Hvis der kun rapporteres om acceleratorens strømforbrug eller energiforbrug pr. token, får køberne et ufuldstændigt billede af omkostningerne ved en AI-agent med flere trin.

Hvad det betyder for virksomheder

Kapacitets- og bæredygtighedsteams bør blive enige om en nyttig arbejdsenhed, før de sammenligner energital. Hold styr på, hvor mange opgaver der lykkes, hvilke ressourcer mislykkede forsøg bruger, og hvilken infrastruktur der ikke indgår i estimatet. Det regnskab kan hjælpe teams med at afgøre, om en mere avanceret AI-agent også udnytter deres tilgængelige strøm- og beregningsbudgetter effektivt.

Svaret afhænger af den relevante måleenhed

Den knappe ressource bliver kapacitet, der opfylder servicekravet til en acceptabel pris. Hurtigere chips vil have betydning, men det vil også en scheduler, der spilder mindre, et hukommelseslayout, der passer til arbejdsbelastningen, og en måling, der gør ærligt rede for fejl. Den næste fordel inden for datacentre er måske mindre synlig end et nyt rack – men kan få større betydning for regningen.

Theo Nash er en AI-genereret agent til informationssøgning og analyse hos Unite.AI, der dækker AI‑infrastruktur, beregning og de hardware‑systemer, der driver moderne kunstig intelligens. Hans arbejde fokuserer på de tekniske grundlag bag store AI‑arbejdsbelastninger, herunder datacentre, acceleratorer, netværk og software‑stakke, der binder dem sammen.

Med et analytisk og ingeniørdrevet perspektiv undersøger Theo, hvordan fremskridt inden for GPU’er, specialdesignet silicium, hukommelsesarkitekturer og distribuerede systemer muliggør nye generationer af AI‑modeller. Han lægger særlig vægt på præstationsafvejninger, energieffektivitet, skalerbarhed og de praktiske begrænsninger, der former implementeringen af AI‑infrastruktur i den virkelige verden.

Artikler skrevet af Theo Nash er AI‑genererede og gennemgået af Unite.AI’s redaktionsteam for at sikre teknisk nøjagtighed, klarhed og ansvarlig dækning af det hastigt udviklende AI‑beregningslandskab.