AI-modeller och plattformar
AI-beräkningar 2027: Inferenskostnaden kommer att omforma datacentret

Viktiga punkterProgramvaruuppgraderingar kan frigöra 30 % mer genomströmning på redan installerade…
Visa mer
- Programvaruuppgraderingar kan frigöra 30 % mer genomströmning på redan installerade acceleratorer inom fasta latensmål.
- Att separera prefill från decode lönar sig bara när trafikmönstret motiverar den ökade nätverks- och driftkomplexiteten.
- Alternativa acceleratorer kan vinna utvalda serving-arbetslaster när jämförelser inkluderar migrerings- och driftkostnader.
Ett datacenter kan vara fullt av dyra acceleratorer och ändå ha ont om användbar kapacitet. Vissa chip väntar på minne. Andra hanterar förfrågningar som inte klarar latenstidsmålet. Ett benchmarkresultat kan se utmärkt ut samtidigt som kostnaden för tjänsten fortsätter att stiga. Att äga hårdvaran är bara början på den ekonomiska utmaningen.
År 2027 kommer en större del av kampen om beräkningskapacitet att handla om vad varje installerat system kan leverera under de förhållanden som kunderna faktiskt kräver. Det riktar uppmärksamheten mot programvara för inferens, placering av arbetsbelastningar och kostnaden för ett godtagbart svar.
Utgångsläget förändras redan snabbt. MLPerf Inference v6.1, som släpptes i september 2026, lade till retrievalförstärkt generering från början till slut och en agentisk arbetsbelastning för edge. Rapporten beskrev också övergången till den API-centrerade sviten Endpoints. Det visar att de som utformar benchmarktester anpassar sig till arbetsbelastningar i flera steg, inte att alla AI-tillämpningar kan representeras av ett enda benchmarkresultat.
Samtidigt beskriver IEA:s energianalys för 2026 en spänning mellan effektivitetsvinster per uppgift och tillväxten av mer krävande tillämpningar. Analysen rapporterar en ökad elanvändning i datacenter och betonar den osäkerhet som förändrade arbetsbelastningar medför. Min slutsats är att sjunkande kostnader per enhet kommer att skärpa konkurrensen om systemutformningen, samtidigt som effekt och minne förblir betydande begränsningar. De kommer inte automatiskt att få de totala infrastrukturkostnaderna att sjunka.
1. Programvara kommer att ge ytterligare betydande prestandavinster med redan installerad hårdvara
Nästa kapacitetsökning kan komma i form av en programvaruinstallation. Schemaläggning, minneshantering och exekveringskärnor kan förändra hur mycket arbete en installerad accelerator klarar av utan att själva chippet ändras. Jag förväntar mig ett reproducerbart resultat under 2027 som visar minst 30 % högre genomströmning inom latenstidsmålet, med den fasta hårdvara och modell som definieras här. Den intressanta affärsmässiga konsekvensen är att operatören får ytterligare användbar kapacitet från ett inköp som redan har gjorts.
Den ekonomiska fördelen är uppenbar. Installerad hårdvara har en kapacitetskostnad oavsett om schemaläggaren utnyttjar den effektivt eller inte. Bättre batchning, exekvering av kärnor, minnesallokering och dirigering av förfrågningar kan öka mängden användbara resultat utan att fler acceleratorer behöver tillföras. Det är särskilt värdefullt när ett nytt rack också skulle kräva mer effekt, kylning eller nätverkskapacitet.
Den ursprungliga forskningen om PagedAttention visar varför minneshantering hör hemma i diskussionen om prestanda: ineffektiv hantering av nyckel-värdecachen kan slösa kapacitet och begränsa batchningen. De historiska resultaten bör inte föras vidare som en universell prestandaökning på dagens system. De visar hur mekanismen fungerar, inte hur stor nästa vinst blir.
Det finns aktuella belägg för att det fortfarande finns utrymme för förbättringar. I sin analys av inlämningarna till v6.1 rapporterar AMD högre genomströmning på samma MI355X-hårdvara mellan benchmarkomgångarna, däribland en förbättring på 38 % i Server för den angivna GPT-OSS-120B-konfigurationen. Denna leverantörsjämförelse gäller en annan modell än den som min prognos avser. Den stöder tesen att programvarans mognad fortfarande spelar roll, men visar inte att en förbättring på 30 % med Llama 3.1 8B är garanterad.
Den fasta arbetsbelastningen i den här prognosen är ett medvetet val. Ett påstående om att ett system producerar fler token efter byte till en mindre modell, lägre kvalitet eller ett mindre strikt latenstidsmål berättar en annan ekonomisk historia. Testet måste hålla dessa val oförändrade. AMD:s publicerade recept för att återskapa resultaten är ett användbart exempel på hur programvaru- och konfigurationsdetaljer kan redovisas, även om recept från leverantörer fortfarande behöver granskas oberoende.
Det här bör du hålla utkik efter 2027
Håll utkik efter benchmarktester för inferens som ökar genomströmningen på redan installerad hårdvara samtidigt som modell, svarskvalitet och krav på svarstid hålls oförändrade. Publicerade konfigurationer och latenstidsfördelningar gör det lättare att bedöma förbättringarna. Resultat som uppnås med mindre modeller, lägre precision utan kvalitetskontroller eller mindre strikta latenstidsmål skulle stödja ett annat påstående.
Vad det här innebär för företag
Köpare av infrastruktur bör mäta den outnyttjade kapaciteten i sin nuvarande inferenslösning innan de beslutar sig för att skaffa fler acceleratorer. Jämför kostnaden för programvaruuppgraderingar, finjustering och driftstöd med den kapacitet som dessa åtgärder kan frigöra. Beslut om utbyggnad bör baseras på godkända förfrågningar inom tjänstens mål, så att en högre angiven tokenhastighet inte döljer en sämre kundupplevelse.
2. Uppdelning lönar sig när den anpassas efter arbetsbelastningens ekonomi
Att läsa en lång prompt och generera ett svar ställer olika krav på ett inferenssystem. Det är bekvämt att utföra båda uppgifterna på samma hårdvara, men bekvämligheten kan leda till att dyra resurser inte passar arbetet särskilt väl. Under 2027 kommer namngivna operatörer att visa när en uppdelning av dessa steg ger en betydande ökning av antalet förfrågningar som hanteras per accelerator-timme. Resultatet beror på trafikmönstret: en bättre arkitektur för en tjänst kan vara en onödig komplikation för en annan.
Prefill-fasen bearbetar den inkommande kontexten. Avkodningen genererar svaret token för token. Faserna har olika resursbehov och latensmål, vilket innebär att en gemensam resursgrupp kan leda till störningar eller tvinga fram överdimensionering. Om faserna delas upp kan resurserna fördelas separat, men det tillkommer en kostnad för att flytta tillstånd mellan dem.
DistServe formaliserade den avvägningen med utgångspunkt i nyttigt genomflöde: arbete som slutförs inom tjänstens latenskrav. De rapporterade förbättringarna gällde specifika arbetslaster och förhållanden som utvärderats. De bör inte tolkas som en generell förbättringsfaktor för varje produktionskluster. Nätverkstopologi, kontextlängd, utdatalängd och variationer i trafiken avgör om uppdelningen lönar sig.
År 2026 är detta mer än ett forskningsförslag. NVIDIA Dynamo innehåller en planerare, cachemedveten routning och överföringskomponenter för distribuerad inferens. NVIDIAs analys av multimodal uppdelning är användbar bland annat eftersom den pekar ut förhållanden där nyttan minskar eller en viss topologi presterar sämre. När en leverantör beskriver förhållandena där lösningen inte presterar lika bra får köparna en mer användbar utgångspunkt än en enda maximal hastighetsökning.
Min prognos förutsätter att rätt arbetslaster når tillräcklig skala. Långa promptar och ojämn efterfrågan kan skapa tillräckligt stor friktion i schemaläggningen för att motivera en mer komplex lösningsarkitektur för inferens. Små, jämna arbetslaster kan hanteras mer kostnadseffektivt genom att hålla systemet enkelt. Att separera faserna är därför ett beslut om kapacitetshantering, med programvaru- och driftskostnader som måste tjänas in.
Vad du bör hålla utkik efter 2027
Håll utkik efter operatörer som publicerar resultat från verkliga blandningar av förfrågningar, däribland långa promptar, varierande efterfrågan och kostnaden för att flytta tillstånd mellan inferensfaserna. Förbättringarna bör fortfarande vara tydliga när alla reserverade acceleratorer och kostnader för överföringar har räknats in. Driftsättningar som ökar komplexiteten utan att förbättra mängden användbart arbete per kapacitetsenhet skulle försvaga argumenten för uppdelning.
Vad det här innebär för företag
Betrakta separationen mellan prefill och avkodning som ett arkitekturval som måste valideras mot er trafik. Innan teamen inför lösningen bör de modellera de ökade kraven på nätverk, schemaläggning och drift. Stora, ojämna arbetslaster kan motivera den insatsen; för mindre tjänster bör det krävas belägg för att de extra komponenterna tjänar in sin kostnad under normala driftsförhållanden.
3. Alternativa acceleratorer kommer att vinna utvalda inferensarbetslaster när kostnaderna redovisas
En billigare accelerator är bara ett fynd om det färdiga svaret håller måttet och kommer i tid. Det ger alternativ till NVIDIA utrymme att vinna på utvalda arbetslaster, även om den etablerade aktören fortfarande har betydande fördelar när det gäller programvarans mognad och tillgänglighet. Jag räknar med att oberoende jämförelser under 2027 visar en betydande kostnadsfördel inom två olika alternativa acceleratorfamiljer. Jämförelsen måste hålla även när hänsyn tas till migreringen och driften, sådant som inte framgår av ett datablad för ett chip.
Det här är en prognos om specifika driftspunkter, inte om att en plattform skulle ersättas helt. En lösningsstack för inferens kan passa bra för en modell och ett trafikmönster men vara olämplig för ett annat. Insatsen för att porta lösningen, operatörernas vana, vilka kärnor som stöds och tillgången till användbara instanser kan väga tyngre än en fördelaktig hårdvaruspecifikation.
Flera leverantörer erbjuder redan betydande alternativ. Googles dokumentation för Ironwood anger kapaciteten och bandbredden hos högbandbreddsminnet samt egenskaperna hos sammankopplingen. AWS tillkännagivande om tillgängligheten för Trainium3 beskriver en plattform som utformats för täta och expertparallella arbetslaster. AMD:s bidrag till MLPerf visar att företaget deltar i standardiserade arbetslaststester. Ingen av dessa källor bevisar i sig den prisfördel jag räknar med.
Jämförelsen blir ekonomiskt relevant först när arbetslasten är fastställd. Om en accelerator kräver fler värdar, ett annat parallelliseringsupplägg eller längre reservationsåtaganden ska de kostnaderna räknas in i nämnaren. Ett annonserat pris som inte går att få tillgång till i den testade regionen bör inte avgöra resultatet. Detsamma gäller outnyttjad reserverad kapacitet och ett fördelaktigt riktmärkesresultat som bygger på hårdvara som kunderna i praktiken inte kan få tag på.
Jag bedömer säkerheten som måttlig eftersom teknisk konkurrenskraft och transparent ekonomi är två skilda trösklar. Testet kan gå att genomföra, samtidigt som kostnadsuppgifterna förblir kommersiellt hemliga. Det är också möjligt att en konkurrerande accelerator vinner i genomströmning men förlorar när det gäller enkel drift. Ett fullständigt beslutsunderlag bör redovisa återkommande infrastrukturkostnader och engångsinsatsen för migrering var för sig.
Vad du bör hålla utkik efter 2027
Håll utkik efter jämförelser som genomförs av andra organisationer än den vinnande chipleverantören och som använder kapacitet som går att köpa samt likvärdiga krav på kvalitet och latens. Det avgörande underlaget bör omfatta antaganden om värdar, nätverk, outnyttjad kapacitet och migrering. En övertygande acceleratorspecifikation utan en reproducerbar jämförelse av inferenskostnader skulle inte bevisa den ekonomiska prognosen.
Vad det här innebär för företag
Utforma utvärderingar av hårdvara utifrån en representativ modell och trafikprofil och beräkna sedan kostnaden för hela driftsättningen. Håll återkommande besparingar i driften åtskilda från kostnader för överföring, omskolning av personal och underhåll av ytterligare en programvarustack. En alternativ accelerator kan vara attraktiv för en viss tjänst utan att vara rätt plattform för alla arbetsbelastningar som företaget kör.
4. Agentbaserad benchmarkning kommer att ställa energiförbrukningen i relation till slutfört arbete
En agent kan förbruka energi medan den tänker, anropar verktyg, försöker igen och till slut misslyckas. Om man bara mäter ett inferenssteg missar man den helheten. I slutet av 2027 förväntar jag mig att traditionen av agentbaserade benchmarktester inom MLPerf ska väga uppmätt systemenergi mot arbete som slutförts framgångsrikt. Det skulle ge driftansvariga en bättre nämnare för en svår fråga: hur mycket infrastruktur kräver den här tjänsten för att producera något som kunden faktiskt kan använda?
En agent kan göra upprepade modell anrop, återvända till en lång kontext, anropa verktyg och försöka igen efter misslyckade steg. Ett energimått per token fångar bara en del av kostnaden för det beteendet. För en arbetsbelastning med flera steg är den relevanta enheten den slutförda uppgiften, med en tydligt angiven gräns för vilken infrastruktur som mäts.
Tillkännagivandet av v6.1 beskriver redan en växande konversationshistorik vid agentbaserad inferens, ett agentbaserat edge-test och arbete med benchmarkning av agentbaserade system i datacenter. Prognosen gäller därför ett ytterligare mätkrav, inte introduktionen av agentbaserade benchmarktester. Jag förväntar mig ett ökat tryck på att koppla dessa arbetsbelastningar till systemets energiförbrukning när köpare av inferenslösningar möter begränsningar i eltillgången.
IEA:s bedömning från 2026 ger ett bredare skäl att bry sig: sambandet mellan effektivitet och den totala efterfrågan beror på hur utbredd användningen är och på arbetsbelastningarnas komplexitet. En fråga som kräver ett kort svar och en långvarigt körande agent kan inte tilldelas samma representativa energikostnad. På samma sätt innebär inte en effektiv enskild accelerator att hela arbetsflödet är effektivt.
Den här prognosen har lägst säkerhet i artikeln, eftersom mätstandarder kräver samordning. Verktygstjänster kan köras utanför det system som mäts. Ett benchmarktest kan prioritera reproducerbarhet framför realism eller rapportera effekt utan att kräva att en uppgift klaras från början till slut. Det kan vara försvarbara konstruktionsval, men de skulle inte uppfylla just den här prognosen.
Vad du bör hålla utkik efter 2027
Håll utkik efter rapporter från agentbaserade benchmarktester där uppmätt energi ställs mot slutförda uppgifter och det framgår vilka komponenter som ingår i mätgränsen. Upprepade modellanrop, nya försök och misslyckade försök ska fortsatt redovisas. Om man bara rapporterar acceleratorns effekt eller energiförbrukning per token får köparna en ofullständig bild av kostnaden för en agent med flera steg.
Vad det här innebär för företag
Kapacitets- och hållbarhetsteamen bör enas om en användbar arbetsenhet innan de jämför energivärden. Följ upp hur många uppgifter som lyckas, vilka resurser som förbrukas av misslyckade försök och vilken infrastruktur som inte ingår i uppskattningen. Den redovisningen kan hjälpa teamen att avgöra om en mer kapabel agent också använder den tillgängliga elen och beräkningskapaciteten effektivt.
Svaret är den enhet som spelar roll
Den knappa resursen blir kapacitet som uppfyller tjänstens krav till en acceptabel kostnad. Snabbare chip kommer att spela roll, men det gör även en schemaläggare som slösar mindre, en minneslayout som passar arbetsbelastningen och en mätning som redovisar misslyckanden på ett rättvisande sätt. Nästa fördel inom datacenter kan vara mindre synlig än ett nytt rack – och få större konsekvenser för fakturan.












