AI-modellen en platforms
AI-rekenkracht in 2027: de kosten van inferentie zullen het datacenter hervormen

Belangrijkste puntenSoftware-upgrades kunnen 30% meer doorvoer realiseren op al geïnstalleerde accelerators…
Meer weergeven
- Software-upgrades kunnen 30% meer doorvoer realiseren op al geïnstalleerde accelerators binnen vaste latentiedoelen.
- Het scheiden van prefill van decode loont alleen wanneer de verkeersvorm de extra netwerk- en operationele complexiteit rechtvaardigt.
- Alternatieve accelerators kunnen geselecteerde serving-workloads winnen zodra vergelijkingen migratie- en operationele kosten meenemen.
Een datacenter kan vol staan met dure versnellers en toch niet genoeg bruikbare capaciteit hebben. Sommige chips wachten op geheugen. Andere verwerken aanvragen die hun latentiedoel niet halen. Een benchmark kan er uitstekend uitzien terwijl de servicekosten blijven stijgen. De hardware bezitten is nog maar het begin van het economische vraagstuk.
In 2027 zal de strijd om rekenkracht vaker draaien om wat elk geïnstalleerd systeem kan leveren onder de omstandigheden die klanten daadwerkelijk vereisen. Daardoor verschuift de aandacht naar serveersoftware, de plaatsing van workloads en de kosten van een acceptabel antwoord.
De basis ontwikkelt zich al snel. MLPerf Inference v6.1, uitgebracht in september 2026, voegde end-to-end retrieval-augmented generation en een agentische edge-workload toe. Ook beschreef het de overgang naar de API-gerichte suite Endpoints. Dit toont aan dat benchmarkontwerpers zich aanpassen aan workloads met meerdere fasen; het betekent niet dat elke AI-toepassing met één benchmarkscore kan worden weergegeven.
Ondertussen beschrijft de energieanalyse voor 2026 van het IEA de spanning tussen efficiëntiewinst per taak en de groei van veeleisender toepassingen. Het meldt dat het elektriciteitsverbruik van datacenters stijgt en benadrukt de onzekerheid die veranderende workloads met zich meebrengen. De conclusie die ik hieruit trek, is dat dalende kosten per eenheid de concurrentie rond systeemontwerp zullen verscherpen, terwijl stroomvoorziening en geheugen belangrijke beperkingen blijven. Die dalende kosten zullen de totale infrastructuurkosten niet automatisch doen dalen.
1. Software zal een nieuwe aanzienlijke prestatiewinst mogelijk maken op hardware die al is geïnstalleerd
De volgende capaciteitsuitbreiding komt mogelijk in de vorm van een software-implementatie. Planningssoftware, geheugenbeheer en uitvoeringskernels kunnen veranderen hoeveel werk een geïnstalleerde versneller verzet, zonder de chip zelf te veranderen. Ik verwacht in 2027 een reproduceerbaar resultaat dat op de hier vastgelegde hardware en met het hier vastgelegde model ten minste 30% meer doorvoer binnen de latentiedoelstelling laat zien. Het interessante zakelijke gevolg is extra bruikbare capaciteit dankzij een aankoop die de operator al heeft gedaan.
Het economische voordeel is duidelijk. Geïnstalleerde hardware brengt capaciteitskosten met zich mee, ongeacht of de scheduler die efficiënt benut. Betere batching, kerneluitvoering, geheugentoewijzing en routering van aanvragen kunnen de hoeveelheid bruikbare output verhogen zonder extra versnellers toe te voegen. Dat is vooral waardevol wanneer voor een nieuw rack ook meer stroom, koeling of netwerkcapaciteit nodig zou zijn.
Het oorspronkelijke onderzoek naar PagedAttention laat zien waarom geheugenbeheer deel uitmaakt van de discussie over prestaties: inefficiënt beheer van de key-value-cache kan capaciteit verspillen en batching beperken. De historische resultaten ervan mogen niet worden opgevat als een universele snelheidswinst op huidige systemen. Ze tonen aan hoe het mechanisme werkt, niet hoe groot de volgende winst zal zijn.
Er zijn actuele aanwijzingen dat er nog ruimte voor verbetering is. In zijn analyse van inzendingen voor v6.1 meldt AMD een hogere doorvoer op dezelfde MI355X-hardware tussen benchmarkrondes, waaronder een prestatieverbetering van 38% in Server met de gespecificeerde GPT-OSS-120B-configuratie. Die vergelijking van de leverancier betreft een ander model dan het model waarop mijn voorspelling is gebaseerd. Ze ondersteunt de stelling dat verdere softwareontwikkeling nog steeds van belang is, maar bewijst niet dat een winst van 30% op Llama 3.1 8B gegarandeerd is.
De vaste workload in deze voorspelling is bewust gekozen. De bewering dat een systeem meer tokens produceert na de overstap op een kleiner model, een lagere kwaliteit of een ruimere latentiedoelstelling vertelt een ander economisch verhaal. Bij de test moeten die keuzes ongewijzigd blijven. De gepubliceerde reproductierecepten van AMD laten op nuttige wijze zien hoe software- en configuratiedetails openbaar kunnen worden gemaakt, al moeten recepten van leveranciers nog steeds onafhankelijk worden gecontroleerd.
Waarop u in 2027 moet letten
Let op benchmarks voor serving die de doorvoer op reeds geïnstalleerde hardware verbeteren, terwijl het model, de antwoordkwaliteit en de eisen aan de reactietijd gelijk blijven. Gepubliceerde configuraties en latencyverdelingen maken zulke verbeteringen gemakkelijker te beoordelen. Resultaten die zijn behaald met kleinere modellen, lagere precisie zonder kwaliteitscontroles of soepelere latentiedoelstellingen zouden een andere bewering ondersteunen.
Wat dit betekent voor bedrijven
Kopers van infrastructuur moeten meten hoeveel onbenutte capaciteit hun huidige serving-stack heeft voordat ze besluiten meer versnellers aan te schaffen. Vergelijk de kosten van software-upgrades, afstemming en operationele ondersteuning met de capaciteit die daarmee kan worden vrijgemaakt. Gebruik bij uitbreidingsbesluiten het aantal geaccepteerde aanvragen binnen de servicenormen van de toepassing, zodat een hoger geadverteerd aantal tokens per seconde geen slechtere klantervaring verhult.
2. Uitsplitsing zal haar waarde bewijzen met economie die is afgestemd op specifieke workloads
Een lange prompt lezen en een antwoord genereren stellen verschillende eisen aan een serving-systeem. Beide taken op dezelfde hardware uitvoeren is handig, maar dat gemak kan ertoe leiden dat dure middelen slecht op het werk zijn afgestemd. In 2027 zullen concrete aanbieders laten zien waar het scheiden van die fasen een aanzienlijke toename oplevert van het aantal aanvragen dat per versnelleruur wordt verwerkt. Het resultaat hangt af van het verkeerspatroon: een betere architectuur voor de ene dienst kan voor een andere een onnodige complicatie zijn.
Prefill verwerkt de binnenkomende context. Decoderen genereert het antwoord token voor token. De benodigde middelen en latentiedoelen verschillen, waardoor een gedeelde pool tot onderlinge verstoring kan leiden of overcapaciteit noodzakelijk kan maken. Door de fasen op te splitsen, kunnen middelen afzonderlijk worden toegewezen, maar daar komen de kosten bij van het verplaatsen van de status tussen de fasen.
DistServe formaliseerde die afweging aan de hand van goodput: werk dat binnen de latentiebeperkingen van de dienst wordt voltooid. De gerapporteerde verbeteringen kwamen voort uit specifieke geteste workloads en omstandigheden. Ze mogen niet worden opgevat als een algemene vermenigvuldigingsfactor voor elk productiecluster. De netwerktopologie, contextlengte, uitvoerlengte en variatie in het verkeer bepalen of de opsplitsing zichzelf terugverdient.
In 2026 is dit meer dan een onderzoeksvoorstel. NVIDIA Dynamo omvat een planner, cachebewuste routering en overdrachtscomponenten voor gedistribueerde inferentie. De analyse van multimodale ontkoppeling van NVIDIA is deels nuttig omdat die aangeeft onder welke omstandigheden de voordelen afnemen of een topologie minder goed presteert. Een leverancier die ook de omstandigheden beschrijft waarin de aanpak minder goed werkt, biedt afnemers een bruikbaarder uitgangspunt dan één enkele maximale snelheidswinst.
Mijn voorspelling geldt alleen als de juiste workloads voldoende schaal bereiken. Lange prompts en een wisselende vraag kunnen genoeg planningsproblemen opleveren om een complexere servingarchitectuur te rechtvaardigen. Kleine, stabiele workloads kunnen mogelijk goedkoper worden bediend door het systeem eenvoudig te houden. Het opsplitsen van fasen is daarom een beslissing over capaciteitsbeheer, met software- en operationele kosten die moeten worden terugverdiend.
Waarop u in 2027 moet letten
Let op resultaten die operators publiceren op basis van echte verzoekmixen, met inbegrip van lange prompts, wisselende vraag en de kosten van het verplaatsen van de status tussen inferentiefasen. De voordelen moeten zichtbaar blijven wanneer alle gereserveerde accelerators en de overhead van gegevensoverdracht worden meegerekend. Implementaties die de complexiteit vergroten zonder de hoeveelheid nuttig werk per capaciteitseenheid te verhogen, zouden de onderbouwing voor ontkoppeling verzwakken.
Wat dit betekent voor bedrijven
Beschouw de scheiding tussen prefill en decoderen als een architectuurkeuze die u aan de hand van uw eigen verkeerspatronen moet valideren. Teams moeten de extra eisen op het gebied van netwerken, planning en beheer in kaart brengen voordat ze de aanpak invoeren. Grote, wisselende workloads kunnen die inspanning rechtvaardigen; bij kleinere diensten moet eerst blijken dat de extra componenten hun kosten onder normale bedrijfsomstandigheden terugverdienen.
3. Alternatieve accelerators zullen geselecteerde servingworkloads winnen dankzij transparante kosten
Een goedkopere accelerator is alleen een koopje als het voltooide antwoord aanvaardbaar is en op tijd wordt geleverd. Daardoor blijft er ruimte voor alternatieven voor NVIDIA bij geselecteerde workloads, ook al zijn de volwassenheid van de software en de beschikbaarheid nog altijd grote voordelen van de gevestigde marktleider. Ik verwacht dat onafhankelijke vergelijkingen in 2027 een aanzienlijk kostenvoordeel zullen aantonen voor twee verschillende alternatieve productfamilies. Dat voordeel moet standhouden wanneer ook de migratie- en operationele details worden meegewogen die op een specificatieblad voor een chip ontbreken.
Dit is een voorspelling over specifieke gebruikssituaties, geen voorspelling dat het platform als geheel wordt vervangen. Een servingstack kan aantrekkelijk zijn voor het ene model en verkeerspatroon, maar ongeschikt voor een ander. De inspanning voor het overzetten, de vertrouwdheid van operators, ondersteunde kernels en de beschikbaarheid van bruikbare instanties kunnen zwaarder wegen dan gunstige hardwarespecificaties.
Verschillende leveranciers bieden al aanzienlijke alternatieven. De documentatie over Ironwood van Google vermeldt de capaciteit en bandbreedte van het geheugen met hoge bandbreedte, evenals kenmerken van de interconnect. De aankondiging van de beschikbaarheid van Trainium3 van AWS beschrijft een platform dat is ontworpen voor workloads met een hoge dichtheid en parallelle verwerking door experts. De MLPerf-inzendingen van AMD tonen deelname aan gestandaardiseerde workloads aan. Geen van deze bronnen bewijst op zichzelf het kostenvoordeel in mijn voorspelling.
De vergelijking wordt pas economisch betekenisvol als de workload vaststaat. Als een accelerator meer hosts, een andere vorm van parallelle verwerking of langere reserveringsverplichtingen vereist, horen die kosten in de noemer. Een geadverteerde prijs die in de geteste regio niet daadwerkelijk kan worden betaald, mag de uitkomst niet bepalen. Hetzelfde geldt voor ongebruikte gereserveerde capaciteit en een gunstige benchmark die is samengesteld met hardware die klanten in werkelijkheid niet kunnen krijgen.
Ik heb redelijk vertrouwen in deze voorspelling, omdat technische concurrentiekracht en transparante kosten twee afzonderlijke obstakels vormen. De test kan haalbaar zijn, terwijl de kostengegevens commercieel vertrouwelijk blijven. Ook kan een concurrerende accelerator winnen op doorvoersnelheid, maar verliezen op operationele eenvoud. Een volledige afweging moet terugkerende infrastructuurkosten en eenmalige migratie-inspanningen afzonderlijk weergeven.
Waarop u in 2027 moet letten
Let op vergelijkingen die zijn uitgevoerd door andere organisaties dan de leverancier van de winnende chip, met capaciteit die daadwerkelijk te koop is en gelijkwaardige eisen voor kwaliteit en latentie. De doorslaggevende onderbouwing omvat aannames over hosts, netwerken, ongebruikte capaciteit en migratie. Zonder een reproduceerbare vergelijking van servingkosten blijft een overtuigende acceleratorspecificatie onvoldoende bewijs voor de economische voorspelling.
Wat dit betekent voor bedrijven
Baseer hardwarebeoordelingen op een representatief model en verkeerspatroon en bereken vervolgens de kosten van de volledige implementatie. Houd terugkerende operationele besparingen gescheiden van de kosten voor het overzetten, het omscholen van personeel en het onderhouden van een extra softwarestack. Een alternatieve accelerator kan aantrekkelijk zijn voor een specifieke dienst zonder daarmee het juiste platform te zijn voor elke workload die het bedrijf uitvoert.
4. Agentische benchmarks zetten energieverbruik af tegen afgerond werk
Een agent kan energie verbruiken terwijl die nadenkt, tools aanroept, het opnieuw probeert en uiteindelijk faalt. Wie één inferentiestap meet, ziet dat hele verhaal over het hoofd. Tegen eind 2027 verwacht ik dat de lijn van agentische benchmarks van MLPerf het gemeten energieverbruik van het systeem zal afzetten tegen succesvol afgerond werk. Dat zou beheerders een betere noemer geven voor een lastige vraag: hoeveel infrastructuur verbruikt deze dienst om iets te produceren dat de klant daadwerkelijk kan gebruiken?
Een agent kan herhaaldelijk modellen aanroepen, teruggrijpen op een lange context, tools gebruiken en mislukte stappen opnieuw proberen. Een energiecijfer per token geeft slechts een deel van de kosten van dat gedrag weer. Voor een workload met meerdere stappen is de relevante eenheid de afgeronde taak, met een duidelijk afgebakende grens rond de infrastructuur die wordt gemeten.
De aankondiging van versie 6.1 beschrijft al een groeiende conversatiegeschiedenis bij agentische inferentie, een agentische edge-test en werk aan agentische benchmarking in datacenters. De voorspelling betreft dus een aanvullende meetvereiste, niet de introductie van agentische benchmarks. Ik verwacht dat de druk toeneemt om die workloads te koppelen aan het energieverbruik van het systeem, nu kopers van inferentieoplossingen te maken krijgen met beperkingen op het gebied van stroomvoorziening.
De beoordeling uit 2026 van het IEA geeft de bredere reden om dit belangrijk te vinden: de verhouding tussen efficiëntie en de totale vraag hangt af van de mate van ingebruikname en de complexiteit van de workload. Een vraag die met een kort antwoord kan worden afgehandeld en een agent die langdurig actief is, kunnen niet hetzelfde representatieve energieverbruik krijgen toegewezen. Ook bewijst een efficiënte afzonderlijke accelerator niet dat de volledige workflow efficiënt is.
Deze voorspelling heeft in dit artikel de laagste mate van zekerheid, omdat meetstandaarden coördinatie vereisen. Tools kunnen draaien buiten het gemeten systeem. Een benchmark kan reproduceerbaarheid boven realisme stellen, of het vermogen rapporteren zonder als voorwaarde te stellen dat de taak van begin tot eind succesvol wordt afgerond. Dat kunnen verdedigbare ontwerpkeuzes zijn, maar ze zouden niet aan deze specifieke voorspelling voldoen.
Waar je in 2027 op moet letten
Let op rapporten over agentische benchmarks die het gemeten energieverbruik afzetten tegen afgeronde taken en toelichten welke onderdelen binnen de meetgrens vallen. Herhaalde modelaanroepen, nieuwe pogingen en mislukte pogingen moeten zichtbaar blijven. Als alleen het vermogen van de accelerator of het energieverbruik per token wordt gerapporteerd, krijgen kopers geen volledig beeld van de kosten van een agent met meerdere stappen.
Wat dit betekent voor bedrijven
Teams voor capaciteitsplanning en duurzaamheid moeten het eens worden over een bruikbare werkeenheid voordat ze energiecijfers vergelijken. Houd bij hoeveel taken slagen, hoeveel middelen mislukte pogingen verbruiken en welke infrastructuur buiten de schatting blijft. Die boekhouding kan teams helpen bepalen of een capabelere agent ook efficiënt gebruikmaakt van de beschikbare stroom- en computercapaciteit.
De juiste eenheid is wat telt
De schaarse hulpbron wordt capaciteit die tegen aanvaardbare kosten aan de servicevereisten voldoet. Snellere chips blijven belangrijk, maar ook een scheduler die minder verspilt, een geheugenindeling die bij de workload past en een meetmethode die mislukkingen eerlijk meetelt. Het volgende voordeel in het datacenter is mogelijk minder zichtbaar dan een nieuw rack, maar heeft grotere gevolgen voor de rekening.












