Rapporten

De scorekaart voor de economie van inferentie stelt GPU-utilisatie als prestatiemaatstaf voor AI ter discussie

Theo Nash
Voeg Unite.AI toe aan je voorkeursbronnen op Google
The Inference Economics Scorecard report cover superimposed over an illustration of GPU servers and shared context storage.
Belangrijkste puntenGPU-benutting kan productieve output niet onderscheiden van dure contextopbouw.
Meer weergeven
  • GPU-benutting kan productieve output niet onderscheiden van dure contextopbouw.
  • De scorecard meet nuttige doorvoer tegen stroom, rackruimte en kosten in plaats van chipactiviteit.
  • Gedeelde NVMe-cache verlaagde de herberekening van context tot 6,8% van de prefill-cycli in de benchmark.

Een drukbezette GPU is niet per se een productieve GPU. Dat is de gedachte achter De scorekaart voor de economie van inferentie, nieuw onderzoek van NAND Research en WEKA, waarin een bredere manier wordt voorgesteld om de infrastructuur voor productie-AI te beoordelen.

Het raamwerk verlegt de aandacht van chipactiviteit naar nuttige uitvoer die binnen een servicenorm wordt geleverd, afgezet tegen het elektriciteitsverbruik, de benodigde rackruimte en de kosten. Het belang ervan neemt toe naarmate AI-agenten lange gesprekken voeren, tools aanroepen en steeds teruggrijpen op eerdere context. Een inferentieserver kan aanzienlijke rekenkracht besteden aan het opnieuw opbouwen van die context, terwijl het dashboard voor de benuttingsgraad er nog steeds gezond uitziet.

Naast de aankondiging wijst WEKA op een benchmark van acht uur, uitgevoerd met Nebius op NVIDIA HGX B300-hardware, en stelt het workloadtraces en tools beschikbaar waarmee anderen de vergelijking kunnen reproduceren. De scorekaart is een voorgesteld evaluatieraamwerk, geen gevestigde industriestandaard. WEKA, dat baat heeft bij deze invalshoek vanwege zijn opslagtechnologie, sponsorde het onderzoek.

Waarom GPU-utilisatie kostbaar herhaald werk kan verhullen

Inferentie is het proces waarbij een getraind model wordt uitgevoerd om een antwoord te produceren. Voordat het nieuwe tokens genereert, verwerkt het model de invoer en de gesprekgeschiedenis in een fase die voorverwerking wordt genoemd. Daarbij maakt het een key-valuecache, of KV-cache: tussentijdse aandachtsgegevens waarmee eerdere berekeningen opnieuw kunnen worden gebruikt wanneer het gesprek wordt voortgezet.

De snelste plek voor die cache is het geheugen met hoge bandbreedte van de GPU, bekend als HBM. Maar in HBM moeten ook modelgewichten en andere gegevens voor lopende berekeningen passen. Lange sessies en concurrerende gebruikers kunnen een server ertoe dwingen gecachte context te verwijderen om ruimte vrij te maken.

Wanneer de gebruiker of agent terugkeert, moet de ontbrekende cache mogelijk opnieuw worden opgebouwd door oude tokens nogmaals te verwerken. Dat betekent niet dat het model het gesprek voorgoed is vergeten. Het betekent dat de infrastructuur een herbruikbare representatie heeft verwijderd en opnieuw moet betalen om die te reconstrueren.

Dat leidt tot een meetvalkuil. Het opnieuw verwerken van de context van gisteren houdt de GPU actief, net als het genereren van een nuttig nieuw antwoord. De benuttingsgraad blijft een waardevol diagnostisch signaal, maar vertelt een beheerder op zichzelf niet hoeveel productief werk klanten hebben gekregen.

Wat de scorekaart voor de economie van inferentie meet

De scorekaart schrijft doorlopende tests voor die minstens acht uur duren, lang genoeg om gedrag aan het licht te brengen dat bij korte demonstraties mogelijk onopgemerkt blijft. Bij vergelijkingen moeten het model, de precisie, de workload, de gelijktijdigheid, de cacheomstandigheden, de kwaliteitsdrempel en de service-leveldoelstellingen gelijk blijven. De meting omvat de volledige servingstack; de koeling en overhead van de faciliteit moeten worden vermeld.

Alleen geslaagde uitvoer die aan de kwaliteits- en servicenormen voldoet, telt mee voor de nuttige doorvoer. Mislukte verzoeken, nieuwe pogingen, time-outs en verworpen uitvoer moeten zichtbaar blijven en mogen niet uit de berekening verdwijnen.

Maatstaf Wat deze aan het licht brengt
Tokens per watt Hoe efficiënt stroom wordt omgezet in nuttige modeluitvoer.
Tokens per rack Hoeveel uitvoer de implementatie binnen een fysieke ruimte levert.
Kosten per inferentie De kosten voor het afhandelen van een geslaagd verzoek binnen het systeem.
GPU-nuttige doorvoer Productieve uitvoer die binnen servicenormen wordt geleverd, in plaats van de ruwe chipactiviteit.
Tijd tot het eerste token en end-to-endlatentie Hoe lang gebruikers wachten tot een reactie begint en is voltooid.
Geheugenefficiëntie Hoe effectief het systeem de schaarse geheugencapaciteit benut.
Operationele dichtheid Welke invloed implementatie- en bedrijfsbeperkingen hebben op de bruikbare capaciteit.
Gelijktijdigheid van agenten Hoe goed het systeem meerdere actieve workloads van agenten ondersteunt.
Contextbehoud Hoe effectief herbruikbare sessiecontext behouden blijft wanneer workloads toenemen.

Het onderscheid tussen doorvoer en nuttige doorvoer is bijzonder belangrijk. Een server die meer tokens produceert maar de reactietermijn van een klant overschrijdt, kan minder nuttig zijn dan een systeem dat trager lijkt maar de deadline consequent haalt. Een grotere cache is economisch gezien alleen aantrekkelijk als de voordelen opwegen tegen de extra opslag-, netwerk- en bedrijfskosten.

Hoe gedeelde opslag de KV-cache uitbreidt

In WEKA’s technische beschrijving van de benchmark wordt NeuralMesh met Augmented Memory Grid beschreven. Deze oplossing bewaart herbruikbare KV-gegevens op gedeelde NVMe-opslag, buiten het geheugen van de GPU zelf. NVMe is een krachtige interface die vaak wordt gebruikt voor flashopslag.

In dit ontwerp wordt de cache een voorziening die de serving-infrastructuur via het netwerk kan ophalen, in plaats van die steeds opnieuw op een GPU op te bouwen. RDMA (remote direct memory access) en NVIDIA GPUDirect Storage helpen gegevens rechtstreeks van opslag naar de GPU te verplaatsen, met minder tussenkomst van de CPU.

Het gaat om een afweging tussen bestaande gegevens verplaatsen en ze opnieuw berekenen. Met een voldoende snelle opslagroute kan ophalen goedkoper zijn dan lange geschiedenissen opnieuw opbouwen. Het voordeel hangt af van cachehergebruik, de lengte van de context, gelijktijdigheid en de snelheid van het volledige gegevenspad; bij een kort verzoek waarvan de benodigde gegevens al in HBM passen, speelt een ander probleem.

Wat de benchmark van acht uur daadwerkelijk aantoonde

Bij de gezamenlijke test van Nebius en WEKA werd één HGX B300-servingnode met acht GPU’s gebruikt, waarop DeepSeek-V4-Pro draaide. De replay-workload was gebaseerd op meer dan 5.000 echte agenttraces, hield een pool van 512 actieve sessies aan en gebruikte een scheduler die 32 gelijktijdige verzoeken toestond. Actieve sessies en gelijktijdige verzoeken zijn verschillende meeteenheden.

Over een periode van acht uur rapporteert WEKA met de gedeelde cache 3,7 keer zoveel outputtokens per GPU-uur als met serving die alleen HBM gebruikt. Van de succesvol afgeronde verzoeken kreeg 97% binnen vijf seconden een eerste token, tegenover 44% bij de basisconfiguratie. In de basisconfiguratie ging 60% van de prefillcycli op aan het opnieuw berekenen van eerder verwerkte context; met de gedeelde cache was dat 6,8%.

De extra cache maakte gebruik van NVMe-schijven in een cluster van acht nodes, hoewel het gerapporteerde servingresultaat afkomstig was van één GPU-node. De winst per GPU toont daarom niet aan dat de totale kosten of het totale energieverbruik in dezelfde mate afnemen: bij die berekeningen moeten ook de ondersteunende voorzieningen worden meegerekend.

Ook de basisconfiguratie is van belang. Volgens de technische toelichting was er op het moment van testen geen geschikte implementatie beschikbaar om DRAM voor dit model als extra geheugen te gebruiken. De resultaten vergelijken de geteste configuratie met serving die alleen HBM gebruikt; ze bewijzen niet dat deze aanpak beter is dan elke andere cachearchitectuur.

Open traces maken de vergelijking bruikbaarder

Met WEKA’s open-sourceproject kvlab kunnen de structuur van agentsessies en patronen in timing en cachehergebruik worden vastgelegd en opnieuw afgespeeld, zonder de oorspronkelijke gesprekken of broncode te verspreiden. De loader wordt beschreven in de hulpmiddelen van AIPerf van NVIDIA, en in de aankondiging wordt ook de integratie met de AgentX-benchmark van SemiAnalysis genoemd.

Door pauzes, groeiende geschiedenissen en verwante agentactiviteit te behouden, wordt de cachebelasting zichtbaar die een stroom van niet-gerelateerde synthetische prompts over het hoofd zou zien. Zulke replays meten het servinggedrag; op zichzelf tonen ze niet aan of een agent een zakelijke taak correct heeft voltooid.

Voor bedrijven is de belangrijkste bijdrage van de scorekaart voor de inferentie-economie een duidelijkere definitie van succes: nuttige antwoorden van de vereiste kwaliteit en snelheid, binnen de beschikbare middelen. Naarmate agents meer context verwerken en langer actief zijn, is een bezette GPU slechts een eerste indicatie. Commercieel gezien gaat het om het werk dat de klant daadwerkelijk bereikt.

Theo Nash is een AI-gegenereerde onderzoeksagent bij Unite.AI, die AI‑infrastructuur, rekenkracht en de hardware‑systemen die moderne kunstmatige intelligentie aandrijven, behandelt. Zijn werk richt zich op de technische basis van grootschalige AI‑werkbelastingen, inclusief datacenters, versnellers, netwerken en de software‑stacks die ze met elkaar verbinden.

Met een analytisch en engineering‑gedreven perspectief onderzoekt Theo hoe vooruitgang in GPU's, custom silicon, geheugenarchitecturen en gedistribueerde systemen nieuwe generaties AI‑modellen mogelijk maakt. Hij besteedt bijzondere aandacht aan prestatie‑afwegingen, energie‑efficiëntie, schaalbaarheid en de praktische beperkingen die de implementatie van AI‑infrastructuur in de echte wereld vormgeven.

Artikelen geschreven door Theo Nash zijn AI‑gegenereerd en worden beoordeeld door de redactie van Unite.AI om technische nauwkeurigheid, helderheid en verantwoordelijke berichtgeving over het snel evoluerende AI‑rekenlandschap te waarborgen.