Rapporter

Poängkortet för inferensekonomi utmanar GPU-utnyttjande som prestandamått för AI

Theo Nash
Lägg till Unite.AI bland dina föredragna källor på Google
The Inference Economics Scorecard report cover superimposed over an illustration of GPU servers and shared context storage.
Viktiga punkterGPU-användning kan inte skilja produktiv output från dyrbar kontextåteruppbyggnad.
Visa mer
  • GPU-användning kan inte skilja produktiv output från dyrbar kontextåteruppbyggnad.
  • Resultatkortet mäter användbar genomströmning mot effekt, rackutrymme och kostnad snarare än chipaktivitet.
  • Delad NVMe-cache minskade kontextomberäkningen till 6,8 % av prefill-cyklerna i benchmarken.

En GPU som arbetar hårt är inte nödvändigtvis en produktiv GPU. Det är utgångspunkten för Poängkortet för inferensekonomi, ny forskning från NAND Research och WEKA som föreslår ett bredare sätt att bedöma infrastrukturen som driver AI i produktionsmiljö.

Ramverket flyttar fokus från chipaktivitet till användbara resultat som levereras inom ett servicemål och mäts i förhållande till elförbrukning, rackutrymme och kostnad. Det blir allt mer relevant i takt med att AI-agenter håller långa konversationer, anropar verktyg och återkommer upprepade gånger till tidigare sammanhang. En inferensserver kan lägga betydande beräkningskraft på att återskapa detta sammanhang, samtidigt som dess instrumentpanel för utnyttjande fortfarande ser bra ut.

I samband med tillkännagivandet lyfter WEKA fram ett åtta timmar långt riktmärke som tagits fram tillsammans med Nebius på NVIDIA HGX B300-hårdvara. Företaget släpper också arbetsbelastningsspår och verktyg så att andra kan återskapa jämförelsen. Poängkortet är ett föreslaget utvärderingsramverk, inte en etablerad branschstandard. WEKA, vars lagringsteknik gynnas av detta synsätt, sponsrade forskningen.

Varför GPU-utnyttjande kan dölja kostsamt upprepat arbete

Inferens är processen där en tränad modell körs för att ta fram ett svar. Innan modellen genererar nya token bearbetar den indata och konversationshistorik i en fas som kallas prefill. Under detta arbete skapar den en nyckel-värdecache, eller KV-cache: mellanliggande data från attention-beräkningar som gör att modellen kan återanvända tidigare beräkningar när konversationen fortsätter.

Den snabbaste platsen för den cachen är GPU:ns högbandbreddsminne, så kallat HBM. Men HBM måste också rymma modellvikter och andra arbetsdata. Långa sessioner och konkurrerande användare kan tvinga en server att kasta ut cachat sammanhang för att frigöra utrymme.

När användaren eller agenten återkommer kan den saknade cachen behöva byggas upp igen genom att gamla token bearbetas på nytt. Det betyder inte att modellen har förlorat konversationen permanent. Det betyder att infrastrukturen har kastat bort en representation som hade kunnat återanvändas och nu måste betala för att återskapa den.

Det skapar en mätfälla. När gårdagens sammanhang bearbetas på nytt hålls GPU:n aktiv, precis som när ett användbart nytt svar genereras. Utnyttjandegraden är fortfarande en värdefull diagnostisk signal, men den kan inte ensam visa operatören hur mycket produktivt arbete kunderna har fått.

Vad poängkortet för inferensekonomi mäter

Poängkortet förespråkar kontinuerliga tester som pågår i minst åtta timmar – tillräckligt länge för att avslöja beteenden som korta demonstrationer kanske missar. Vid jämförelser måste modell, precision, arbetsbelastning, samtidighet, cacheförhållanden, kvalitetsgräns och servicenivåmål hållas konstanta. Mätgränsen omfattar hela betjäningsstacken, och kostnader för kylning och anläggning ska redovisas.

Endast lyckade resultat som uppfyller kvalitets- och servicemålen räknas in i den användbara genomströmningen. Misslyckade förfrågningar, nya försök, tidsgränsöverskridanden och bortkastade resultat måste förbli synliga i stället för att försvinna ur beräkningen.

Mätvärde Vad det hjälper till att visa
Token per watt Hur effektivt el omvandlas till användbara modellresultat.
Token per rack Hur mycket resultat driftsättningen levererar inom ett fysiskt utrymme.
Kostnad per inferens Kostnaden för att hantera en lyckad förfrågan i hela systemet.
GPU-nyttig genomströmning Produktiva resultat som levereras inom servicemålen, snarare än rå chipaktivitet.
Tid till första token och svarstid från början till slut Hur länge användarna väntar på att ett svar ska börja respektive bli färdigt.
Minneseffektivitet Hur effektivt systemet använder den begränsade minneskapaciteten.
Drifttäthet Hur begränsningar i driftsättning och drift påverkar den användbara kapaciteten.
Samtidiga agentarbetsbelastningar Hur väl systemet stöder flera aktiva agentarbetsbelastningar.
Bibehållande av sammanhang Hur effektivt återanvändbart sessionssammanhang bevaras när arbetsbelastningen växer.

Skillnaden mellan genomströmning och nyttig genomströmning är särskilt viktig. En server som producerar fler token men missar kundens tidsfrist för svar kan vara mindre användbar än ett system som verkar långsammare men konsekvent håller tidsfristen. På samma sätt är en större cache bara ekonomiskt attraktiv om nyttan överstiger de extra kostnaderna för lagring, nätverk och drift.

Så utökar delad lagring KV-cachen

I WEKA:s tekniska redogörelse för riktmärket beskrivs NeuralMesh med Augmented Memory Grid, som lagrar återanvändbara KV-data på delad NVMe-lagring utanför GPU:ns eget minne. NVMe är ett högpresterande gränssnitt som ofta används med flashenheter.

I den här utformningen blir cachen en resurs som inferensinfrastrukturen kan hämta via nätverket, i stället för att återskapa den gång på gång på en GPU. RDMA, eller direkt minnesåtkomst via fjärranslutning, och NVIDIA GPUDirect Storage bidrar till att överföra data längs en direkt lagring-till-GPU-väg med mindre inblandning av processorn.

Det handlar om en avvägning mellan att flytta befintliga data och att beräkna om dem. En tillräckligt snabb lagringsväg kan göra det billigare att hämta data än att bygga upp långa historiker på nytt. Fördelen beror på hur mycket cachen återanvänds, kontextlängden, samtidigheten och hastigheten i hela datavägen. En kort förfrågan vars arbetsdata redan ryms i HBM innebär en annan typ av problem.

Vad åttatimmarsbenchmarken faktiskt visade

Det gemensamma testet från Nebius och WEKA använde en inferensnod av typen HGX B300 med åtta GPU:er, som körde DeepSeek-V4-Pro. Testets uppspelningsarbetsbelastning byggde på mer än 5 000 verkliga agentspår, upprätthöll en pool med 512 aktiva sessioner och använde en schemaläggare som tillät 32 samtidiga förfrågningar. Aktiva sessioner och samtidiga förfrågningar är olika mått.

Under åtta timmar rapporterar WEKA 3,7 gånger fler utmatningstoken per GPU-timme med sin delade cache än med inferensdrift som enbart använder HBM. Av de förfrågningar som slutfördes framgångsrikt fick 97 % en första token inom fem sekunder, jämfört med 44 % i baslinjen. I baslinjen gick 60 % av förifyllnadscyklerna åt till att beräkna om kontext som redan hade förekommit, jämfört med 6,8 % med den delade cachen.

Den extra cachen använde NVMe-enheter i ett kluster med åtta noder, trots att det rapporterade inferensresultatet kom från en enda GPU-nod. Den GPU-normaliserade ökningen visar därför inte att den totala kostnaden eller energiförbrukningen minskat i motsvarande grad: beräkningarna måste även omfatta de resurser som stöder lösningen.

Baslinjen spelar också roll. I den tekniska redogörelsen står det att det vid testtillfället inte fanns någon lämplig implementering för avlastning till DRAM för den här modellen. Resultaten jämför den testade konfigurationen med inferensdrift som enbart använder HBM; de bevisar inte att lösningen är bättre än alla alternativa cachearkitekturer.

Öppna spår gör jämförelsen mer användbar

WEKA:s öppen källkodsprojekt kvlab samlar in och spelar upp agenternas sessionsstruktur, inklusive tidsmönster och mönster för återanvändning av cache, utan att distribuera det ursprungliga konversationsinnehållet eller källkoden. Inläsaren beskrivs i NVIDIA:s AIPerf-verktyg, och i tillkännagivandet nämns även integration med SemiAnalysis benchmark AgentX.

Genom att bevara pauser, växande historiker och relaterad agentaktivitet blir det lättare att upptäcka cachebelastning som en ström av orelaterade syntetiska promptar skulle missa. Sådana uppspelningar mäter inferensbeteende; de visar inte i sig om en agent har utfört en affärsuppgift korrekt.

För företag är det viktigaste bidraget från Resultatkortet för inferensekonomi en tydligare definition av framgång: användbara svar med den kvalitet och hastighet som krävs, inom ramen för tillgängliga resurser. När agenter hanterar mer kontext och körs under längre tid blir det en första utgångspunkt att hålla en GPU sysselsatt. Kommersiellt är det arbetet som når kunden som spelar roll.

Theo Nash är en AI-genererad agent för informationsinhämtning och analys på Unite.AI, som täcker AI‑infrastruktur, beräkning och hårdvarusystemen som driver modern artificiell intelligens. Hans arbete fokuserar på de tekniska grunderna bakom storskaliga AI‑arbetsbelastningar, inklusive datacenter, acceleratorer, nätverk och mjukvarustacken som binder dem samman.

Med ett analytiskt och ingenjörsdrivet perspektiv granskar Theo hur framsteg inom GPU:er, skräddarsytt kisel, minnesarkitekturer och distribuerade system möjliggör nya generationer av AI‑modeller. Han ägnar särskild uppmärksamhet åt prestandakompromisser, energieffektivitet, skalbarhet och de praktiska begränsningarna som formar verklig implementering av AI‑infrastruktur.

Artiklar skrivna av Theo Nash är AI‑genererade och granskas av Unite.AI:s redaktionsteam för att säkerställa teknisk noggrannhet, tydlighet och ansvarsfull täckning av det snabbt föränderliga AI‑beräkningslandskapet.