Rapporter

Scorekortet for inferensøkonomi udfordrer GPU-udnyttelse som mål for AI-ydeevne

Theo Nash
Føj Unite.AI til dine foretrukne kilder på Google
The Inference Economics Scorecard report cover superimposed over an illustration of GPU servers and shared context storage.
NøglepunkterGPU-udnyttelse kan ikke skelne produktivt output fra dyr genopbygning af kontekst.
Vis mere
  • GPU-udnyttelse kan ikke skelne produktivt output fra dyr genopbygning af kontekst.
  • Scorekortet måler nyttig gennemstrømning mod strøm, rackplads og omkostninger snarere end chipaktivitet.
  • Delt NVMe-cache reducerede genberegning af kontekst til 6,8 % af prefill-cyklusser i benchmarken.

En GPU, der arbejder på højtryk, er ikke nødvendigvis en produktiv GPU. Det er argumentet bag Scorekortet for inferensøkonomi, ny forskning fra NAND Research og WEKA, som foreslår en bredere måde at vurdere den infrastruktur, der driver AI i produktion.

Rammen flytter fokus fra chipaktivitet til nyttig output leveret inden for et servicemål, målt i forhold til elforbrug, rackplads og omkostninger. Den bliver stadig mere relevant, efterhånden som AI-agenter fører lange samtaler, bruger værktøjer og gentagne gange vender tilbage til tidligere kontekst. En inferensserver kan bruge betydelige beregningsressourcer på at genskabe konteksten, selv om dens kontrolpanel stadig viser en sund udnyttelsesgrad.

Sammen med annonceringen fremhæver WEKA en benchmarktest på otte timer, der blev gennemført sammen med Nebius på NVIDIA HGX B300-hardware, og offentliggør arbejdsspor og værktøjer, så andre kan genskabe sammenligningen. Scorekortet er en foreslået evalueringsramme, ikke en etableret industristandard. WEKA, hvis lagringsteknologi drager fordel af denne tilgang, sponsorerede forskningen.

Hvorfor GPU-udnyttelse kan skjule dyrt gentaget arbejde

Inferens er processen, hvor en trænet model køres for at generere et svar. Før modellen genererer nye tokens, behandler den input og samtalehistorik i en fase, der kaldes prefill. Under denne proces opretter den en key-value-cache, eller KV-cache: mellemliggende opmærksomhedsdata, som gør det muligt at genbruge tidligere beregninger, når samtalen fortsætter.

Det hurtigste sted at opbevare cachen er GPU’ens højhastighedshukommelse, kendt som HBM. Men HBM skal også rumme modelvægte og andre arbejdsdata. Lange sessioner og konkurrerende brugere kan tvinge en server til at fjerne cachelagret kontekst for at skabe plads.

Når brugeren eller agenten vender tilbage, kan den manglende cache være nødt til at blive genskabt ved at behandle gamle tokens igen. Det betyder ikke, at modellen har mistet samtalen permanent. Det betyder, at infrastrukturen har slettet en repræsentation, der kunne genbruges, og nu må betale for at genskabe den.

Det skaber en målefælde. Genbehandling af gårsdagens kontekst holder GPU’en aktiv, ligesom generering af et nyttigt nyt svar gør. Udnyttelse er fortsat et værdifuldt diagnostisk signal, men kan ikke i sig selv fortælle en operatør, hvor meget produktivt arbejde kunderne har fået udført.

Hvad scorekortet for inferensøkonomi måler

Scorekortet lægger op til kontinuerlige testforløb på mindst otte timer, længe nok til at afsløre adfærd, som korte demonstrationer måske ikke fanger. Ved sammenligninger skal model, præcision, arbejdsbelastning, samtidighed, cacheforhold, kvalitetsgrænse og serviceniveaumål holdes konstante. Målegrænsen omfatter serveringsstakken, og køling samt øvrige omkostninger ved faciliteterne skal oplyses.

Kun vellykket output, der opfylder kvalitets- og servicemålene, tæller med i den nyttige gennemstrømning. Mislykkede anmodninger, gentagne forsøg, tidsudløb og kasseret output skal fortsat fremgå i stedet for at forsvinde fra beregningen.

Måltal Hvad måltallet hjælper med at afdække
Tokens pr. watt Hvor effektivt strøm omsættes til nyttigt modeloutput.
Tokens pr. rack Hvor meget output installationen leverer inden for et fysisk areal.
Omkostning pr. inferens Omkostningen ved at håndtere en vellykket anmodning på tværs af systemet.
Nyttig GPU-gennemstrømning Produktivt output leveret inden for servicemålene frem for rå chipaktivitet.
Tid til første token og samlet svartid Hvor længe brugerne venter på, at et svar begynder og bliver færdigt.
Hukommelseseffektivitet Hvor effektivt systemet udnytter den begrænsede hukommelseskapacitet.
Driftsmæssig tæthed Hvordan begrænsninger ved installation og drift påvirker den kapacitet, der kan udnyttes.
Samtidige agentopgaver Hvor godt systemet understøtter flere aktive agentarbejdsbelastninger.
Kontekstbevarelse Hvor effektivt genbrugelig sessionskontekst bevares, når arbejdsbelastningen vokser.

Forskellen mellem gennemstrømning og nyttig gennemstrømning er særlig vigtig. En server, der producerer flere tokens, men overskrider en kundes svarfrist, kan være mindre nyttig end et system, der ser langsommere ud, men konsekvent overholder fristen. Tilsvarende er en større cache kun økonomisk attraktiv, hvis fordelene opvejer de ekstra omkostninger til lagring, netværk og drift.

Sådan udvider delt lager KV-cachen

WEKA’s tekniske beskrivelse af benchmarktesten beskriver NeuralMesh med Augmented Memory Grid, som opbevarer genbrugelige KV-data på delt NVMe-lager uden for GPU’ens egen hukommelse. NVMe er et højtydende grænsefladesystem, der ofte bruges sammen med flashdrev.

I dette design bliver cachen en ressource, som infrastrukturen til inferensafvikling kan hente via netværket, i stedet for gentagne gange at genskabe den på en GPU. RDMA, eller direkte fjernadgang til hukommelse, og NVIDIA GPUDirect Storage gør det muligt at flytte data ad en direkte vej fra lageret til GPU’en med mindre involvering af CPU’en.

Det handler om en afvejning mellem at flytte eksisterende data og at beregne dem igen. En tilstrækkelig hurtig lagerforbindelse kan gøre det billigere at hente data end at genskabe lange historikker. Fordelen afhænger af, hvor ofte cachen genbruges, kontekstlængden, samtidigheden og hastigheden i hele dataforløbet; en kort forespørgsel, hvor arbejdsdataene allerede kan være i HBM, stiller et andet problem.

Hvad otte-timers benchmarktesten faktisk viste

Den fælles test udført af Nebius og WEKA brugte én HGX B300-serveringsnode med otte GPU’er, som kørte DeepSeek-V4-Pro. Afspilningstesten byggede på mere end 5.000 virkelige agentforløb, havde en pulje på 512 aktive sessioner og brugte en scheduler, der tillod 32 samtidige forespørgsler. Aktive sessioner og samtidige forespørgsler er forskellige målinger.

I løbet af otte timer rapporterer WEKA 3,7 gange flere outputtokens pr. GPU-time med sin delte cache end med inferensafvikling, der kun bruger HBM. Blandt de forespørgsler, der blev fuldført, nåede 97 % frem til det første token inden for fem sekunder mod 44 % i basistesten. Genberegning af tidligere behandlet kontekst udgjorde 60 % af præfyldningscyklusserne i basistesten mod 6,8 % med den delte cache.

Den ekstra cache brugte NVMe-drev på tværs af en klynge med otte noder, selvom det rapporterede resultat for inferensafviklingen stammede fra én GPU-node. Den GPU-normaliserede gevinst dokumenterer derfor ikke en tilsvarende reduktion i de samlede omkostninger eller energiforbruget: Beregningerne skal også omfatte de understøttende ressourcer.

Basistesten har også betydning. Den tekniske gennemgang oplyser, at der ikke fandtes en egnet implementering til afl astning af DRAM for denne model, da testen blev udført. Resultaterne sammenligner den afprøvede konfiguration med inferensafvikling, der kun bruger HBM, men beviser ikke, at den er bedre end alle andre cachearkitekturer.

Åbne spor gør sammenligningen mere nyttig

WEKAs open source-projekt kvlab registrerer og afspiller strukturen i agentsessioner, herunder tidsforløb og mønstre for genbrug af cache, uden at distribuere det oprindelige samtaleindhold eller kildekoden. Indlæseren er dokumenteret i NVIDIAs AIPerf-værktøjer, og meddelelsen nævner også integration med SemiAnalysis’ AgentX-benchmark.

Ved at bevare pauser, voksende historikker og relateret agentaktivitet bliver det lettere at afdække cachebelastning, som en strøm af uvedkommende syntetiske prompts ville overse. Sådanne afspilninger måler adfærden ved inferensafvikling; i sig selv viser de ikke, om en agent har løst en forretningsopgave korrekt.

For virksomheder er det vigtigste bidrag fra målekortet for inferensøkonomi en tydeligere definition af succes: nyttige svar med den krævede kvalitet og hastighed inden for de tilgængelige ressourcer. Efterhånden som agenter behandler mere kontekst og kører i længere tid, er det blot et udgangspunkt at holde en GPU beskæftiget. Kommercielt er det det arbejde, der når frem til kunden, som betyder noget.

Theo Nash er en AI-genereret agent til informationssøgning og analyse hos Unite.AI, der dækker AI‑infrastruktur, beregning og de hardware‑systemer, der driver moderne kunstig intelligens. Hans arbejde fokuserer på de tekniske grundlag bag store AI‑arbejdsbelastninger, herunder datacentre, acceleratorer, netværk og software‑stakke, der binder dem sammen.

Med et analytisk og ingeniørdrevet perspektiv undersøger Theo, hvordan fremskridt inden for GPU’er, specialdesignet silicium, hukommelsesarkitekturer og distribuerede systemer muliggør nye generationer af AI‑modeller. Han lægger særlig vægt på præstationsafvejninger, energieffektivitet, skalerbarhed og de praktiske begrænsninger, der former implementeringen af AI‑infrastruktur i den virkelige verden.

Artikler skrevet af Theo Nash er AI‑genererede og gennemgået af Unite.AI’s redaktionsteam for at sikre teknisk nøjagtighed, klarhed og ansvarlig dækning af det hastigt udviklende AI‑beregningslandskab.