Rapporter
Poengkortet for inferensøkonomi utfordrer GPU-utnyttelse som ytelsesmål for KI

Viktige punkterGPU-utnyttelse kan ikke skille produktiv utdata fra kostbar gjenoppbygging av kontekst.
Vis mer
- GPU-utnyttelse kan ikke skille produktiv utdata fra kostbar gjenoppbygging av kontekst.
- Resultattavlen måler nyttig gjennomstrømning mot strøm, rackplass og kostnad i stedet for brikkeaktivitet.
- Delt NVMe-buffer reduserte kontekstberegning til 6,8 % av prefill-sykluser i referansetesten.
En GPU som er aktiv, er ikke nødvendigvis en produktiv GPU. Det er argumentet bak Poengkortet for inferensøkonomi, en ny studie fra NAND Research og WEKA som foreslår en bredere måte å vurdere infrastrukturen som kjører KI i produksjon på.
Rammeverket flytter oppmerksomheten fra aktiviteten på brikken til nyttig produksjon innenfor et tjenestemål, målt opp mot strømforbruk, plass i serverrack og kostnader. Det blir stadig mer relevant etter hvert som KI-agenter fører lange samtaler, bruker verktøy og gjentatte ganger henter fram tidligere kontekst. En inferensserver kan bruke betydelige beregningsressurser på å bygge opp denne konteksten på nytt, samtidig som oversikten over utnyttelsesgraden fortsatt ser god ut.
Sammen med kunngjøringen trekker WEKA fram en åtte timer lang referansemåling som ble gjennomført med Nebius på NVIDIA HGX B300-maskinvare, og offentliggjør sporingsdata for arbeidsbelastninger og verktøy som gjør det mulig for andre å gjenskape sammenligningen. Poengkortet er et foreslått evalueringsrammeverk, ikke en etablert bransjestandard. WEKA, som drar nytte av denne innrammingen på grunn av lagringsteknologien sin, sponset studien.
Derfor kan GPU-utnyttelse skjule kostbart, gjentatt arbeid
Inferens er prosessen der en trent modell kjøres for å lage et svar. Før modellen genererer nye token, behandler den inndataene og samtalehistorikken i en fase som kalles prefylling. I løpet av denne prosessen oppretter den en nøkkel-verdi-buffer, eller KV-buffer: mellomliggende oppmerksomhetsdata som gjør at modellen kan gjenbruke tidligere beregninger når samtalen fortsetter.
Det raskeste stedet å lagre denne bufferen er GPU-ens minne med høy båndbredde, kjent som HBM. Men HBM må også romme modellvekter og andre arbeidsdata. Lange økter og konkurrerende brukere kan tvinge en server til å fjerne bufret kontekst for å frigjøre plass.
Når brukeren eller agenten kommer tilbake, kan den manglende bufferen måtte bygges opp igjen ved å behandle gamle token på nytt. Det betyr ikke at modellen har mistet samtalen for godt. Det betyr at infrastrukturen har forkastet en representasjon som kunne gjenbrukes, og nå må betale for å bygge den opp igjen.
Det skaper en målefelle. Når gårsdagens kontekst behandles på nytt, holder det GPU-en aktiv, akkurat som når den genererer et nyttig svar. Utnyttelsesgraden er fortsatt et verdifullt diagnostisk signal, men alene kan den ikke fortelle en driftsansvarlig hvor mye produktivt arbeid kundene fikk utført.
Hva poengkortet for inferensøkonomi måler
Poengkortet legger opp til kontinuerlige tester som varer i minst åtte timer – lenge nok til å avdekke atferd korte demonstrasjoner kanskje ikke fanger opp. I sammenligninger må modell, presisjon, arbeidsbelastning, samtidighet, bufferforhold, kvalitetsgrense og tjenestenivåmål holdes konstante. Målegrensen omfatter hele serveringsstakken, og kjøling samt øvrig belastning fra anlegget skal oppgis.
Bare vellykket produksjon som oppfyller kvalitets- og tjenestemålene, teller med i den nyttige gjennomstrømningen. Mislykkede forespørsler, nye forsøk, tidsavbrudd og forkastet produksjon må fortsatt være synlige, ikke forsvinne fra beregningen.
| Måltall | Hva det bidrar til å avdekke |
|---|---|
| Token per watt | Hvor effektivt strøm omdannes til nyttig modellresultat. |
| Token per rack | Hvor mye resultat utrullingen leverer innenfor et fysisk areal. |
| Kostnad per inferens | Kostnaden ved å behandle en vellykket forespørsel i hele systemet. |
| GPU-ens nyttige gjennomstrømning | Produktivt resultat levert innenfor tjenestemålene, i stedet for ren aktivitet på brikken. |
| Tid til første token og ende-til-ende-forsinkelse | Hvor lenge brukerne venter på at et svar skal begynne og bli ferdig. |
| Minneeffektivitet | Hvor effektivt systemet utnytter den begrensede minnekapasiteten. |
| Driftstetthet | Hvordan begrensninger knyttet til utrulling og drift påvirker den tilgjengelige kapasiteten. |
| Samtidighet mellom agenter | Hvor godt systemet håndterer flere aktive arbeidsbelastninger fra agenter. |
| Bevaring av kontekst | Hvor effektivt gjenbrukbar øktkontekst bevares når arbeidsbelastningen øker. |
Forskjellen mellom gjennomstrømning og nyttig gjennomstrømning er særlig viktig. En server som produserer flere token, men ikke rekker å svare innen kundens frist, kan være mindre nyttig enn et system som virker langsommere, men som konsekvent overholder fristen. Tilsvarende er en større buffer bare økonomisk attraktiv hvis fordelene veier opp for de ekstra kostnadene til lagring, nettverk og drift.
Slik utvider delt lagring KV-bufferen
WEKAs tekniske beskrivelse av referansemålingen omtaler NeuralMesh med Augmented Memory Grid, som lagrer gjenbrukbare KV-data på delt NVMe-lagring utover kapasiteten i GPU-ens eget minne. NVMe er et høyytelsesgrensesnitt som ofte brukes med flashlagring.
I denne utformingen blir hurtigbufferen en ressurs som tjenesteinfrastrukturen kan hente via nettverket, i stedet for å bygge den opp på nytt på en GPU hver gang. RDMA, eller direkte minnetilgang via nettverk, og NVIDIA GPUDirect Storage bidrar til å flytte data direkte fra lagringen til GPU-en med mindre CPU-involvering.
Dette er en avveining mellom å flytte eksisterende data og å beregne dem på nytt. En tilstrekkelig rask lagringsvei kan gjøre det billigere å hente dataene enn å bygge opp lange historikker på nytt. Fordelen avhenger av gjenbruk av hurtigbufferen, kontekstlengde, samtidighet og hastigheten i hele dataveien. En kort forespørsel der arbeidsdataene allerede får plass i HBM, byr på en annen problemstilling.
Hva den åtte timer lange ytelsestesten faktisk viste
Den felles testen til Nebius og WEKA brukte én HGX B300-tjenestenode med åtte GPU-er, som kjørte DeepSeek-V4-Pro. Avspillingsarbeidsmengden bygget på mer enn 5 000 reelle agentspor, opprettholdt en samling på 512 aktive økter og brukte en planlegger som tillot 32 samtidige forespørsler. Aktive økter og samtidige forespørsler er ulike måltall.
I løpet av åtte timer rapporterer WEKA 3,7 ganger flere utdata-tokener per GPU-time med sin delte hurtigbuffer enn med tjenestekjøring som bare bruker HBM. Av forespørslene som ble fullført, fikk 97 % sitt første token innen fem sekunder, mot 44 % for referansekonfigurasjonen. I referansekonfigurasjonen gikk 60 % av syklusene i prefill-fasen med til å beregne tidligere brukt kontekst på nytt, mot 6,8 % med den delte hurtigbufferen.
Den ekstra hurtigbufferen brukte NVMe-disker på tvers av en klynge med åtte noder, selv om de rapporterte tjenesteytelsesresultatene kom fra én GPU-node. Den GPU-normaliserte gevinsten viser derfor ikke at de samlede kostnadene eller energiforbruket er redusert tilsvarende: Beregningene må også omfatte ressursene som støtter løsningen.
Referansekonfigurasjonen er også viktig. Den tekniske gjennomgangen sier at det ikke fantes noen egnet implementasjon for avlasting til DRAM for denne modellen da testingen fant sted. Resultatene sammenligner den testede konfigurasjonen med tjenestekjøring som bare bruker HBM, og beviser ikke at den er bedre enn alle andre hurtigbufferarkitekturer.
Åpne spor gjør sammenligningen mer nyttig
WEKAs åpen kildekode-prosjekt kvlab registrerer og spiller av strukturen i agentøkter, inkludert tidsforløp og mønstre for gjenbruk av hurtigbufferen, uten å distribuere innholdet i de opprinnelige samtalene eller kildekoden. Lasteren er dokumentert i NVIDIAs AIPerf-verktøy, og kunngjøringen viser også til integrasjon med AgentX-referansetesten fra SemiAnalysis.
Ved å bevare pauser, historikker som vokser, og beslektet agentaktivitet blir det lettere å avdekke press på hurtigbufferen som en strøm av urelaterte, syntetiske ledetekster ikke ville fanget opp. Slike avspillinger måler tjenesteytelsen; de viser ikke i seg selv om en agent har utført en forretningsoppgave riktig.
For bedrifter er det viktigste bidraget fra poengkortet for inferensøkonomi en tydeligere definisjon av hva som teller som et godt resultat: nyttige svar med nødvendig kvalitet og hastighet, innenfor de tilgjengelige ressursene. Etter hvert som agenter bruker mer kontekst og kjører lenger, blir det å holde en GPU i arbeid et utgangspunkt for vurderingen. Det som betyr noe kommersielt, er arbeidet som kommer kunden til gode.












