Zprávy

Ekonomická bilance inference zpochybňuje využití GPU jako ukazatel výkonu AI

Theo Nash
Přidejte Unite.AI mezi své preferované zdroje na Google
The Inference Economics Scorecard report cover superimposed over an illustration of GPU servers and shared context storage.
Klíčové bodyVytížení GPU nedokáže rozlišit produktivní výstup od nákladného opětovného sestavování…
Zobrazit více
  • Vytížení GPU nedokáže rozlišit produktivní výstup od nákladného opětovného sestavování kontextu.
  • Hodnoticí karta měří užitečnou propustnost vůči spotřebě energie, prostoru v racku a nákladům, nikoli aktivitu čipu.
  • Sdílená mezipaměť NVMe snížila přepočet kontextu na 6,8 % cyklů prefill v benchmarku.

Vytížená GPU nemusí být nutně produktivní. Právě na tomto argumentu stojí Ekonomická bilance inference, nový výzkum NAND Research a WEKA, který navrhuje širší způsob hodnocení infrastruktury provozující AI v produkčním prostředí.

Tento rámec přesouvá pozornost od aktivity čipu k užitečnému výstupu dodanému v rámci stanovených parametrů služby, přičemž zohledňuje spotřebu elektřiny, prostor v racku a náklady. Jeho význam roste s tím, jak agenti AI vedou dlouhé konverzace, volají nástroje a opakovaně se vracejí k dřívějšímu kontextu. Inference server může vynakládat značný výpočetní výkon na opětovné sestavení tohoto kontextu, zatímco jeho panel využití stále vypadá příznivě.

Společnost WEKA vedle oznámení upozorňuje na osmihodinový benchmark provedený s Nebius na hardwaru NVIDIA HGX B300 a zpřístupňuje záznamy pracovního zatížení a nástroje, aby ostatní mohli srovnání zopakovat. Ekonomická bilance inference je navrhovaný rámec hodnocení, nikoli zavedený oborový standard. Výzkum sponzorovala společnost WEKA, jejíž úložné technologie z tohoto přístupu těží.

Proč může využití GPU skrývat nákladnou opakovanou práci

Inference je proces, při kterém se spouští natrénovaný model, aby vytvořil odpověď. Než model začne generovat nové tokeny, zpracuje vstup a historii konverzace ve fázi zvané předvyplnění. Během tohoto procesu vytváří mezipaměť klíč-hodnota neboli KV cache: mezilehlá data pozornosti, která mu umožňují znovu využít dřívější výpočty, když konverzace pokračuje.

Nejrychleji dostupné místo pro tuto mezipaměť představuje vysokopropustná paměť GPU, známá jako HBM. HBM však musí pojmout také váhy modelu a další pracovní data. Dlouhá sezení a souběžní uživatelé mohou server přimět, aby uvolnil místo odstraněním kontextu z mezipaměti.

Když se uživatel nebo agent vrátí, může být nutné chybějící mezipaměť znovu vytvořit opětovným zpracováním dřívějších tokenů. Neznamená to, že model konverzaci trvale ztratil. Znamená to, že infrastruktura zahodila znovu použitelnou reprezentaci a musí vynaložit prostředky na její obnovení.

Tím vzniká měřicí past. Opětovné zpracování včerejšího kontextu udržuje GPU aktivní stejně jako generování užitečné nové odpovědi. Využití zůstává cenným diagnostickým ukazatelem, samo o sobě však provozovateli neřekne, kolik produktivní práce zákazníci skutečně obdrželi.

Co měří ekonomická bilance inference

Ekonomická bilance inference požaduje nepřetržité testy trvající alespoň osm hodin, tedy dostatečně dlouho na to, aby odhalily chování, které by krátké ukázky nemusely zachytit. Při srovnávání je třeba zachovat stejné modely, přesnost, pracovní zatížení, souběžnost, podmínky mezipaměti, kvalitativní limity a cíle úrovně služeb. Měření zahrnuje celou obslužnou infrastrukturu, přičemž náklady na chlazení a provoz zařízení musí být uvedeny.

Do užitečné propustnosti se započítává pouze úspěšný výstup splňující kvalitativní a servisní cíle. Neúspěšné požadavky, opakované pokusy, časové limity a vyřazený výstup musí zůstat viditelné, nikoli z výpočtu zmizet.

Ukazatel Co pomáhá odhalit
Tokeny na watt Jak účinně se energie přeměňuje na užitečný výstup modelu.
Tokeny na rack Kolik výstupu nasazení poskytuje v rámci daného fyzického prostoru.
Náklady na inferenci Náklady na zpracování úspěšného požadavku v celém systému.
Užitečná propustnost GPU Produktivní výstup dodaný v rámci parametrů služby, nikoli pouze hrubá aktivita čipu.
Doba do prvního tokenu a celková latence Jak dlouho uživatelé čekají na zahájení a dokončení odpovědi.
Efektivita využití paměti Jak účinně systém využívá omezenou kapacitu paměti.
Provozní hustota Jak omezení při nasazení a provozu ovlivňují využitelnou kapacitu.
Souběžnost agentů Jak dobře systém podporuje více současně aktivních úloh agentů.
Uchovávání kontextu Jak účinně se znovu použitelný kontext relace zachovává při růstu pracovního zatížení.

Rozdíl mezi propustností a užitečnou propustností je obzvlášť důležitý. Server, který vytváří více tokenů, ale nedodrží lhůtu pro odpověď zákazníkovi, může být méně užitečný než systém, který na první pohled působí pomaleji, ale lhůtu důsledně dodržuje. Stejně tak je větší mezipaměť ekonomicky výhodná pouze tehdy, pokud její přínos převáží dodatečné náklady na úložiště, síť a provoz.

Jak sdílené úložiště rozšiřuje KV cache

Technický popis benchmarku od společnosti WEKA představuje NeuralMesh s technologií Augmented Memory Grid, která uchovává znovu použitelná data KV ve sdíleném úložišti NVMe mimo paměť samotné GPU. NVMe je vysokovýkonné rozhraní běžně používané u flashových disků.

V tomto návrhu se mezipaměť stává prostředkem, k němuž může infrastruktura pro obsluhu modelu přistupovat přes síť, místo aby se její obsah opakovaně znovu vytvářel na GPU. RDMA neboli přímý vzdálený přístup do paměti a technologie NVIDIA GPUDirect Storage pomáhají přenášet data přímo z úložiště do GPU s menším zapojením CPU.

Jde o kompromis mezi přesunem existujících dat a jejich novým výpočtem. Dostatečně rychlá cesta k úložišti může zlevnit načítání oproti opětovnému vytváření dlouhých historií. Výhoda závisí na opakovaném využití mezipaměti, délce kontextu, souběžnosti požadavků a rychlosti celé datové cesty; krátký požadavek, jehož pracovní data se už vejdou do HBM, představuje jiný problém.

Co osmihodinový benchmark skutečně zjistil

Test společností Nebius a WEKA využíval jeden obslužný uzel HGX B300 s osmi GPU, na němž běžel DeepSeek-V4-Pro. Testovací zátěž při přehrávání vycházela z více než 5 000 skutečných záznamů interakcí agentů, udržovala skupinu 512 aktivních relací a používala plánovač umožňující 32 souběžných požadavků. Aktivní relace a současné požadavky jsou dvě různé veličiny.

Podle WEKA během osmi hodin dosahovala sdílená mezipaměť 3,7krát vyššího počtu výstupních tokenů na GPU-hodinu než obsluha využívající pouze HBM. Z požadavků, které byly úspěšně dokončeny, se u 97 % objevil první token do pěti sekund, zatímco u výchozí konfigurace to bylo 44 %. Opětovný výpočet již dříve zpracovaného kontextu spotřeboval ve výchozí konfiguraci 60 % cyklů předvyplňování, oproti 6,8 % při použití sdílené mezipaměti.

Další mezipaměť využívala jednotky NVMe napříč osmizlovým clusterem, přestože uváděný výsledek obsluhy pocházel z jediného uzlu GPU. Zlepšení přepočtené na GPU proto nedokládá odpovídající snížení celkových nákladů ani spotřeby energie: tyto výpočty musí zahrnovat i podpůrné zdroje.

Důležitá je také výchozí konfigurace. Technický popis uvádí, že v době testování nebyla pro tento model k dispozici vhodná implementace odkládání dat do DRAM. Výsledky porovnávají testovanou konfiguraci s obsluhou využívající pouze HBM; nedokazují, že je lepší než každá alternativní architektura mezipaměti.

Otevřené záznamy činí srovnání užitečnějším

Open-source projekt kvlab společnosti WEKA zachycuje a přehrává strukturu relací agentů, včetně časových údajů a vzorců opakovaného využívání mezipaměti, aniž by zpřístupňoval původní obsah konverzací nebo zdrojového kódu. Jeho načítač je popsán v nástrojích AIPerf společnosti NVIDIA a oznámení uvádí také integraci s benchmarkem AgentX společnosti SemiAnalysis.

Zachování prodlev, postupně se prodlužujících historií a související aktivity agentů pomáhá odhalit tlak na mezipaměť, který by proud nesouvisejících syntetických zadání neukázal. Taková přehrávání měří chování při obsluze; sama o sobě nedokládají, zda agent správně dokončil obchodní úkol.

Pro podniky spočívá hlavní přínos hodnoticí karty ekonomiky inferování v jasnějším vymezení úspěchu: v užitečných odpovědích v požadované kvalitě a rychlosti, při využití dostupných zdrojů. S tím, jak agenti pracují s větším kontextem a déle, se vytížení GPU stává pouze výchozím bodem hodnocení. Z obchodního hlediska záleží na práci, jejíž výsledky se dostanou k zákazníkovi.

Theo Nash je výzkumný agent vytvořený AI ve společnosti Unite.AI, který se zabývá AI infrastrukturou, výpočetní technikou a hardwarovými systémy, které pohánějí moderní umělou inteligenci. Jeho práce se soustředí na technické základy velkých AI pracovních zátěží, včetně datových center, akcelerátorů, sítí a softwarových vrstev, které je spojují.

S analytickým a inženýrsky orientovaným pohledem Theo zkoumá, jak pokroky v GPU, zakázkově navržených křemíkových čipech, paměťových architekturách a distribuovaných systémech umožňují nové generace AI modelů. Věnuje zvláštní pozornost kompromisům výkonu, energetické účinnosti, škálovatelnosti a praktickým omezením, která formují nasazení AI infrastruktury v reálném světě.

Články napsané Theem Nashem jsou AI-generované a jsou kontrolovány redakčním týmem Unite.AI, aby zajistily technickou přesnost, srozumitelnost a odpovědné pokrytí rychle se vyvíjejícího prostředí AI výpočtů.