Rapoarte
Tabloul de evaluare a economiei inferenței contestă utilizarea GPU-ului ca metrică de performanță pentru IA

Puncte cheieUtilizarea GPU nu poate distinge rezultatul productiv de reconstrucția costisitoare a…
Vezi mai mult
- Utilizarea GPU nu poate distinge rezultatul productiv de reconstrucția costisitoare a contextului.
- Cardul de scor măsoară debitul util în raport cu energia, spațiul din rack și costul, nu activitatea cipului.
- Cache-ul NVMe partajat a redus recalcularea contextului la 6,8% din ciclurile de prefill în benchmark.
Un GPU foarte solicitat nu este neapărat și productiv. Aceasta este ideea pe care se bazează Tabloul de evaluare a economiei inferenței, o nouă cercetare realizată de NAND Research și WEKA, care propune o metodă mai cuprinzătoare de evaluare a infrastructurii care rulează sisteme de IA în producție.
Cadrul mută atenția de la activitatea cipului la rezultatele utile furnizate în limitele unui obiectiv de serviciu, raportate la consumul de energie electrică, spațiul din rack și costuri. Relevanța sa crește pe măsură ce agenții IA poartă conversații lungi, apelează la instrumente și revin în mod repetat la contextul anterior. Un server de inferență poate consuma resurse de calcul considerabile pentru a reconstrui acel context, în timp ce tabloul de bord al utilizării sale continuă să arate bine.
Odată cu anunțul, WEKA evidențiază un test de performanță de opt ore, realizat împreună cu Nebius pe hardware NVIDIA HGX B300, și publică urmele sarcinilor de lucru și instrumentele necesare pentru ca alții să poată reproduce comparația. Tabloul de evaluare este un cadru de evaluare propus, nu un standard consacrat în industrie. WEKA, a cărei tehnologie de stocare beneficiază de această perspectivă, a sponsorizat cercetarea.
De ce utilizarea GPU-ului poate ascunde activități repetate costisitoare
Inferența este procesul prin care un model antrenat este rulat pentru a produce un răspuns. Înainte de a genera tokeni noi, modelul procesează datele de intrare și istoricul conversației într-o etapă numită prefill. În timpul acestui proces, creează un cache cheie-valoare, sau cache KV: date intermediare de atenție care îi permit să refolosească calculele anterioare atunci când conversația continuă.
Cel mai rapid loc pentru acel cache este memoria cu lățime de bandă mare a GPU-ului, cunoscută sub numele de HBM. Însă HBM trebuie să găzduiască și ponderile modelului și alte date de lucru. Sesiunile lungi și utilizatorii concurenți pot obliga un server să elimine contextul din cache pentru a face loc.
Când utilizatorul sau agentul revine, este posibil să fie necesară reconstruirea cache-ului lipsă prin procesarea din nou a tokenilor vechi. Asta nu înseamnă că modelul a pierdut definitiv conversația. Înseamnă că infrastructura a eliminat o reprezentare reutilizabilă și trebuie să suporte costul reconstruirii ei.
Astfel apare o capcană de măsurare. Reprocesarea contextului de ieri menține GPU-ul activ, la fel ca generarea unui răspuns nou și util. Utilizarea rămâne un indicator de diagnostic valoros, dar nu îi poate spune, de una singură, operatorului câtă muncă productivă au primit clienții.
Ce măsoară tabloul de evaluare a economiei inferenței
Tabloul de evaluare prevede teste continue cu o durată de cel puțin opt ore, suficient de lungi pentru a scoate la iveală comportamente care pot trece neobservate în demonstrațiile scurte. Pentru comparații, trebuie menținute constante modelul, precizia, sarcina de lucru, concurența, condițiile cache-ului, pragul de calitate și obiectivele de nivel al serviciului. Limitele măsurării cuprind stiva de servire, iar costurile de răcire și cheltuielile generale ale infrastructurii trebuie declarate.
Doar rezultatele reușite care respectă țintele de calitate și de serviciu contribuie la debitul util. Cererile eșuate, reîncercările, expirările timpului de așteptare și rezultatele eliminate trebuie să rămână vizibile, nu să dispară din calcul.
| Metrică | Ce ajută să evidențieze |
|---|---|
| Tokeni pe watt | Cât de eficient este transformată energia în rezultate utile ale modelului. |
| Tokeni pe rack | Cât rezultat furnizează implementarea într-un spațiu fizic dat. |
| Cost per inferență | Cheltuiala aferentă servirii unei cereri reușite în întregul sistem. |
| Debit util al GPU-ului | Rezultatele productive furnizate în limitele obiectivelor de serviciu, nu simpla activitate a cipului. |
| Timp până la primul token și latență de la un capăt la altul | Cât așteaptă utilizatorii până când începe și se încheie un răspuns. |
| Eficiența memoriei | Cât de eficient utilizează sistemul capacitatea limitată a memoriei. |
| Densitate operațională | Cum afectează constrângerile de implementare și operare capacitatea utilizabilă. |
| Concurența agenților | Cât de bine poate sistemul să susțină mai multe sarcini active ale agenților. |
| Păstrarea contextului | Cât de bine este păstrat contextul reutilizabil al sesiunilor pe măsură ce sarcinile de lucru se extind. |
Distincția dintre debit și debitul util este deosebit de importantă. Un server care produce mai mulți tokeni, dar nu respectă termenul-limită de răspuns al unui client, poate fi mai puțin util decât un sistem care pare mai lent, dar respectă constant termenul. În mod similar, un cache mai mare este avantajos din punct de vedere economic doar dacă beneficiile sale depășesc costurile suplimentare de stocare, conectivitate și operare.
Cum extinde stocarea partajată cache-ul KV
Prezentarea tehnică a testului de performanță realizată de WEKA descrie NeuralMesh cu Augmented Memory Grid, care păstrează date KV reutilizabile pe o stocare NVMe partajată, în afara memoriei proprii a GPU-ului. NVMe este o interfață de înaltă performanță utilizată frecvent cu unitățile flash.
În această configurație, memoria cache devine o resursă pe care infrastructura de servire o poate accesa prin rețea, în loc să o reconstruiască în mod repetat pe un GPU. RDMA, adică accesul direct la memorie de la distanță, și NVIDIA GPUDirect Storage ajută la transferul datelor pe o cale directă de la stocare la GPU, cu o implicare mai redusă a procesorului.
Este un compromis între transferul datelor existente și recalcularea lor. O cale de stocare suficient de rapidă poate face ca preluarea datelor să coste mai puțin decât reconstruirea unor istorii lungi. Avantajul depinde de reutilizarea memoriei cache, de lungimea contextului, de concurență și de viteza întregii căi de date; o solicitare scurtă, ale cărei date de lucru încap deja în HBM, prezintă o problemă diferită.
Ce a arătat, de fapt, testul de performanță de opt ore
Testul comun realizat de Nebius și WEKA a folosit un singur nod de servire HGX B300, cu opt GPU-uri, pe care rula DeepSeek-V4-Pro. Sarcina de redare a folosit peste 5.000 de trasee reale de agenți, a menținut un grup de 512 sesiuni active și a folosit un planificator care permitea 32 de solicitări simultane. Sesiunile active și solicitările simultane sunt indicatori diferiți.
Pe parcursul a opt ore, WEKA raportează de 3,7 ori mai multe tokenuri de ieșire per oră-GPU cu memoria cache partajată decât cu servirea exclusiv prin HBM. Dintre solicitările finalizate cu succes, 97% au ajuns la primul token în cel mult cinci secunde, față de 44% în configurația de referință. Recalcularea contextului întâlnit anterior a consumat 60% din ciclurile de preumplere în configurația de referință, comparativ cu 6,8% cu memoria cache partajată.
Memoria cache suplimentară a folosit unități NVMe într-un cluster cu opt noduri, deși rezultatul de servire raportat a fost obținut de la un singur nod cu GPU. Prin urmare, câștigul normalizat per GPU nu demonstrează o reducere echivalentă a costului total sau a consumului de energie: aceste calcule trebuie să includă și resursele auxiliare.
Contează și configurația de referință. Documentația tehnică precizează că, la momentul testării, nu era disponibilă o implementare adecvată pentru transferul datelor din DRAM pentru acest model. Aceste rezultate compară configurația testată cu servirea exclusiv prin HBM, fără a demonstra că aceasta este superioară tuturor celorlalte arhitecturi de memorie cache.
Traseele deschise fac comparația mai utilă
Proiectul open-source kvlab al WEKA înregistrează și redă structura sesiunilor agenților, inclusiv tiparele de temporizare și de reutilizare a memoriei cache, fără a distribui conversația originală sau conținutul codului sursă. Încărcătorul său este documentat în instrumentele AIPerf ale NVIDIA, iar anunțul menționează și integrarea cu benchmarkul AgentX al SemiAnalysis.
Păstrarea pauzelor, a istoricului în creștere și a activităților conexe ale agenților ajută la evidențierea presiunii asupra memoriei cache, pe care un flux de solicitări sintetice fără legătură între ele nu ar surprinde-o. Astfel de redări măsoară comportamentul la servire; ele nu demonstrează, prin ele însele, dacă un agent a îndeplinit corect o sarcină de afaceri.
Pentru companii, contribuția esențială a Grilei de evaluare a economiei inferenței constă într-o definiție mai clară a succesului: răspunsuri utile, la nivelul de calitate și viteză necesar, în limita resurselor disponibile. Pe măsură ce agenții procesează mai mult context și rulează mai mult timp, menținerea unui GPU ocupat devine doar un punct de plecare pentru evaluare. Din punct de vedere comercial, contează munca ale cărei rezultate ajung la client.












