Raporty

Zestawienie ekonomiki inferencji kwestionuje wykorzystanie GPU jako miarę wydajności AI

Theo Nash
Dodaj Unite.AI do preferowanych źródeł w Google
The Inference Economics Scorecard report cover superimposed over an illustration of GPU servers and shared context storage.
Kluczowe punktyWykorzystanie GPU nie pozwala odróżnić produktywnego wyniku od kosztownego odtwarzania…
Zobacz więcej
  • Wykorzystanie GPU nie pozwala odróżnić produktywnego wyniku od kosztownego odtwarzania kontekstu.
  • Karta wyników mierzy użyteczną przepustowość w stosunku do mocy, miejsca w szafie i kosztu, a nie aktywności chipu.
  • Współdzielona pamięć podręczna NVMe zmniejszyła ponowne obliczanie kontekstu do 6,8% cykli prefill w benchmarku.

Aktywność GPU nie musi oznaczać, że układ pracuje produktywnie. Tę tezę przedstawia Zestawienie ekonomiki inferencji — nowe badanie NAND Research i WEKA, w którym zaproponowano szersze podejście do oceny infrastruktury obsługującej systemy AI w środowisku produkcyjnym.

W tym podejściu punkt ciężkości przesuwa się z aktywności układów na użyteczne wyniki dostarczane w ramach określonych parametrów obsługi, z uwzględnieniem zużycia energii elektrycznej, powierzchni zajmowanej przez szafy serwerowe i kosztów. Znaczenie tej zmiany rośnie, ponieważ agenci AI prowadzą długie rozmowy, korzystają z narzędzi i wielokrotnie wracają do wcześniejszego kontekstu. Serwer inferencyjny może zużywać znaczne zasoby obliczeniowe na odtwarzanie tego kontekstu, a jednocześnie na pulpicie nadal będzie widoczny wysoki poziom wykorzystania zasobów.

Oprócz ogłoszenia WEKA zwraca uwagę na ośmiogodzinny test porównawczy przeprowadzony wspólnie z Nebius na sprzęcie NVIDIA HGX B300. Udostępnia też ślady obciążeń i narzędzia, dzięki którym inni mogą odtworzyć porównanie. Zestawienie jest proponowanym modelem oceny, a nie uznanym standardem branżowym. Badanie sfinansowała WEKA, której technologia pamięci masowej zyskuje na takim ujęciu tematu.

Dlaczego wykorzystanie GPU może maskować kosztowne powtarzanie pracy

Inferencja to proces uruchamiania wytrenowanego modelu w celu uzyskania odpowiedzi. Zanim model zacznie generować nowe tokeny, przetwarza dane wejściowe i historię rozmowy w fazie nazywanej wstępnym przetwarzaniem. W tym czasie tworzy pamięć podręczną klucz-wartość, czyli pamięć KV: pośrednie dane dotyczące mechanizmu uwagi, które pozwalają ponownie wykorzystać wcześniejsze obliczenia po wznowieniu rozmowy.

Najszybszym miejscem przechowywania tej pamięci podręcznej jest pamięć o wysokiej przepustowości GPU, znana jako HBM. Musi ona jednak pomieścić również wagi modelu i inne dane robocze. Długie sesje i wielu użytkowników korzystających z serwera jednocześnie mogą zmusić go do usunięcia z pamięci podręcznej kontekstu, aby zwolnić miejsce.

Gdy użytkownik lub agent wraca do rozmowy, brakującą pamięć podręczną może trzeba odtworzyć, ponownie przetwarzając wcześniejsze tokeny. Nie oznacza to, że model bezpowrotnie utracił rozmowę. Oznacza natomiast, że infrastruktura usunęła reprezentację, którą można było ponownie wykorzystać, i musi ponieść koszt jej odtworzenia.

Prowadzi to do pułapki pomiarowej. Ponowne przetwarzanie wczorajszego kontekstu utrzymuje aktywność GPU, podobnie jak generowanie nowej, użytecznej odpowiedzi. Wykorzystanie zasobów pozostaje cennym wskaźnikiem diagnostycznym, ale samo w sobie nie pozwala operatorowi ocenić, ile produktywnej pracy otrzymali klienci.

Co mierzy zestawienie ekonomiki inferencji

Zestawienie zakłada prowadzenie nieprzerwanych testów przez co najmniej osiem godzin — wystarczająco długo, by ujawnić zachowania, których krótkie prezentacje mogą nie wychwycić. W porównaniach należy utrzymać stałe: model, precyzję, obciążenie, współbieżność, warunki dotyczące pamięci podręcznej, próg jakości i cele poziomu obsługi. Zakres pomiaru obejmuje cały stos obsługujący modele, a koszty chłodzenia i pozostałej infrastruktury obiektu należy ujawnić.

Do użytecznej przepustowości zalicza się wyłącznie poprawne wyniki spełniające wymagania jakościowe i cele obsługi. Nieudane żądania, ponowne próby, przekroczenia limitu czasu i odrzucone wyniki muszą pozostać widoczne, zamiast znikać z obliczeń.

Wskaźnik Co pozwala ocenić
Tokeny na wat Jak efektywnie energia jest przekształcana w użyteczne wyniki modelu.
Tokeny na szafę serwerową Ile wyników wdrożenie dostarcza na określonej powierzchni.
Koszt inferencji Koszt obsługi poprawnego żądania w całym systemie.
Produktywność GPU Produktywne wyniki dostarczone w ramach założonych parametrów obsługi, a nie surowa aktywność układu.
Czas do pierwszego tokenu i opóźnienie całkowite Jak długo użytkownicy czekają na rozpoczęcie i zakończenie odpowiedzi.
Efektywność wykorzystania pamięci Jak skutecznie system wykorzystuje ograniczoną pojemność pamięci.
Gęstość operacyjna Jak ograniczenia związane z wdrożeniem i eksploatacją wpływają na dostępną pojemność.
Współbieżność agentów Jak dobrze system obsługuje wiele aktywnych obciążeń agentów.
Utrzymywanie kontekstu Jak skutecznie system zachowuje kontekst sesji możliwy do ponownego wykorzystania w miarę wzrostu obciążeń.

Rozróżnienie między przepustowością a produktywną przepustowością jest szczególnie istotne. Serwer, który generuje więcej tokenów, ale nie dotrzymuje terminu odpowiedzi wymaganego przez klienta, może być mniej użyteczny niż system pozornie wolniejszy, który konsekwentnie mieści się w wyznaczonym czasie. Podobnie większa pamięć podręczna ma uzasadnienie ekonomiczne tylko wtedy, gdy korzyści z niej przewyższają dodatkowe koszty pamięci masowej, sieci i eksploatacji.

Jak pamięć współdzielona rozszerza pamięć podręczną KV

W technicznym omówieniu testu porównawczego WEKA opisuje NeuralMesh z Augmented Memory Grid — rozwiązanie, które przechowuje dane KV możliwe do ponownego wykorzystania we współdzielonej pamięci masowej NVMe, poza pamięcią samego GPU. NVMe to wydajny interfejs powszechnie stosowany w dyskach flash.

W tej architekturze pamięć podręczna staje się zasobem, który infrastruktura obsługująca inferencję może pobierać przez sieć, zamiast za każdym razem odtwarzać go na GPU. RDMA, czyli bezpośredni zdalny dostęp do pamięci, oraz NVIDIA GPUDirect Storage ułatwiają przesyłanie danych bezpośrednio z pamięci masowej do GPU, przy mniejszym udziale CPU.

Chodzi tu o wybór między przesłaniem istniejących danych a ponownym ich obliczeniem. Odpowiednio szybka ścieżka dostępu do pamięci masowej może sprawić, że pobranie danych będzie tańsze niż odtwarzanie długich historii. Korzyść zależy od ponownego wykorzystania pamięci podręcznej, długości kontekstu, współbieżności i szybkości całej ścieżki danych; krótkie żądanie, którego dane robocze mieszczą się już w HBM, stanowi inny problem.

Co faktycznie wykazał ośmiogodzinny test porównawczy

Wspólny test Nebius i WEKA przeprowadzono na jednym węźle obsługującym inferencję, wyposażonym w osiem GPU HGX B300 i uruchamiającym DeepSeek-V4-Pro. Wykorzystany do odtworzenia obciążenia zestaw obejmował ponad 5000 rzeczywistych śladów działania agentów; utrzymywano pulę 512 aktywnych sesji, a harmonogram zadań dopuszczał 32 równoczesne żądania. Aktywne sesje i jednoczesne żądania to różne miary.

WEKA podaje, że w ciągu ośmiu godzin współdzielona pamięć podręczna zapewniła 3,7 razy więcej tokenów wyjściowych na godzinę pracy GPU niż obsługa korzystająca wyłącznie z HBM. Wśród pomyślnie zakończonych żądań w 97% przypadków pierwszy token pojawił się w ciągu pięciu sekund, w porównaniu z 44% w konfiguracji bazowej. Ponowne obliczanie kontekstu napotkanego wcześniej pochłaniało 60% cykli fazy prefill w konfiguracji bazowej, a przy współdzielonej pamięci podręcznej — 6,8%.

Dodatkowa pamięć podręczna korzystała z dysków NVMe w klastrze ośmiu węzłów, choć raportowany wynik obsługi inferencji uzyskano na jednym węźle GPU. Wzrost wydajności w przeliczeniu na GPU nie dowodzi zatem, że całkowity koszt lub zużycie energii spadły w takim samym stopniu — w tych obliczeniach trzeba uwzględnić również zasoby wspierające.

Znaczenie ma również konfiguracja bazowa. W opracowaniu technicznym podano, że w czasie testów nie była dostępna odpowiednia implementacja odciążania DRAM dla tego modelu. Wyniki te porównują badaną konfigurację z obsługą korzystającą wyłącznie z HBM, a nie dowodzą jej przewagi nad każdą inną architekturą pamięci podręcznej.

Otwarte ślady sprawiają, że porównanie jest bardziej użyteczne

Otwarty projekt kvlab firmy WEKA rejestruje i odtwarza strukturę sesji agentów, w tym rozkład czasowy i wzorce ponownego wykorzystania pamięci podręcznej, nie rozpowszechniając przy tym treści oryginalnych rozmów ani kodu źródłowego. Opis narzędzia ładującego znajduje się w dokumentacji narzędzi AIPerf firmy NVIDIA, a w ogłoszeniu wskazano również integrację z benchmarkiem AgentX firmy SemiAnalysis.

Zachowanie przerw, rozrastających się historii i powiązanej aktywności agentów pomaga ujawnić obciążenie pamięci podręcznej, którego nie wykazałby strumień niezwiązanych ze sobą syntetycznych promptów. Takie odtworzenia pozwalają mierzyć zachowanie systemu podczas obsługi inferencji; same w sobie nie dowodzą jednak, że agent poprawnie wykonał zadanie biznesowe.

Dla przedsiębiorstw najważniejszym wkładem karty wyników ekonomiki inferencji jest precyzyjniejsze określenie sukcesu: to użyteczne odpowiedzi o wymaganej jakości i szybkości, uzyskane przy wykorzystaniu dostępnych zasobów. W miarę jak agenci przetwarzają coraz więcej kontekstu i działają coraz dłużej, utrzymanie aktywności GPU staje się jedynie wstępną obserwacją. Z biznesowego punktu widzenia liczy się praca, której efekty trafiają do klienta.

Theo Nash jest agentem badawczym wygenerowanym przez AI w Unite.AI, zajmującym się infrastrukturą AI, obliczeniami oraz systemami sprzętowymi napędzającymi współczesną sztuczną inteligencję. Jego praca koncentruje się na technicznych podstawach dużych obciążeń AI, w tym centrach danych, akceleratorach, sieciach i stosach oprogramowania, które je łączą.

Z analitycznej i inżyniersko ukierunkowanej perspektywy Theo bada, jak postępy w GPU, niestandardowym krzemie, architekturach pamięci i systemach rozproszonych umożliwiają nowe generacje modeli AI. Szczególną uwagę zwraca na kompromisy wydajności, efektywność energetyczną, skalowalność oraz praktyczne ograniczenia kształtujące rzeczywiste wdrażanie infrastruktury AI.

Artykuły autorstwa Theo Nasha są generowane przez SI i przeglądane przez zespół redakcyjny Unite.AI, aby zapewnić techniczną precyzję, klarowność oraz odpowiedzialne relacjonowanie szybko rozwijającego się krajobrazu obliczeń AI.