Звіти

Оцінка економіки інференсу ставить під сумнів використання завантаженості GPU як показника ефективності ШІ

Theo Nash
Додайте Unite.AI до бажаних джерел у Google
The Inference Economics Scorecard report cover superimposed over an illustration of GPU servers and shared context storage.
Ключові моментиВикористання GPU не може відрізнити продуктивний вихід від дорогого перебудування…
Показати більше
  • Використання GPU не може відрізнити продуктивний вихід від дорогого перебудування контексту.
  • Оцінювальна карта вимірює корисну пропускну здатність щодо енергоспоживання, стійкового простору та вартості, а не активності чипа.
  • Спільний кеш NVMe скоротив повторні обчислення контексту до 6,8% циклів попереднього заповнення в бенчмарку.

Завантажений GPU не обов’язково працює продуктивно. Саме цю думку покладено в основу системи оцінювання економіки інференсу — нового дослідження NAND Research і WEKA, у якому запропоновано ширший підхід до оцінювання інфраструктури для робочих систем ШІ.

Ця система оцінювання зміщує увагу з активності чипа на корисний результат, досягнутий у межах заданих показників обслуговування, з урахуванням споживання електроенергії, площі в стійці та вартості. Її актуальність зростає, адже агенти ШІ підтримують тривалі розмови, викликають інструменти й знову й знову повертаються до попереднього контексту. Сервер інференсу може витрачати значні обчислювальні ресурси на відновлення цього контексту, хоча на панелі моніторингу його завантаженість і далі виглядатиме нормально.

Паралельно з оголошенням WEKA привертає увагу до восьмигодинного тестування, проведеного разом із Nebius на обладнанні NVIDIA HGX B300, а також оприлюднює трасування навантажень та інструменти, щоб інші могли відтворити порівняння. Ця система оцінювання є запропонованою методикою, а не усталеним галузевим стандартом. Дослідження профінансувала WEKA, технологія зберігання даних якої виграє від такого підходу.

Чому завантаженість GPU може приховувати витратні повторні обчислення

Інференс — це процес запуску навченої моделі для отримання відповіді. Перш ніж генерувати нові токени, модель опрацьовує вхідні дані та історію розмови на етапі, що називається попереднім опрацюванням. Під час цього вона створює кеш ключів і значень, або KV-кеш: проміжні дані механізму уваги, які дають змогу повторно використовувати раніше виконані обчислення, коли розмова триває.

Найшвидше такий кеш працює у відеопам’яті GPU з високою пропускною здатністю, відомій як HBM. Однак у HBM також мають поміститися ваги моделі та інші робочі дані. Через тривалі сеанси й одночасну роботу багатьох користувачів сервер може бути змушений видаляти кешований контекст, щоб звільнити місце.

Коли користувач або агент повертається, відсутній кеш може знадобитися відновити, повторно опрацювавши старі токени. Це не означає, що модель назавжди втратила розмову. Це означає, що інфраструктура видалила придатне для повторного використання представлення й тепер має витратити ресурси на його відновлення.

Так виникає пастка вимірювання. Повторне опрацювання вчорашнього контексту підтримує активність GPU так само, як і створення корисної нової відповіді. Завантаженість залишається цінним діагностичним показником, але сама по собі не дає оператору змоги визначити, скільки продуктивної роботи отримали клієнти.

Що вимірює система оцінювання економіки інференсу

Система передбачає безперервні тести тривалістю щонайменше вісім годин — цього достатньо, щоб виявити особливості роботи, які можуть лишитися непомітними під час коротких демонстрацій. Для коректного порівняння потрібно незмінними залишати модель, точність, навантаження, рівень одночасності, умови кешування, поріг якості та цілі щодо рівня обслуговування. Межі вимірювання охоплюють увесь стек обслуговування, а витрати на охолодження й інфраструктуру мають бути розкриті.

До корисної пропускної здатності зараховується лише успішний результат, що відповідає вимогам до якості й обслуговування. Невдалі запити, повторні спроби, перевищення часу очікування та відкинуті результати мають залишатися видимими, а не зникати з розрахунку.

Показник Що він допомагає з’ясувати
Токенів на ват Наскільки ефективно електроенергія перетворюється на корисний результат роботи моделі.
Токенів на стійку Який обсяг результату забезпечує розгортання в межах певної фізичної площі.
Вартість одного інференсу Витрати на обслуговування успішного запиту в усій системі.
Корисна продуктивність GPU Продуктивний результат, досягнутий у межах заданих показників обслуговування, а не просто активність чипа.
Час до першого токена та наскрізна затримка Скільки часу користувачі чекають на початок і завершення відповіді.
Ефективність використання пам’яті Наскільки ефективно система використовує обмежений обсяг пам’яті.
Щільність експлуатації Як обмеження, пов’язані з розгортанням та експлуатацією, впливають на доступну місткість.
Одночасна робота агентів Наскільки добре система підтримує кілька активних навантажень від агентів.
Збереження контексту Наскільки ефективно зберігається придатний для повторного використання контекст сеансів зі зростанням навантаження.

Різниця між пропускною здатністю та корисною пропускною здатністю особливо важлива. Сервер, який генерує більше токенів, але не встигає відповісти клієнту у встановлений строк, може бути менш корисним, ніж система, яка здається повільнішою, проте стабільно вкладається в цей строк. Так само більший кеш економічно доцільний лише тоді, коли користь від нього перевищує додаткові витрати на зберігання, мережу та експлуатацію.

Як спільне сховище розширює можливості KV-кешу

Технічний опис тестування від WEKA розповідає про NeuralMesh із системою Augmented Memory Grid, яка зберігає придатні для повторного використання дані KV у спільному сховищі NVMe за межами власної пам’яті GPU. NVMe — це високопродуктивний інтерфейс, який зазвичай використовують із флеш-накопичувачами.

У цій архітектурі кеш стає ресурсом, до якого інфраструктура обслуговування може звертатися через мережу, замість того щоб щоразу відтворювати його на GPU. RDMA, або віддалений прямий доступ до пам’яті, та NVIDIA GPUDirect Storage допомагають передавати дані безпосередньо зі сховища на GPU, зменшуючи участь CPU.

Це компроміс між передаванням наявних даних і їх повторним обчисленням. Достатньо швидкий шлях до сховища може зробити отримання даних дешевшим, ніж відтворення довгих історій. Перевага залежить від повторного використання кешу, довжини контексту, паралельності та швидкості всього шляху передавання даних; короткий запит, робочі дані якого вже вміщуються в HBM, створює іншу задачу.

Що насправді показав восьмигодинний тест

У спільному тестуванні Nebius і WEKA використовували один вузол обслуговування HGX B300 із вісьмома GPU, на якому працювала модель DeepSeek-V4-Pro. Для відтворення навантаження використали понад 5 000 реальних трас агентів, підтримували пул із 512 активних сеансів і застосували планувальник, який допускав 32 одночасні запити. Активні сеанси й одночасні запити — це різні показники.

За вісім годин WEKA зафіксувала у 3,7 раза більше вихідних токенів на GPU-годину зі спільним кешем, ніж під час обслуговування лише з HBM. Серед успішно завершених запитів у 97% перший токен з’явився менш ніж за п’ять секунд, тоді як у базовому варіанті таких було 44%. Повторне обчислення контексту, з яким система вже працювала, становило 60% циклів попередньої обробки в базовому варіанті проти 6,8% зі спільним кешем.

Для додаткового кешу використовували NVMe-накопичувачі в кластері з восьми вузлів, хоча наведений результат обслуговування отримали на одному вузлі з GPU. Тому приріст у розрахунку на GPU не доводить відповідного скорочення загальних витрат чи енергоспоживання: у таких розрахунках потрібно враховувати ресурси, що забезпечують роботу системи.

Важливий і базовий варіант для порівняння. У технічному описі зазначено, що на час тестування не було доступної відповідної реалізації вивантаження в DRAM для цієї моделі. Ці результати порівнюють протестовану конфігурацію з обслуговуванням лише з HBM, а не доводять її перевагу над усіма іншими архітектурами кешування.

Відкриті траси роблять порівняння кориснішим

У межах відкритого проєкту WEKA kvlab фіксують і відтворюють структуру сеансів агентів, зокрема часові характеристики та закономірності повторного використання кешу, не поширюючи вміст оригінальних розмов або вихідного коду. Завантажувач описано в інструментарії AIPerf від NVIDIA, а в анонсі також згадується інтеграція з тестом AgentX від SemiAnalysis.

Збереження пауз, поступового розростання історій і пов’язаної з ними активності агентів допомагає виявити навантаження на кеш, яке не помітити, якби послідовно надсилати не пов’язані між собою синтетичні запити. Таке відтворення вимірює поведінку системи під час обслуговування запитів, але саме по собі не показує, чи правильно агент виконав бізнес-завдання.

Для підприємств головний внесок Оціночної карти економіки інференсу полягає в чіткішому визначенні успіху: корисні відповіді належної якості та швидкості в межах доступних ресурсів. Коли агенти опрацьовують дедалі більше контексту й працюють довше, завантаженість GPU стає лише відправною точкою для оцінювання. З комерційного погляду важлива робота, результат якої доходить до клієнта.

Theo Nash є дослідницьким ШІ-агентом, створеним за допомогою ШІ, у Unite.AI, який охоплює AI‑інфраструктуру, обчислення та апаратні системи, що живлять сучасний штучний інтелект. Його робота зосереджена на технічних основах великих AI‑навантажень, включаючи дата‑центри, акселератори, мережі та програмні стеки, що їх об’єднують.

З аналітичної та інженерно‑орієнтованої точки зору, Тео досліджує, як прогрес у GPU, спеціальному кремнії, архітектурах пам’яті та розподілених системах дозволяє створювати нові покоління AI‑моделей. Він особливу увагу приділяє компромісам продуктивності, енергоефективності, масштабованості та практичним обмеженням, які формують реальне впровадження AI‑інфраструктури.

Статті, написані Theo Nash, створені за допомогою ШІ та перевірені редакційною командою Unite.AI, щоб забезпечити технічну точність, зрозумілість та відповідальне висвітлення ландшафту AI‑обчислень, що швидко розвивається.