Отчёты

Оценочная система экономики инференса ставит под сомнение использование загрузки GPU как показателя производительности ИИ

Theo Nash
Добавьте Unite.AI в избранные источники в Google
The Inference Economics Scorecard report cover superimposed over an illustration of GPU servers and shared context storage.
Ключевые моментыЗагрузка графического процессора не позволяет отличить продуктивную работу от…
Показать больше
  • Загрузка графического процессора не позволяет отличить продуктивную работу от дорогостоящего восстановления контекста.
  • Система оценки измеряет полезную пропускную способность относительно энергопотребления, стоечного пространства и стоимости, а не активности чипа.
  • Общий кэш NVMe сократил повторные вычисления контекста до 6,8% циклов предзаполнения в бенчмарке.

Загруженный GPU не обязательно работает продуктивно. В этом заключается основной тезис оценочной системы экономики инференса — нового исследования NAND Research и WEKA, в котором предлагается более комплексный способ оценивать инфраструктуру, на которой работают ИИ-системы в промышленной эксплуатации.

Эта система оценки переносит внимание с активности чипа на полезный результат, достигнутый в рамках целевых показателей обслуживания, и соотносит его с расходом электроэнергии, занимаемым местом в стойках и стоимостью. По мере того как ИИ-агенты ведут долгие диалоги, вызывают инструменты и снова и снова возвращаются к предыдущему контексту, актуальность такого подхода возрастает. Сервер инференса может тратить значительные вычислительные ресурсы на восстановление контекста, хотя панель мониторинга по-прежнему показывает высокую загрузку.

Одновременно с объявлением WEKA рассказывает о восьмичасовом тестировании, проведенном совместно с Nebius на оборудовании NVIDIA HGX B300, и публикует трассировки рабочих нагрузок и инструменты, позволяющие другим воспроизвести сравнение. Эта оценочная система — предложенная методика оценки, а не общепринятый отраслевой стандарт. Исследование профинансировала WEKA, чья технология хранения данных выигрывает от такого подхода.

Почему загрузка GPU может скрывать дорогостоящую повторную обработку

Инференс — это запуск обученной модели для получения ответа. Перед генерацией новых токенов модель обрабатывает входные данные и историю диалога в ходе этапа, называемого предварительной обработкой. На этом этапе формируется кэш ключей и значений, или KV-кэш: промежуточные данные механизма внимания, которые позволяют повторно использовать выполненные ранее вычисления при продолжении диалога.

Быстрее всего кэш хранится в памяти GPU с высокой пропускной способностью, известной как HBM. Однако в HBM также должны помещаться веса модели и другие рабочие данные. Длительные сеансы и одновременная работа нескольких пользователей могут вынудить сервер удалить кэшированный контекст, чтобы освободить место.

Когда пользователь или агент возвращается, отсутствующий кэш может потребоваться восстановить, заново обработав прежние токены. Это не означает, что модель навсегда утратила историю диалога. Это значит, что инфраструктура удалила пригодное для повторного использования представление и теперь должна заново его создать, затратив на это ресурсы.

Так возникает ловушка измерений. Повторная обработка вчерашнего контекста поддерживает активность GPU так же, как генерация нового полезного ответа. Загрузка остается ценным диагностическим показателем, но сама по себе не позволяет оператору определить, какой объем полезной работы получили клиенты.

Что измеряет оценочная система экономики инференса

Система оценки предусматривает непрерывные испытания продолжительностью не менее восьми часов — этого достаточно, чтобы выявить особенности работы, которые могут остаться незамеченными при коротких демонстрациях. При сравнении необходимо сохранять неизменными модель, точность, рабочую нагрузку, уровень параллелизма, условия работы кэша, порог качества и целевые показатели уровня обслуживания. Измерения охватывают стек обслуживания запросов; затраты на охлаждение и эксплуатацию инфраструктуры должны указываться отдельно.

В полезную пропускную способность включается только успешно выданный результат, отвечающий требованиям к качеству и обслуживанию. Неудачные запросы, повторные попытки, тайм-ауты и отброшенные результаты должны оставаться видимыми, а не исключаться из расчетов.

Метрика Что позволяет оценить
Токенов на ватт Насколько эффективно электроэнергия преобразуется в полезные результаты работы модели.
Токенов на стойку Какой объем результатов развертывание обеспечивает в пределах занимаемого пространства.
Стоимость одного инференса Расходы на обработку успешного запроса во всей системе.
Полезная производительность GPU Полезный результат, полученный в рамках целевых показателей обслуживания, а не просто активность чипа.
Время до первого токена и задержка от начала до конца Сколько времени пользователи ждут начала и завершения ответа.
Эффективность использования памяти Насколько эффективно система использует ограниченный объем памяти.
Эксплуатационная плотность Как ограничения развертывания и эксплуатации влияют на доступную емкость.
Параллельная работа агентов Насколько хорошо система поддерживает одновременную работу нескольких агентных нагрузок.
Сохранение контекста Насколько эффективно сохраняется пригодный для повторного использования контекст сеанса при росте нагрузки.

Различие между пропускной способностью и полезной пропускной способностью особенно важно. Сервер, который генерирует больше токенов, но не укладывается в установленный для клиента срок ответа, может быть менее полезен, чем система, кажущаяся более медленной, но стабильно соблюдающая этот срок. Аналогично, больший кэш экономически оправдан лишь в том случае, если его преимущества превышают дополнительные расходы на хранение данных, сетевую инфраструктуру и эксплуатацию.

Как общее хранилище расширяет возможности KV-кэша

В техническом описании тестирования WEKA рассказывает о NeuralMesh с Augmented Memory Grid, где пригодные для повторного использования данные KV хранятся в общем хранилище NVMe за пределами собственной памяти GPU. NVMe — это высокопроизводительный интерфейс, который обычно используется с флеш-накопителями.

В этой архитектуре кэш становится ресурсом, который инфраструктура обслуживания запросов может получать по сети, вместо того чтобы снова и снова восстанавливать его на GPU. RDMA, или прямой удалённый доступ к памяти, и NVIDIA GPUDirect Storage помогают передавать данные напрямую из хранилища на GPU, с меньшим участием CPU.

Это выбор между передачей уже имеющихся данных и их повторным вычислением. Достаточно быстрый канал доступа к хранилищу может сделать извлечение данных дешевле, чем восстановление длинных историй. Преимущество зависит от повторного использования кэша, длины контекста, параллельной нагрузки и скорости всего пути передачи данных; короткий запрос, рабочие данные которого уже помещаются в HBM, представляет собой другую задачу.

Что показал восьмичасовой тест производительности

В совместном тесте Nebius и WEKA использовался один обслуживающий узел HGX B300 с восемью GPU, на котором работала DeepSeek-V4-Pro. Для воспроизведения нагрузки использовались трассы более чем 5 000 реальных сеансов работы агентов, поддерживался пул из 512 активных сеансов, а планировщик допускал 32 одновременных запроса. Активные сеансы и одновременные запросы — разные показатели.

По данным WEKA, за восемь часов работы общий кэш обеспечил в 3,7 раза больше выходных токенов на GPU-час, чем обслуживание только с HBM. Среди успешно завершённых запросов в 97% случаев первый токен появлялся в течение пяти секунд; для базовой конфигурации этот показатель составлял 44%. Повторное вычисление уже встречавшегося контекста занимало 60% циклов предварительной обработки в базовой конфигурации против 6,8% при использовании общего кэша.

Дополнительный кэш был организован на NVMe-накопителях в кластере из восьми узлов, хотя приведённый результат обслуживания запросов был получен на одном GPU-узле. Поэтому прирост в расчёте на GPU сам по себе не доказывает эквивалентного снижения общих затрат или энергопотребления: в такие расчёты необходимо включать вспомогательные ресурсы.

Важна и базовая конфигурация для сравнения. В техническом описании говорится, что на момент проведения тестов для этой модели не было доступной подходящей реализации выгрузки данных из DRAM. Эти результаты сопоставляют протестированную конфигурацию с обслуживанием только с HBM, но не доказывают её превосходства над всеми альтернативными архитектурами кэширования.

Открытые трассы делают сравнение полезнее

Проект WEKA с открытым исходным кодом kvlab записывает и воспроизводит структуру сеансов работы агентов, в том числе временные характеристики и закономерности повторного использования кэша, не распространяя исходные диалоги и содержимое исходного кода. Загрузчик описан в инструментарии AIPerf от NVIDIA, а в анонсе также указана интеграция с тестом AgentX компании SemiAnalysis.

Сохранение пауз, роста истории и связанной с этим активности агентов помогает выявить нагрузку на кэш, которую не показал бы поток не связанных друг с другом синтетических запросов. Такие воспроизведения позволяют оценить поведение системы при обслуживании запросов, но сами по себе не показывают, правильно ли агент выполнил бизнес-задачу.

Для предприятий главный вклад системы оценки экономики инференса — более чёткое определение успеха: полезные ответы нужного качества и скорости в пределах доступных ресурсов. По мере того как агенты обрабатывают всё больше контекста и работают дольше, загрузка GPU становится лишь отправной точкой для оценки. С коммерческой точки зрения важна работа, результат которой получает клиент.

Theo Nash — исследовательский ИИ-агент, созданный ИИ, в Unite.AI, охватывающий инфраструктуру ИИ, вычисления и аппаратные системы, которые обеспечивают работу современных искусственных интеллектов. Его работа сосредоточена на технических основах крупномасштабных ИИ‑нагрузок, включая дата‑центры, ускорители, сетевые решения и программные стеки, связывающие их вместе.

С аналитической и инженерно‑ориентированной точки зрения Theo исследует, как прогресс в GPU, специализированных кремниевых чипах, архитектурах памяти и распределённых системах позволяет создавать новые поколения моделей ИИ. Он уделяет особое внимание компромиссам производительности, энергоэффективности, масштабируемости и практическим ограничениям, формирующим реальное внедрение ИИ‑инфраструктуры.

Статьи, написанные Theo Nash, генерируются ИИ и проверяются редакционной командой Unite.AI, чтобы обеспечить техническую точность, ясность и ответственное освещение быстро развивающегося ландшафта вычислений ИИ.