Масштабирование вывода ИИ: Изучение высокопроизводительной архитектуры NVIDIA Dynamo

По мере развития технологий Искусственного Интеллекта (ИИ) растет потребность в эффективных и масштабируемых решениях для вывода. Вскоре вывод ИИ, как ожидается, станет более важным, чем обучение, поскольку компании будут сосредоточены на быстром запуске моделей для реального прогнозирования. Этот переход подчеркивает необходимость в прочной инфраструктуре для обработки больших объемов данных с минимальными задержками.

Вывод имеет решающее значение в таких отраслях, как автономные транспортные средства, обнаружение мошенничества и реальное медицинское диагностирование. Однако вывод имеет уникальные проблемы, особенно при масштабировании для выполнения задач, таких как потоковое видео, анализ данных в реальном времени и анализ клиентских данных. Традиционные модели ИИ испытывают трудности с эффективным выполнением этих задач с высоким объемом данных, что часто приводит к высоким затратам и задержкам. По мере расширения компаниями своих возможностей ИИ они нуждаются в решениях для управления большими объемами запросов на вывод без ущерба для производительности или увеличения затрат.

Это где NVIDIA Dynamo (NVDA ) приходит на помощь. Запущенный в марте 2025 года, Dynamo – это новый каркас ИИ, предназначенный для решения проблем вывода ИИ в масштабе. Он помогает бизнесу ускорить задачи вывода, сохраняя при этом сильную производительность и снижая затраты. Основанный на прочной архитектуре GPU NVIDIA и интегрированный с инструментами, такими как CUDA, TensorRT и Triton, Dynamo меняет то, как компании управляют выводом ИИ, делая его проще и более эффективным для бизнеса любого размера.

Растущая проблема вывода ИИ в масштабе

Вывод ИИ – это процесс использования предварительно обученной модели машинного обучения для прогнозирования на основе реальных данных, и он имеет решающее значение для многих приложений ИИ в реальном времени. Однако традиционные системы часто сталкиваются с трудностями при обработке растущего спроса на вывод ИИ, особенно в таких областях, как автономные транспортные средства, обнаружение мошенничества и медицинская диагностика.

Спрос на ИИ в реальном времени растет быстро, обусловленный необходимостью быстрого принятия решений. Согласно отчету Forrester от мая 2024 года, 67% компаний интегрируют генеративный ИИ в свои операции, подчеркивая важность ИИ в реальном времени. Вывод находится в центре многих задач, управляемых ИИ, таких как обеспечение возможности самоходных автомобилей принимать быстрые решения, обнаружение мошенничества в финансовых транзакциях и помощь в медицинских диагнозах, таких как анализ медицинских изображений.

Несмотря на этот спрос, традиционные системы испытывают трудности с обработкой масштаба этих задач. Одной из основных проблем является недоиспользование GPU. Например, использование GPU в многих системах остается на уровне 10-15%, что означает, что значительная вычислительная мощность не используется. По мере увеличения нагрузки на вывод ИИ возникают дополнительные проблемы, такие как ограничения памяти и кэш- thrashing, которые вызывают задержки и снижают общую производительность.

Достижение низкой задержки имеет решающее значение для приложений ИИ в реальном времени, но многие традиционные системы испытывают трудности с поддержанием этого, особенно при использовании облачной инфраструктуры. Согласно отчету McKinsey, 70% проектов ИИ не достигают своих целей из-за проблем с качеством и интеграцией данных. Эти проблемы подчеркивают необходимость более эффективных и масштабируемых решений; именно здесь NVIDIA Dynamo входит в игру.

Оптимизация вывода ИИ с помощью NVIDIA Dynamo

NVIDIA Dynamo – это открытый, модульный каркас, который оптимизирует задачи вывода ИИ в распределенных средах с несколькими GPU. Он предназначен для решения общих проблем генеративных моделей ИИ и моделей рассуждения, таких как недоиспользование GPU, ограничения памяти и неэффективное маршрутизация запросов. Dynamo объединяет аппаратно-ориентированные оптимизации с инновациями в области программного обеспечения, чтобы решить эти проблемы, предлагая более эффективное решение для приложений ИИ с высоким спросом.

Одной из ключевых особенностей Dynamo является его архитектура с разделенным обслуживанием. Этот подход разделяет вычислительную фазу предварительного заполнения, которая обрабатывает контекстную обработку, от фазы декодирования, которая включает в себя генерацию токенов. Назначая каждую фазу отдельным кластерам GPU, Dynamo позволяет выполнять независимую оптимизацию. Фаза предварительного заполнения использует GPU с высокой памятью для более быстрого поглощения контекста, в то время как фаза декодирования использует GPU, оптимизированные для задержки, для эффективной передачи токенов. Это разделение улучшает производительность, делая модели, такие как Llama 70B, вдвое быстрее.

Он включает в себя планировщик ресурсов GPU, который динамически планирует выделение GPU на основе использования в реальном времени, оптимизируя нагрузку между кластерами предварительного заполнения и декодирования для предотвращения переоценки и простоя. Другой ключевой особенностью является маршрутизатор, осведомленный о кэше KV, который гарантирует, что входящие запросы направляются на GPU, содержащие соответствующие данные кэша KV, тем самым минимизируя избыточные вычисления и улучшая эффективность. Эта особенность особенно полезна для моделей рассуждения с несколькими шагами, которые генерируют больше токенов, чем стандартные большие языковые модели.

Библиотека передачи вывода NVIDIA (NIXL) – это еще один важный компонент, обеспечивающий связь с низкой задержкой между GPU и гетерогенными уровнями памяти/хранилища, такими как HBM и NVMe. Эта особенность поддерживает извлечение кэша KV за время менее миллисекунды, что имеет решающее значение для задач, чувствительных к времени. Распределенный менеджер кэша KV также помогает выгружать менее часто используемые данные кэша в системную память или SSD, освобождая память GPU для активных вычислений. Этот подход улучшает общую производительность системы до 30 раз, особенно для больших моделей, таких как DeepSeek-R1 671B.

NVIDIA Dynamo интегрируется с полным стеком NVIDIA, включая CUDA, TensorRT и Blackwell GPU, а также поддерживает популярные бэкенды вывода, такие как vLLM и TensorRT-LLM. Тесты показывают, что количество токенов на GPU в секунду для моделей, таких как DeepSeek-R1 на GB200 NVL72, увеличивается до 30 раз.

Как преемник сервера вывода Triton, Dynamo предназначен для “фабрик ИИ”, требующих масштабируемых и экономически эффективных решений для вывода. Он приносит пользу автономным системам, аналитике в реальном времени и рабочим процессам с несколькими моделями. Его открытая и модульная конструкция также позволяет легко настраивать, что делает его адаптируемым для различных рабочих нагрузок ИИ.

Реальные приложения и отраслевой эффект

NVIDIA Dynamo продемонстрировал свою ценность в отраслях, где вывод ИИ в реальном времени имеет решающее значение. Он улучшает автономные системы, анализ в реальном времени и “фабрики ИИ”, обеспечивая высокопроизводительные приложения ИИ.

Компании, такие как Together AI, использовали Dynamo для масштабирования рабочих нагрузок вывода, достигая увеличения емкости до 30 раз при запуске моделей DeepSeek-R1 на GPU NVIDIA Blackwell. Кроме того, умная маршрутизация запросов и планирование GPU Dynamo улучшают эффективность в крупномасштабных развертываниях ИИ.

Конкурентное преимущество: Dynamo против альтернатив

NVIDIA Dynamo предлагает ключевые преимущества перед альтернативами, такими как AWS Inferentia и Google (GOOGL ) TPUs. Он предназначен для эффективной обработки крупномасштабных рабочих нагрузок ИИ, оптимизируя планирование GPU, управление памятью и маршрутизацию запросов для улучшения производительности на нескольких GPU. В отличие от AWS Inferentia, которая тесно связана с облачной инфраструктурой AWS, Dynamo обеспечивает гибкость, поддерживая как гибридные облачные, так и локальные развертывания, помогая бизнесу избежать привязки к поставщику.

Одной из сильных сторон Dynamo является его открытая модульная архитектура, позволяющая компаниям настраивать каркас в соответствии со своими потребностями. Он оптимизирует каждый шаг вывода, гарантируя, что модели ИИ работают гладко и эффективно, используя доступные вычислительные ресурсы. Сосредоточившись на масштабируемости и гибкости, Dynamo подходит для предприятий, ищущих экономически эффективное и высокопроизводительное решение для вывода ИИ.

Итог

NVIDIA Dynamo революционизирует мир вывода ИИ, обеспечивая масштабируемое и эффективное решение проблем, с которыми сталкиваются бизнесы в приложениях ИИ в реальном времени. Его открытая и модульная конструкция позволяет оптимизировать использование GPU, лучше управлять памятью и более эффективно маршрутизировать запросы, что делает его идеальным для крупномасштабных задач ИИ. Отделяя ключевые процессы и позволяя GPU корректировать динамически, Dynamo увеличивает производительность и снижает затраты.

В отличие от традиционных систем или конкурентов, Dynamo поддерживает как гибридные облачные, так и локальные развертывания, обеспечивая бизнесу большую гибкость и снижая зависимость от любого поставщика. С его впечатляющей производительностью и адаптируемостью NVIDIA Dynamo устанавливает новый стандарт для вывода ИИ, предлагая компаниям передовое, экономически эффективное и масштабируемое решение для их потребностей в ИИ.