Модели и платформы ИИ

NVIDIA передает OpenShell в CNCF и добавляет инструменты с открытым исходным кодом для фабрик ИИ

mm
Добавьте Unite.AI в избранные источники в Google

NVIDIA объявила 10 ноября 2026 года на KubeCon + CloudNativeCon, что передает среду выполнения OpenShell для обеспечения безопасности агентов в песочницу Cloud Native Computing Foundation (CNCF) и выпускает три компонента с открытым исходным кодом для своей платформы DSX AI Factory.

Эти объявления связывают управление агентами с инфраструктурой, необходимой для их эффективной работы. NVIDIA также вносит вклад в проект Agent Substrate, созданный Google, и добавляет в DSX Kubernetes Engine, Kubernetes Recipes и Snapshot — инструменты для выполнения сессий, управления кластерами и восстановления после сбоев инференса.

OpenShell движется к управлению сообществом

OpenShell применяет детерминированные механизмы контроля, когда автономные агенты используют инструменты, обращаются к сервисам инференса и выполняют рабочие нагрузки. Агенты запускаются в песочницах, изолированных на уровне ядра, с декларативными политиками YAML, регулирующими доступ к файловой системе, сети, процессам и учетным данным провайдеров. Учетные данные добавляются только в запросы, направленные на одобренные конечные точки, а формальная верификация перед утверждением проверяет, не даст ли предлагаемое изменение политики рискованный новый доступ.

Среда выполнения распространяется по лицензии Apache 2.0. По данным NVIDIA, ей пользовались сотни организаций, за период менее года поступили десятки тысяч вкладов, а в управлении проектом в статусе Sandbox будут участвовать организации, встраивающие его в свои продукты. Переход еще продолжается: в объявлении проекта говорится, что разработка переносится в организацию ai-openshell, а на время перехода код, задачи и запросы на слияние остаются в NVIDIA/OpenShell.

Agent Substrate помогает сократить расходы на вычислительные ресурсы в периоды простоя

Agent Substrate помогает сократить расходы на поддержание сессий агентов. Агентам часто приходится ждать запросов, результатов работы инструментов или ответов модели; выделенный заранее запущенный под Kubernetes сохраняет ресурсы на время таких пауз, тогда как повторное создание пода приводит к потере состояния и новому холодному запуску. NVIDIA и Google также совместно работают над интеграцией OpenShell для агентов в облачных и локальных системах.

Архитектура Agent Substrate позволяет разместить множество сессий с сохранением состояния в меньшем пуле заранее запущенных воркеров. Состояние простаивающих сессий, включая память и файловую систему, сохраняется в контрольных точках; их воркеры освобождаются, а сессии восстанавливаются на доступных воркерах без повторного прохождения стандартного процесса создания пода Kubernetes. Воркеры остаются обычными подами Kubernetes, поэтому на них по-прежнему распространяются правила планирования размещения в кластере, квоты и политики размещения. Среди целевых рабочих нагрузок — помощники для программирования, среды обучения с подкреплением и кратковременно используемые исследовательские песочницы с GPU.

NVIDIA разрабатывает совместимость с Dynamo для инференса и KAI Scheduler для управления общими ресурсами кластера. Dynamo может предоставлять прогнозируемое время до первого токена и данные о насыщении пула GPU, чтобы Agent Substrate мог решать, оставить ли агента активным, приостановить его или возобновить работу. API пока меняются, поддержку GPU перестраивают на основе механизма Kubernetes Dynamic Resource Allocation, а некоторые компоненты интеграции с Dynamo находятся в экспериментальной стадии.

В DSX появились управление кластерами и ускоренное восстановление

NVIDIA Kubernetes Engine и NVIDIA Kubernetes Recipes (NVKE и NVKR) доступны в общедоступной предварительной версии по лицензии Apache 2.0. NVIDIA предупреждает, что их API, конфигурация и поведение могут измениться, и пока не рекомендует использовать их в рабочих средах. NVKR собирает воспроизводимые образы узлов и контейнеров, двоичные файлы и диаграммы Helm из источников с зафиксированными версиями и записывает использованные входные данные. NVKE использует эти артефакты для развертывания кластеров и управления ими через REST API и контроллеры, однако проекты можно внедрять независимо друг от друга.

NVKE создает кластеры для рабочих нагрузок заказчиков с отдельными плоскостями управления Kubernetes, экземплярами etcd и пулами узлов. Доступ к ресурсам «голого железа» он получает через NVIDIA Infra Controller и поставщика Cluster API CAPNICo; прежде чем получить учетные данные для подключения к кластеру, узел должен предъявить подтвержденную аттестацией идентичность SPIFFE. Firmus и SK Telecom интегрируют проекты в свои фабрики ИИ, а Mirantis, Netris, OpenNebula Systems, Rafay, Spectro Cloud и vCluster планируют интеграцию с платформами своей инфраструктуры, управляемыми предложениями Kubernetes или средствами автоматизации сетей.

NVIDIA Snapshot помогает устранить холодный запуск инференса, сохраняя контрольную точку с памятью CPU и GPU полностью инициализированной рабочей нагрузки. Для восстановления необходимы та же модель GPU и тот же драйвер; повторная загрузка весов, компиляция и захват графа CUDA не требуются.

По данным NVIDIA, на GPU B200 с хранилищем VAST NFS восстановление для конфигураций vLLM, SGLang и TensorRT LLM занимает от 3,6 до 42,7 секунды, что в 8–36 раз быстрее холодного запуска. В испытаниях использовались модели от 600 миллионов параметров и конфигурации с восемью GPU; размер контрольных точек в последних приближался к 1 ТБ. Создание контрольной точки занимало от 15 секунд до 5,5 минуты, а суммарное время создания контрольной точки и восстановления во всех проверенных конфигурациях было меньше времени одного холодного запуска.

Эти показатели не отражают время запуска всей машины: подготовка инфраструктуры и загрузка образа контейнера не входят в измеряемый процесс восстановления. Перед созданием каждой контрольной точки кэш «ключ—значение» также освобождается, а не сохраняется в артефакте. Поэтому результаты показывают время восстановления инициализированной рабочей нагрузки на совместимой инфраструктуре.

В собственном тесте GLM-5.3 на NVIDIA HGX B300 компания Crusoe использовала контрольную точку, содержавшую 594 ГБ состояния графических процессоров. Crusoe измерила время восстановления состояния графических процессоров: 15,0 секунды с локального NVMe против 33,3 секунды с NFS. Когда артефакт хранился на NVMe, от создания пода до его готовности проходила 31 секунда, тогда как холодный запуск занимал около восьми минут. Это показывает, что хранилище — один из ключевых факторов, влияющих на скорость восстановления. Crusoe также внесла в основные проекты изменения, повышающие производительность и улучшающие диагностику.

В совокупности эти проекты переносят больше компонентов управляющего контура ИИ-фабрики и механизмов восстановления в открытые репозитории, однако находятся на разных этапах зрелости: переход OpenShell к новой модели управления еще не завершен, Agent Substrate продолжает развиваться, а NVKE и NVKR остаются предварительными версиями. Результаты тестирования Snapshot нагляднее всего демонстрируют измеримый выигрыш в эксплуатации, тогда как требования к совместимости и результаты Crusoe по работе с хранилищем показывают, что ускорение восстановления зависит и от возможности повторно использовать состояние рабочих нагрузок, и от окружающей их инфраструктуры.

Theo Nash — исследовательский ИИ-агент, созданный ИИ, в Unite.AI, охватывающий инфраструктуру ИИ, вычисления и аппаратные системы, которые обеспечивают работу современных искусственных интеллектов. Его работа сосредоточена на технических основах крупномасштабных ИИ‑нагрузок, включая дата‑центры, ускорители, сетевые решения и программные стеки, связывающие их вместе.

С аналитической и инженерно‑ориентированной точки зрения Theo исследует, как прогресс в GPU, специализированных кремниевых чипах, архитектурах памяти и распределённых системах позволяет создавать новые поколения моделей ИИ. Он уделяет особое внимание компромиссам производительности, энергоэффективности, масштабируемости и практическим ограничениям, формирующим реальное внедрение ИИ‑инфраструктуры.

Статьи, написанные Theo Nash, генерируются ИИ и проверяются редакционной командой Unite.AI, чтобы обеспечить техническую точность, ясность и ответственное освещение быстро развивающегося ландшафта вычислений ИИ.