Isaac ROS 5.0 от NVIDIA добавляет агентные навыки и поддержку ROS Lyrical

NVIDIA выпустила Isaac ROS 5.0, набор пакетов с ускорением на GPU, построенных на открытом фреймворке ROS, 22 сентября 2026 года на конференции ROSCon в Торонто, добавив агентные рабочие процессы разработки, поддержку платформы ROS Lyrical и Ubuntu 24.04, а также новые возможности восприятия.

ROS — проект компании Open Robotics, который предоставляет открытое фундаментальное основание для большинства современных разработок в робототехнике, предлагая разработчикам общие инструменты, библиотеки и стандарты для создания и соединения робототехнических приложений. NVIDIA заявила, что Isaac ROS предоставляет её ускоренные вычисления, физические AI‑модели и готовые к производству библиотеки почти 1,3 млн пользователям ROS.

Isaac ROS 5.0 вводит поддержку ROS Lyrical и Ubuntu 24.04, предоставляя разработчикам путь к внедрению новейшей платформы ROS при сохранении ускорения тяжёлых робототехнических задач с помощью вычислений NVIDIA. Выпуск доступен уже сейчас, бесплатно и с открытым исходным кодом, с документацией и материалами для начала работы на GitHub.

Агентные навыки и модели восприятия

В выпуске представлены новые навыки NVIDIA Isaac для настройки и манипуляций, которые, по словам NVIDIA, являются переиспользуемыми рабочими процессами, позволяющими разработчикам и AI‑агентам выполнять задачи разработки робототехники. NVIDIA отметила, что документация, готовая для агентов, упрощает AI‑агентам понимание инструментов и процессов Isaac ROS, ускоряя превращение намерений разработчика в работающие приложения.

Среди новых навыков NVIDIA заявила, что навык тонкой настройки FoundationStereo позволяет AI‑агенту адаптировать стерео‑модель восприятия под камеры, окружение и робототехническое приложение разработчика, чтобы добиться более точного восприятия при заданной конфигурации датчиков. FoundationPose, базовая модель NVIDIA для оценки позы объектов и их отслеживания, теперь предоставляет готовую для агентов библиотеку вывода, которая, по словам NVIDIA, позволяет роботам воспринимать и отслеживать положение и ориентацию объектов в 5,5 раз быстрее.

Pick and place, типичный рабочий процесс, объединяющий обнаружение, оценку глубины и вывод позы, теперь доступен как отдельный, готовый для агентов навык, который разработчики роботов могут использовать и вне Isaac ROS.

Нейтральный к поставщикам транспорт памяти в ROS Lyrical

NVIDIA совместно с Open Source Robotics Alliance разработала стандартный интерфейс обработки данных для ROS Lyrical, который, по словам NVIDIA, помогает робототехническому программному обеспечению эффективно работать на различном вычислительном оборудовании, включая GPU. Доступный всему сообществу ROS, этот интерфейс предоставляет разработчикам единый способ ускорять тяжёлые робототехнические приложения, при этом CUDA служит рабочим примером ускорения на GPU.

Альянс описывает внесённую функцию rosidl::buffer как одну из ключевых возможностей ROS Lyrical Luth, последнего выпуска ROS с длительной поддержкой, который появился 23 мая 2026 года. Инициированная и предоставленная NVIDIA, эта функция обеспечивает ускоренную передачу между памятью CPU, памятью GPU или любой другой доменной памятью, предоставляемой поставщиком, используя единый способ представления и транспортировки внешне управляемой памяти, что устраняет необходимость создавать новый тип сообщения для каждого ускорителя или библиотеки.

По словам альянса, дизайн сохраняет стандартные сообщения ROS, издателей, подписчиков, границы узлов и посредническое программное обеспечение ROS, а реализации посредников могут загружать бекэнды буфера как плагины. Поставщики могут создавать библиотеки буфера, предоставляющие разработчикам безопасный пользовательский доступ к типу аппаратной памяти, а пакеты конвертации могут адаптировать сообщения ROS к таким фреймворкам, как PyTorch или CV‑CUDA. Альянс отмечает, что транспорт без копирования доступен как путь, зависящий от бекэнда, а не как универсальная гарантия, в зависимости от таких факторов, как совместимость узлов, локальность, транспорт и возможности памяти.

В посте от 20 сентября 2026 года на сайте Open Source Robotics Alliance руководитель проекта ROS Майкл Дж. Кэрролл заявил: «NVIDIA действительно является образцом в том, как они реализовали работу с буфером. Они не просто переложили её на нас, а инициировали широкое сотрудничество и участие сообщества».

Интеграции экосистемы и развертывание на роботе

В выпуске NVIDIA описывается робототехническая экосистема, уже расширяющая этот агентный подход. AgenticROS, открытый проект, спонсируемый компанией RealSense, занимающейся 3D‑перцепцией, соединяет Isaac ROS с открытыми моделями NVIDIA Nemotron и чертежами NemoClaw, позволяя AI‑агентам взаимодействовать с роботами на базе ROS. RealSense также оптимизирует свои AI‑родные 3D стерео‑камеры глубины, включая RealSense D585 Pro, и предоставляет открытый набор средств разработки программного обеспечения для Isaac ROS и платформы Edge AI Jetson Thor.

Open Machine Tending Solution от Intrinsic, эталонное приложение для обслуживания станков с ЧПУ и часть недавно выпущенного открытого пакета Intrinsic Core, включает встроенную совместимость с FoundationPose для мгновенной регистрации объектов, их отслеживания и оценки позы. Magna использует Isaac ROS в качестве модульного, ускоренного на GPU основания для робототехнического восприятия, синхронного сбора данных и развертывания модели Isaac GR00T, в паре с тестированием Isaac Sim в режиме аппаратного моделирования в реальном времени. Seeed Studio комбинирует Isaac ROS со своей рукой reBot Arm, запуская ускоренное восприятие, пространственное понимание и планирование движений на Jetson Thor.

Ekumen, компания Grid Dynamics, использует ускоренные GPU пакеты Isaac ROS в существующих стэках ROS и Nav2 для повышения точности стыковки, 3D‑обнаружения препятствий, визуальной локализации и планирования движения в реальном времени. В публикации сообщается, что Ekumen использует isaac_ros_cumotion GPU для построения пути без столкновений для складского манипулятора за примерно 2–5 миллисекунд. Flexiv интегрирует Isaac ROS со своим адаптивным роботом Rizon 4, переходя от тестовых приложений в Isaac Sim к их развертыванию на физическом роботе.

Foxglove, партнер Isaac ROS, объединяет веб‑ и десктоп‑инструменты для визуализации и отладки живых ROS‑приложений в рамках учебных материалов Isaac ROS. Инструмент управления пакетами Pixi от Prefix.dev создаёт воспроизводимые среды разработки роботов, объединяя ROS с платформой CUDA. Ouster интегрирует стереокамеры ZED от Stereolabs в Isaac ROS, обеспечивая ускоренное GPU восприятие для обнаружения объектов, картографии и навигации в реальном времени.

Isaac ROS 5.0 поддерживает масштабируемые вычисления, от начального уровня Jetson Orin Nano до высокопроизводительных устройств Jetson Thor. NVIDIA описывает Jetson как масштабируемую вычислительную платформу для запуска физического AI‑стека на краю, и отмечает, что робототехнические компании уже используют сочетание Isaac ROS и Jetson, чтобы перенести больше AI‑обработки непосредственно на свои машины.

Mentee Robotics использует Isaac ROS в качестве основы восприятия и ИИ для своего гуманоидного MenteeBot, с общей программной базой для платформ Jetson Orin и Jetson Thor. Universal Robots встроила Isaac ROS в свой набор средств разработки AI Accelerator, работающий на Jetson на краю, чтобы помочь интеграторам развертывать продвинутые возможности восприятия и движения без необходимости разрабатывать сложное робототехническое программное обеспечение с нуля.

ROBOTIS, разработчик ROS‑базированного TurtleBot3, интегрирует Isaac ROS в своего робота AI Worker, используя ускоренное GPU восприятие объектов для задач манипуляции с визуальным управлением, включая захват, размещение и выравнивание. FieldAI внедряет Isaac ROS на устройствах Jetson для своих фундаментальных моделей роботов, которые могут полностью работать на роботах без зависимости от облачной связи. Noble Machines использует Isaac ROS на Jetson для ускорения разработки универсальных роботов для промышленных применений.

Open Source Robotics Alliance приглашает разработчиков создавать совместимые буферные бэкенды и пакеты конвертации, распространять их под открытыми лицензиями и присоединяться к рабочей группе по ускоренной передаче памяти, которая собирается каждую вторую неделю.