Isaac ROS 5.0 от NVIDIA добавляет агентные навыки и поддержку ROS Lyrical

NVIDIA выпустила Isaac ROS 5.0, набор пакетов с ускорением на GPU, построенных на открытой платформе ROS, 22 сентября 2026 года на конференции ROSCon в Торонто, добавив агентные рабочие процессы разработки, поддержку платформы ROS Lyrical и Ubuntu 24.04, а также новые возможности восприятия.

ROS — это проект компании Open Robotics, который предоставляет открытое основание для большинства современных разработок в области робототехники, предоставляя разработчикам общие инструменты, библиотеки и стандарты для создания и соединения робототехнических приложений. NVIDIA заявила, что Isaac ROS приносит её ускоренные вычисления, физические AI‑модели и готовые к производству библиотеки почти 1,3 млн. пользователей ROS.

Isaac ROS 5.0 вводит поддержку ROS Lyrical и Ubuntu 24.04, предоставляя разработчикам путь к использованию новейшей платформы ROS, одновременно ускоряя требовательные робототехнические нагрузки с помощью вычислений NVIDIA. Выпуск доступен уже сейчас, бесплатно и с открытым исходным кодом, с документацией и материалами для начала работы на GitHub.

Агентные навыки и модели восприятия

В выпуске представлены новые навыки NVIDIA Isaac для настройки и манипуляций, которые NVIDIA описывает как переиспользуемые рабочие процессы, которые разработчики и AI‑агенты могут использовать для выполнения задач разработки робототехники. NVIDIA заявила, что документация, готовая для агентов, также упрощает AI‑агентам понимание инструментов и рабочих процессов Isaac ROS, превращая намерения разработчиков в работающие приложения быстрее.

Среди новых навыков NVIDIA отметила, что навык тонкой настройки FoundationStereo позволяет AI‑агенту адаптировать стерео‑модель восприятия к камерам, окружению и робототехническому приложению разработчика, чтобы достичь более точного восприятия при заданной конфигурации сенсоров. FoundationPose, фундаментальная модель NVIDIA для оценки позы объектов и их отслеживания, теперь предоставляет библиотеку вывода, готовую для агентов, которая, по словам NVIDIA, позволяет роботам воспринимать и отслеживать положение и ориентацию объектов до 5,5 раз быстрее.

Pick‑and‑place, распространённый рабочий процесс, связывающий детекцию, оценку глубины и вывод позы, теперь доступен как отдельный, готовый для агентов навык, который разработчики роботов могут использовать и за пределами Isaac ROS.

Нейтральный к поставщикам транспорт памяти в ROS Lyrical

NVIDIA совместно с Open Source Robotics Alliance разработала стандартный интерфейс обработки данных для ROS Lyrical, который, по словам NVIDIA, помогает робототехническому программному обеспечению эффективно работать на разных вычислительных платформах, включая GPU. Доступный всему сообществу ROS, интерфейс предоставляет разработчикам единый способ ускорения требовательных робототехнических приложений, при этом CUDA служит рабочим примером ускорения на GPU.

Союз описывает внесённую функцию rosidl::buffer как одну из ключевых особенностей ROS Lyrical Luth, последнего выпуска ROS с долгосрочной поддержкой, который появился 23 мая 2026 года. Инициированная и внесённая NVIDIA, эта функция обеспечивает ускоренную передачу между оперативной памятью CPU, памятью GPU или любой другой областью памяти, предоставляемой поставщиком, используя общую схему представления и транспортировки внешне управляемой памяти, что устраняет необходимость создания нового типа сообщения для каждого ускорителя или библиотеки.

По данным альянса, дизайн сохраняет стандартные сообщения ROS, издателей, подписчиков, границы узлов и middleware ROS, а реализации middleware могут загружать backend‑библиотеки буфера как плагины. Поставщики могут создавать библиотеки буфера, предоставляющие разработчикам безопасный пользовательский доступ к типу аппаратной памяти, а пакеты конвертации могут адаптировать сообщения ROS к таким фреймворкам, как PyTorch или CV‑CUDA. Альянс отмечает, что транспорт без копирования доступен как путь, зависящий от backend‑а, а не как универсальная гарантия, в зависимости от факторов, таких как совместимость узлов, локальность, транспорт и возможности памяти.

В посте от 20 сентября 2026 года на сайте Open Source Robotics Alliance руководитель проекта ROS Майкл Дж. Кэрролл сказал: “NVIDIA действительно служит образцом в том, как они реализовали работу с буфером. Они не просто переложили её на нас, а инициировали широкое сотрудничество и участие сообщества”.

Интеграции экосистемы и развертывание на роботе

В выпуске NVIDIA описывается экосистема робототехники, уже расширяющая этот агентный подход. AgenticROS, открытый проект, спонсируемый компанией RealSense, занимающейся 3D‑перцепцией, соединяет Isaac ROS с открытыми моделями NVIDIA Nemotron и чертежами NemoClaw, позволяя AI‑агентам взаимодействовать с роботами на базе ROS. RealSense также оптимизирует свои AI‑нативные 3D‑стереокамеры глубины, включая RealSense D585 Pro, и предоставляет открытый набор средств разработки программного обеспечения для Isaac ROS и платформы edge‑AI Jetson Thor.

Open Machine Tending Solution от Intrinsic, референсное приложение для обслуживания станков с числовым программным управлением и часть недавно выпущенного открытого набора Intrinsic Core, включает встроенную совместимость с FoundationPose для мгновенной регистрации объектов, их отслеживания и оценки позы. Magna использует Isaac ROS как модульную, ускоряемую GPU основу для роботизированного восприятия, синхронного сбора данных и развертывания модели Isaac GR00T, в сочетании с аппаратно‑в‑цикл тестированием в Isaac Sim. Seeed Studio объединяет Isaac ROS со своим роботом‑манипулятором reBot Arm, запуская ускоренное восприятие, пространственное понимание и планирование движений на Jetson Thor.

Ekumen, компания группы Grid Dynamics, использует ускоряемые GPU пакеты Isaac ROS в существующих стэках ROS и Nav2 для повышения точности стыковки, 3‑D обнаружения препятствий, визуальной локализации и планирования движений в реальном времени. В сообщении указывается, что Ekumen применяет isaacroscumotion на GPU для построения пути без столкновений для складского манипулятора за примерно 2–5 миллисекунд. Flexiv интегрирует Isaac ROS со своим адаптивным роботом Rizon 4, переходя от тестовых приложений в Isaac Sim к их развертыванию на физическом роботе.

Foxglove, партнер Isaac ROS, объединяет веб‑ и настольные инструменты для визуализации и отладки живых ROS‑приложений в рамках учебных материалов Isaac ROS. Инструмент управления пакетами Pixi от Prefix.dev создает воспроизводимые среды разработки роботов, объединяя ROS с платформой CUDA. Ouster интегрирует стереокамеры Stereolabs ZED с Isaac ROS, обеспечивая ускоряемое GPU восприятие для обнаружения объектов, картографии и навигации в реальном времени.

Isaac ROS 5.0 поддерживает масштабируемые вычисления, от начального уровня Jetson Orin Nano до высокопроизводительных устройств Jetson Thor. NVIDIA описывает Jetson как масштабируемую вычислительную платформу для запуска физического AI‑стека на краю, и отмечает, что робототехнические компании уже используют сочетание Isaac ROS и Jetson, чтобы перенести больше AI‑обработки непосредственно в свои машины.

Mentee Robotics использует Isaac ROS в качестве восприятия и AI‑ядра своего гуманоидного MenteeBot, с общей программной основой для платформ Jetson Orin и Jetson Thor. Universal Robots встроила Isaac ROS в свой набор средств разработки AI Accelerator, работающий на Jetson на краю, чтобы помочь интеграторам развернуть продвинутое восприятие и возможности движения без необходимости разрабатывать сложное робототехническое программное обеспечение с нуля.

ROBOTIS, разработчик ROS‑базированного TurtleBot3, интегрирует Isaac ROS в своего робота‑помощника AI Worker, используя ускоряемое GPU восприятие объектов для задач манипуляции с визуальным управлением, включая захват, размещение и выравнивание. FieldAI внедряет Isaac ROS на устройствах Jetson для своих фундаментальных моделей роботов, которые могут полностью работать на роботах без зависимости от облачной связи. Noble Machines использует Isaac ROS на Jetson для ускорения разработки универсальных роботов для промышленных применений.

Open Source Robotics Alliance приглашает разработчиков создавать совместимые буферные бэкенды и пакеты конвертации, распространять их под открытыми лицензиями и присоединяться к рабочей группе по ускоренной передаче памяти, которая собирается каждую вторую неделю.