Isaac ROS 5.0 firmy NVIDIA dodaje umiejętności agentowe i wsparcie ROS Lyrical

NVIDIA wypuściła Isaac ROS 5.0, zbiór przyspieszonych pakietów GPU opartych na otwartym frameworku ROS, 22 września 2026 roku na konferencji ROSCon w Toronto, dodając agentowe przepływy pracy, wsparcie dla platformy ROS Lyrical oraz Ubuntu 24.04 oraz nowe możliwości percepcji.

ROS jest projektem Open Robotics, który zapewnia otwartą podstawę dla większości nowoczesnego rozwoju robotyki, dając programistom wspólne narzędzia, biblioteki i standardy do budowania i łączenia aplikacji robotycznych. NVIDIA stwierdziła, że Isaac ROS wprowadza przyspieszone obliczenia, modele fizycznego AI oraz gotowe do produkcji biblioteki dla prawie 1,3 miliona użytkowników ROS.

Isaac ROS 5.0 wprowadza wsparcie dla ROS Lyrical i Ubuntu 24.04, dając programistom możliwość przyjęcia najnowszej platformy ROS przy jednoczesnym przyspieszaniu wymagających obciążeń robotycznych dzięki obliczeniom NVIDIA. Wydanie jest dostępne już teraz, bezpłatne i otwarte, z dokumentacją oraz materiałami wprowadzającymi na GitHubie.

Umiejętności agentowe i modele percepcji

Wydanie wprowadza nowe umiejętności NVIDIA Isaac do konfiguracji i manipulacji, które NVIDIA opisała jako wielokrotnego użytku przepływy pracy, z których programiści i agenci AI mogą korzystać przy realizacji zadań rozwoju robotyki. NVIDIA podkreśliła, że dokumentacja gotowa dla agentów ułatwia także agentom AI zrozumienie narzędzi i przepływów pracy Isaac ROS, przekształcając intencje programistów w działające aplikacje szybciej.

Wśród nowych umiejętności NVIDIA wspomniała, że umiejętność dostrajania FoundationStereo umożliwia agentowi AI pomoc w adaptacji modelu percepcji stereoskopowej do kamer, środowiska i aplikacji robotycznej programisty, dzięki czemu programiści mogą uzyskać dokładniejszą percepcję przy danej konfiguracji czujników. FoundationPose, model bazowy NVIDIA do estymacji i śledzenia położenia obiektów, teraz udostępnia bibliotekę inferencji gotową dla agentów, która, według NVIDIA, pozwala robotom postrzegać i śledzić pozycję oraz orientację obiektów nawet 5,5‑krotnie szybciej.

Pick i place, powszechny przepływ pracy łączący wykrywanie, estymację głębokości i wyjście położenia, jest teraz dostępny jako samodzielna, gotowa dla agentów umiejętność, z której programiści robotów mogą korzystać poza Isaac ROS.

Transport pamięci niezależny od dostawcy w ROS Lyrical

NVIDIA współpracowała z Open Source Robotics Alliance, aby wnieść standardowy interfejs obsługi danych do ROS Lyrical, który, jak twierdzi NVIDIA, pomaga oprogramowaniu robotycznemu działać wydajnie na różnych platformach sprzętowych, w tym GPU. Dostępny całej społeczności ROS, interfejs zapewnia programistom spójny sposób przyspieszania wymagających aplikacji robotycznych, przy czym CUDA stanowi działający przykład przyspieszenia GPU.

Sojusz opisuje wprowadzoną funkcję rosidl::buffer jako jedną z kluczowych cech ROS Lyrical Luth, najnowszego wydania ROS o długoterminowym wsparciu, które pojawiło się 23 maja 2026 roku. Zainicjowana i wniesiona przez NVIDIA, funkcja umożliwia przyspieszony transfer między pamięcią CPU, pamięcią GPU lub dowolną inną domeną pamięci dostarczaną przez dostawcę, wykorzystując wspólną kompozycję do reprezentacji i transportu zewnętrznie zarządzanej pamięci, co eliminuje konieczność tworzenia nowego typu wiadomości dla każdego akceleratora lub biblioteki.

Według sojuszu, projekt zachowuje standardowe wiadomości ROS, wydawców, subskrybentów, granice węzłów oraz pośrednictwo ROS, a implementacje pośrednictwa mogą ładować backendy bufora jako wtyczki. Dostawcy mogą tworzyć biblioteki bufora, które zapewniają programistom bezpieczny, przyjazny użytkownikowi dostęp do typu pamięci sprzętowej, a pakiety konwersji mogą adaptować wiadomości ROS do frameworków takich jak PyTorch czy CV-CUDA. Sojusz zauważa, że transport zero-copy jest dostępny jako ścieżka zależna od backendu, a nie jako uniwersalna gwarancja, zależnie od zmiennych takich jak kompatybilność partnerów, lokalność, transport i możliwości pamięci.

W poście z 20 września 2026 roku na stronie Open Source Robotics Alliance, lider projektu ROS Michael J. Carroll powiedział: “NVIDIA naprawdę była wzorem w tym, jak podeszła do implementacji pracy nad buforem. Nie po prostu odrzuciła to na nas, lecz zainicjowała wiele współpracy i wkładu ze strony społeczności.”

Integracje ekosystemu i wdrożenia na robotach

Wydanie NVIDIA opisuje ekosystem robotyczny, który już rozszerza to podejście agentowe. AgenticROS, projekt open source sponsorowany przez firmę technologiczną RealSense specjalizującą się w percepcji 3D, łączy Isaac ROS z otwartymi modelami NVIDIA Nemotron oraz schematami NemoClaw, umożliwiając agentom AI interakcję z robotami opartymi na ROS. RealSense optymalizuje także swoje natywne dla AI kamery stereoskopowe 3D, w tym RealSense D585 Pro, oraz otwartą platformę SDK dla Isaac ROS i edge’owej platformy AI Jetson Thor.

Rozwiązanie Open Machine Tending firmy Intrinsic, referencyjna aplikacja do obsługi maszyn sterowanych numerycznie oraz część nowo wydanej otwartoźródłowej paczki Intrinsic Core, zawiera wbudowaną kompatybilność z FoundationPose dla natychmiastowej rejestracji obiektów, śledzenia i szacowania pozycji. Magna używa Isaac ROS jako modułowej, przyspieszonej GPU bazy dla percepcji robotycznej, synchronizowanego zbierania danych i Isaac GR00T wdrożenie modelu, połączone z testowaniem sprzętowym w pętli w Isaac Sim. Seeed Studio łączy Isaac ROS z swoim reBot Arm, uruchamiając przyspieszoną percepcję, zrozumienie przestrzenne i planowanie ruchu na Jetson Thor.

Ekumen, firma należąca do Grid Dynamics, wykorzystuje przyspieszone pakiety Isaac ROS na GPU w istniejących stosach ROS i Nav2, aby poprawić precyzyjne dokowanie, wykrywanie przeszkód w 3D, wizualną lokalizację oraz planowanie ruchu w czasie rzeczywistym. W poście podano, że Ekumen używa isaac_ros_cumotion GPU do wyznaczania ścieżki wolnej od kolizji dla ramienia magazynowego w przybliżeniu od 2 do 5 milisekund. Flexiv integruje Isaac ROS ze swoim adaptacyjnym robotem Rizon 4, tworząc ścieżkę od testowania aplikacji w Isaac Sim po wdrożenie ich na fizycznym robocie.

Foxglove, partner Isaac ROS, integruje narzędzia internetowe i desktopowe do wizualizacji oraz debugowania działających aplikacji ROS w ramach samouczków Isaac ROS. Narzędzie do zarządzania pakietami Pixi od Prefix.dev tworzy odtwarzalne środowiska rozwoju robotów, łącząc ROS z platformą CUDA. Ouster integruje stereokamery ZED od Stereolabs z Isaac ROS, aby zapewnić przyspieszoną na GPU percepcję w czasie rzeczywistym dla wykrywania obiektów, mapowania i nawigacji.

Isaac ROS 5.0 obsługuje skalowalne przetwarzanie, od podstawowego Jetson Orin Nano po wysokowydajne urządzenia Jetson Thor. NVIDIA opisuje Jetson jako skalowalną platformę obliczeniową do uruchamiania fizycznego stosu AI na krawędzi i stwierdziła, że firmy robotyczne już wykorzystują połączenie Isaac ROS i Jetson, aby przenieść większe przetwarzanie AI bezpośrednio na ich maszyny.

Mentee Robotics używa Isaac ROS jako podstawy percepcji i AI swojego humanoidalnego MenteeBot, z wspólną bazą oprogramowania na platformach Jetson Orin i Jetson Thor. Universal Robots wbudował Isaac ROS w swój zestaw SDK AI Accelerator, zasilany przez Jetson na krawędzi, aby pomóc integratorom wdrażać zaawansowane możliwości percepcji i ruchu bez konieczności tworzenia skomplikowanego oprogramowania robotycznego od podstaw.

ROBOTIS, twórca TurtleBot3 opartego na ROS, integruje Isaac ROS w swoim robocie AI Worker, wykorzystując przyspieszoną na GPU percepcję obiektów do zadań manipulacji sterowanej wizją, w tym podnoszenia, umieszczania i wyrównywania. FieldAI integruje Isaac ROS na urządzeniach Jetson dla swoich modeli podstawowych robotów, które mogą działać w pełni na robotach bez konieczności połączenia z chmurą. Noble Machines używa Isaac ROS na Jetson, aby przyspieszyć rozwój robotów ogólnego przeznaczenia dla zastosowań przemysłowych.

Open Source Robotics Alliance zaprasza deweloperów do tworzenia kompatybilnych backendów buforowych i pakietów konwersji, udostępniania ich na licencjach open source oraz dołączenia do grupy roboczej przyspieszonego transportu pamięci, która spotyka się co dwa tygodnie.