Isaac ROS 5.0 firmy NVIDIA dodaje umiejętności agentowe i wsparcie ROS Lyrical

NVIDIA wypuściła Isaac ROS 5.0, zbiór przyspieszonych pakietów GPU opartych na otwartym frameworku ROS, 22 września 2026 r. na konferencji ROSCon w Toronto, wprowadzając agentowe przepływy pracy, wsparcie platformy ROS Lyrical oraz Ubuntu 24.04 oraz nowe możliwości percepcji.

ROS jest projektem firmy Open Robotics, który zapewnia otwartą podstawę dla większości nowoczesnych prac nad robotyką, dając programistom wspólne narzędzia, biblioteki i standardy do tworzenia i łączenia aplikacji robotycznych. NVIDIA podała, że Isaac ROS dostarcza przyspieszone obliczenia, modele fizycznej sztucznej inteligencji oraz gotowe do produkcji biblioteki do prawie 1,3 miliona użytkowników ROS.

Isaac ROS 5.0 wprowadza wsparcie dla ROS Lyrical i Ubuntu 24.04, dając programistom możliwość przyjęcia najnowszej platformy ROS przy jednoczesnym przyspieszaniu wymagających obciążeń robotycznych dzięki obliczeniom NVIDIA. Wydanie jest dostępne już teraz, bezpłatne i otwarte, a dokumentacja oraz materiały wprowadzające dostępne są na GitHubie.

Umiejętności agentowe i modele percepcyjne

Wydanie wprowadza nowe umiejętności NVIDIA Isaac do konfiguracji i manipulacji, które NVIDIA opisuje jako wielokrotnego użytku przepływy pracy, z których programiści i agenci SI mogą korzystać przy realizacji zadań rozwoju robotyki. NVIDIA podkreśliła, że dokumentacja gotowa dla agentów ułatwia agentom SI zrozumienie narzędzi i przepływów pracy Isaac ROS, przekształcając zamiary programistów w działające aplikacje szybciej.

Wśród nowych umiejętności NVIDIA wspomniała, że umiejętność dostrajania FoundationStereo umożliwia agentowi SI pomoc w adaptacji modelu percepcji stereoskopowej do kamer, środowiska i aplikacji robotycznej programisty, dzięki czemu programiści mogą uzyskać dokładniejszą percepcję dla danej konfiguracji czujników. FoundationPose, model bazowy NVIDIA do szacowania i śledzenia położenia obiektów, teraz udostępnia bibliotekę wnioskowania gotową dla agentów, która, według NVIDIA, pozwala robotom postrzegać i śledzić pozycję oraz orientację obiektów nawet 5,5‑krotnie szybciej.

Pick and place, typowy przepływ pracy łączący wykrywanie, estymację głębokości i wyjście położenia, jest teraz dostępny jako samodzielna, gotowa dla agentów umiejętność, z której programiści robotów mogą korzystać poza Isaac ROS.

Transport pamięci neutralny względem dostawcy w ROS Lyrical

NVIDIA współpracowała z Open Source Robotics Alliance, aby wnieść standardowy interfejs obsługi danych do ROS Lyrical, który, jak twierdzi NVIDIA, pomaga oprogramowaniu robotycznemu działać wydajnie na różnych platformach sprzętowych, w tym GPU. Dostępny całej społeczności ROS, interfejs zapewnia programistom spójny sposób przyspieszania wymagających aplikacji robotycznych, przy czym CUDA stanowi działający przykład przyspieszenia GPU.

Sojusz opisuje wprowadzoną funkcję rosidl::buffer jako jedną z kluczowych cech ROS Lyrical Luth, najnowszego wydania ROS z długoterminowym wsparciem, które pojawiło się 23 maja 2026 r. Zainicjowana i wniesiona przez NVIDIA, funkcja umożliwia przyspieszony transfer między pamięcią CPU, pamięcią GPU lub dowolną inną domeną pamięci udostępnianą przez dostawcę, wykorzystując wspólną strukturę do reprezentacji i transportu pamięci zarządzanej zewnętrznie, co eliminuje konieczność tworzenia nowego typu wiadomości dla każdego akceleratora lub biblioteki.

Według sojuszu, projekt zachowuje standardowe wiadomości ROS, wydawców, subskrybentów, granice węzłów oraz pośrednictwo ROS, a implementacje pośredników mogą ładować zaplecza bufora jako wtyczki. Dostawcy mogą tworzyć biblioteki bufora, które zapewniają programistom bezpieczny, przyjazny użytkownikowi dostęp do typu pamięci sprzętowej, a pakiety konwersji mogą dostosowywać wiadomości ROS do frameworków takich jak PyTorch czy CV-CUDA. Sojusz zauważa, że transport zero-copy jest dostępny jako ścieżka zależna od zaplecza, a nie jako uniwersalna gwarancja, w zależności od zmiennych takich jak kompatybilność partnerów, lokalność, transport i możliwości pamięci.

W poście z 20 września 2026 r. na stronie Open Source Robotics Alliance, lider projektu ROS Michael J. Carroll powiedział: “NVIDIA naprawdę jest wzorem w tym, jak podeszła do wdrożenia pracy nad buforem. Nie po prostu odrzuciła to na nas, lecz zainicjowała wiele współpracy i wkładu ze strony społeczności.”

Integracje ekosystemu i wdrożenia na robotach

Wydanie NVIDIA opisuje ekosystem robotyczny już rozszerzający to podejście agentowe. AgenticROS, projekt open source sponsorowany przez firmę technologiczną RealSense specjalizującą się w percepcji 3D, łączy Isaac ROS z otwartymi modelami NVIDIA Nemotron oraz planami NemoClaw, umożliwiając agentom SI interakcję z robotami opartymi na ROS. RealSense optymalizuje także swoje natywne dla SI kamery stereoskopowe 3D, w tym RealSense D585 Pro, oraz otwartą platformę SDK dla Isaac ROS i edge’owej platformy AI Jetson Thor.

Open Machine Tending Solution firmy Intrinsic, aplikacja referencyjna do obsługi maszyn sterowanych numerycznie i część nowo wydanego otwartego zestawu Intrinsic Core, zawiera wbudowaną kompatybilność z FoundationPose umożliwiającą natychmiastową rejestrację obiektów, śledzenie i estymację pozy. Magna wykorzystuje Isaac ROS jako modułową, przyspieszaną przez GPU podstawę dla percepcji robotycznej, zsynchronizowanego zbierania danych i wdrażania modelu Isaac GR00T, w połączeniu z testowaniem sprzętowo‑w‑pętli w Isaac Sim. Seeed Studio łączy Isaac ROS ze swoim ramieniem reBot Arm, uruchamiając przyspieszoną percepcję, rozumienie przestrzeni i planowanie ruchu na Jetson Thor.

Ekumen, firma należąca do Grid Dynamics, wykorzystuje przyspieszone GPU pakiety Isaac ROS w istniejących stosach ROS i Nav2, aby poprawić precyzyjne dokowanie, wykrywanie przeszkód 3D, wizualną lokalizację oraz planowanie ruchu w czasie rzeczywistym. W poście podano, że Ekumen używa isaacroscumotion na GPU do wyznaczania ścieżki wolnej od kolizji dla ramienia magazynowego w przybliżeniu 2‑5 milisekund. Flexiv integruje Isaac ROS ze swoim adaptacyjnym robotem Rizon 4, tworząc ścieżkę od testowania aplikacji w Isaac Sim po ich wdrożenie na fizycznym robocie.

Foxglove, partner Isaac ROS, integruje narzędzia internetowe i desktopowe do wizualizacji oraz debugowania bieżących aplikacji ROS w ramach tutoriali Isaac ROS. Narzędzie do zarządzania pakietami Pixi firmy Prefix.dev tworzy odtwarzalne środowiska rozwoju robotów, łącząc ROS z platformą CUDA. Ouster integruje stereokamery ZED firmy Stereolabs z Isaac ROS, aby zapewnić przyspieszoną GPU percepcję dla wykrywania obiektów w czasie rzeczywistym, mapowania i nawigacji.

Isaac ROS 5.0 obsługuje skalowalną moc obliczeniową, od podstawowego Jetson Orin Nano po wysokowydajne urządzenia Jetson Thor. NVIDIA opisuje Jetson jako skalowalną platformę obliczeniową do uruchamiania fizycznego stosu AI na brzegu, i podała, że firmy robotyczne już wykorzystują połączenie Isaac ROS i Jetson, aby przenieść więcej przetwarzania AI bezpośrednio na ich maszyny.

Mentee Robotics wykorzystuje Isaac ROS jako podstawę percepcji i AI swojego humanoidalnego MenteeBota, z wspólną bazą oprogramowania na platformach Jetson Orin i Jetson Thor. Universal Robots wbudował Isaac ROS w swój zestaw SDK AI Accelerator, zasilany przez Jetson na brzegu, aby pomóc integratorom wdrażać zaawansowane możliwości percepcji i ruchu bez konieczności tworzenia skomplikowanego oprogramowania robotycznego od podstaw.

ROBOTIS, twórca opartego na ROS TurtleBot3, integruje Isaac ROS w swoim robocie AI Worker, wykorzystując przyspieszoną GPU percepcję obiektów do zadań manipulacji sterowanej wizją, w tym podnoszenia, umieszczania i wyrównywania. FieldAI integruje Isaac ROS na urządzeniach Jetson dla swoich modeli podstawowych robotów, które mogą działać w pełni na robotach bez zależności od połączenia z chmurą. Noble Machines używa Isaac ROS na Jetson, aby przyspieszyć rozwój robotów ogólnego przeznaczenia dla zastosowań przemysłowych.

Open Source Robotics Alliance zaprasza programistów do tworzenia kompatybilnych backendów buforowych i pakietów konwersji, udostępniania ich na licencjach open source oraz dołączenia do grupy roboczej przyspieszonego transportu pamięci, która spotyka się co dwa tygodnie.