NVIDIAs Isaac ROS 5.0 ergänzt agentische Fähigkeiten und Unterstützung für ROS Lyrical

NVIDIA veröffentlichte am 22. September 2026 auf der ROSCon in Toronto Isaac ROS 5.0, eine Sammlung GPU-beschleunigter Pakete auf Grundlage des offenen ROS-Frameworks. Die Version ergänzt agentische Entwicklungsabläufe, Unterstützung für die Plattform ROS Lyrical und Ubuntu 24.04 sowie neue Wahrnehmungsfunktionen.

ROS ist ein Projekt von Open Robotics und bildet die quelloffene Grundlage für einen großen Teil der modernen Robotikentwicklung. Es stellt Entwicklern gemeinsame Werkzeuge, Bibliotheken und Standards bereit, um Roboteranwendungen zu erstellen und zu verbinden. Laut NVIDIA bringt Isaac ROS die beschleunigte Rechentechnik, physische KI-Modelle und produktionsreife Bibliotheken des Unternehmens zu fast 1,3 Millionen ROS-Nutzern.

Isaac ROS 5.0 unterstützt ROS Lyrical und Ubuntu 24.04. Entwickler können damit die neueste ROS-Plattform einsetzen und anspruchsvolle Robotikaufgaben weiterhin mit NVIDIA-Rechentechnik beschleunigen. Die Version ist ab sofort kostenlos und quelloffen verfügbar; Dokumentation und Einstiegsmaterial stehen auf GitHub bereit.

Agentische Fähigkeiten und Wahrnehmungsmodelle

Die Version führt neue NVIDIA-Isaac-Fähigkeiten für Einrichtung und Manipulation ein. NVIDIA beschreibt sie als wiederverwendbare Abläufe, mit denen Entwickler und KI-Agenten Aufgaben der Robotikentwicklung erledigen können. Für Agenten aufbereitete Dokumentation erleichtert es KI-Agenten laut NVIDIA außerdem, die Werkzeuge und Abläufe von Isaac ROS zu verstehen und die Absicht eines Entwicklers schneller in funktionierende Anwendungen umzusetzen.

Zu den neuen Fähigkeiten gehört laut NVIDIA die Feinabstimmung von FoundationStereo. Ein KI-Agent kann damit helfen, ein Stereo-Wahrnehmungsmodell an die Kameras, die Umgebung und die Robotikanwendung eines Entwicklers anzupassen, sodass sich für eine bestimmte Sensorkonfiguration eine genauere Wahrnehmung erzielen lässt. FoundationPose, NVIDIAs Grundlagenmodell zur Schätzung und Verfolgung der Objektpose, bietet jetzt eine für Agenten geeignete Inferenzbibliothek. Nach Angaben von NVIDIA können Roboter damit Position und Ausrichtung von Objekten bis zu 5,5-mal schneller erfassen und verfolgen.

Pick-and-Place, ein verbreiteter Ablauf, der Erkennung, Tiefenschätzung und Pose-Ausgabe verbindet, ist nun als eigenständige, für Agenten geeignete Fähigkeit verfügbar, die Roboterentwickler auch außerhalb von Isaac ROS einsetzen können.

Herstellerneutraler Speichertransport in ROS Lyrical

NVIDIA arbeitete mit der Open Source Robotics Alliance zusammen, um eine Standardschnittstelle zur Datenverarbeitung zu ROS Lyrical beizutragen. Nach Angaben von NVIDIA hilft sie Robotiksoftware, auf unterschiedlicher Rechenhardware einschließlich GPUs effizient zu arbeiten. Die Schnittstelle steht der gesamten ROS-Gemeinschaft zur Verfügung und bietet Entwicklern einen einheitlichen Weg zur Beschleunigung anspruchsvoller Robotikanwendungen; CUDA dient dabei als funktionsfähiges Beispiel für GPU-Beschleunigung.

Die Allianz bezeichnet die beigesteuerte Funktion rosidl::buffer als eine der Schlüsselfunktionen von ROS Lyrical Luth, der neuesten ROS-Version mit Langzeitunterstützung, die am 23. Mai 2026 erschien. Die von NVIDIA angestoßene und beigesteuerte Funktion ermöglicht beschleunigte Übertragungen zwischen CPU-Speicher, GPU-Speicher oder jedem anderen von einem Anbieter bereitgestellten Speicherbereich. Eine gemeinsame Struktur zur Darstellung und Übertragung extern verwalteten Speichers macht es überflüssig, für jeden Beschleuniger oder jede Bibliothek einen neuen Nachrichtentyp zu erstellen.

Laut der Allianz bleiben die üblichen ROS-Nachrichten, Publisher, Subscriber, Knotengrenzen und die ROS-Middleware erhalten; Middleware-Implementierungen können die Speicher-Backends als Plugins laden. Anbieter können Speicherbibliotheken erstellen, die Entwicklern einen sicheren und benutzerfreundlichen Zugriff auf einen Hardware-Speichertyp geben. Konvertierungspakete können ROS-Nachrichten an Frameworks wie PyTorch oder CV-CUDA anpassen. Die Allianz weist darauf hin, dass der Transport ohne Kopien als vom Backend abhängiger Pfad verfügbar ist und keine universelle Garantie darstellt. Er hängt von Faktoren wie Peer-Kompatibilität, Lokalität, Transport und Speicherfähigkeiten ab.

In einem Beitrag vom 20. September 2026 auf der Website der Open Source Robotics Alliance sagte ROS-Projektleiter Michael J. Carroll: „NVIDIA war bei der Umsetzung der Speicherarbeit wirklich vorbildlich. Das Unternehmen hat sie nicht einfach an uns zurückgegeben, sondern viel Zusammenarbeit und Beteiligung der Gemeinschaft angestoßen.“

Ökosystem-Integrationen und Bereitstellung auf Robotern

NVIDIAs Veröffentlichung beschreibt ein Robotikökosystem, das diesen agentischen Ansatz bereits erweitert. AgenticROS, ein von dem 3D-Wahrnehmungsunternehmen RealSense gefördertes Open-Source-Projekt, verbindet Isaac ROS mit den offenen NVIDIA-Nemotron-Modellen und NemoClaw-Blueprints, sodass KI-Agenten mit ROS-basierten Robotern interagieren können. RealSense optimiert außerdem seine KI-nativen 3D-Stereo-Tiefenkameras, darunter die RealSense D585 Pro, sowie ein quelloffenes Softwareentwicklungskit für Isaac ROS und die Edge-KI-Plattform Jetson Thor.

Intrinsics Open Machine Tending Solution, eine Referenzanwendung zur Bedienung numerisch gesteuerter Maschinen und Teil der neu veröffentlichten Open-Source-Suite Intrinsic Core, enthält eine integrierte FoundationPose-Kompatibilität für sofortige Objektregistrierung, Verfolgung und Poseschätzung. Magna nutzt Isaac ROS als modulare, GPU-beschleunigte Grundlage für Roboterwahrnehmung, synchronisierte Datenerfassung und die Bereitstellung des Modells Isaac GR00T, verbunden mit Hardware-in-the-Loop-Tests in Isaac Sim. Seeed Studio kombiniert Isaac ROS mit seinem reBot Arm und führt beschleunigte Wahrnehmung, räumliches Verständnis und Bewegungsplanung auf Jetson Thor aus.

Ekumen, ein Unternehmen von Grid Dynamics, setzt GPU-beschleunigte Isaac-ROS-Pakete in vorhandenen ROS- und Nav2-Stacks ein, um präzises Andocken, 3D-Hinderniserkennung, visuelle Lokalisierung und Bewegungsplanung in Echtzeit zu verbessern. Dem Beitrag zufolge nutzt Ekumen isaac_ros_cumotion auf einer GPU, um in ungefähr 2 bis 5 Millisekunden einen kollisionsfreien Pfad für einen Lagerroboterarm zu berechnen. Flexiv integriert Isaac ROS in seinen adaptiven Roboter Rizon 4 und schafft damit einen Weg vom Testen von Anwendungen in Isaac Sim bis zu ihrer Bereitstellung auf einem physischen Roboter.

Foxglove, ein Isaac-ROS-Partner, integriert Web- und Desktopwerkzeuge zur Visualisierung und Fehlerbehebung laufender ROS-Anwendungen in die Isaac-ROS-Tutorials. Das Paketverwaltungswerkzeug Pixi von Prefix.dev erstellt reproduzierbare Entwicklungsumgebungen für Roboter und führt ROS mit der CUDA-Plattform zusammen. Ouster integriert Stereolabs-ZED-Stereokameras in Isaac ROS, um GPU-beschleunigte Wahrnehmung für Objekterkennung, Kartierung und Navigation in Echtzeit bereitzustellen.

Isaac ROS 5.0 unterstützt skalierbare Rechenleistung vom Jetson Orin Nano für den Einstieg bis zu leistungsstarken Jetson-Thor-Geräten. NVIDIA beschreibt Jetson als skalierbare Rechenplattform, die den physischen KI-Stack am Netzwerkrand ausführt, und erklärt, dass Robotikunternehmen die Kombination aus Isaac ROS und Jetson bereits nutzen, um mehr KI-Verarbeitung direkt auf ihre Maschinen zu verlagern.

Mentee Robotics nutzt Isaac ROS als Wahrnehmungs- und KI-Rückgrat seines humanoiden MenteeBot und verwendet eine gemeinsame Softwaregrundlage auf den Plattformen Jetson Orin und Jetson Thor. Universal Robots hat Isaac ROS in sein von Jetson am Netzwerkrand betriebenes Softwareentwicklungskit AI Accelerator integriert. Integratoren können damit fortgeschrittene Wahrnehmungs- und Bewegungsfunktionen bereitstellen, ohne komplexe Robotiksoftware von Grund auf entwickeln zu müssen.

ROBOTIS, Hersteller des ROS-basierten TurtleBot3, integriert Isaac ROS in seinen Roboter AI Worker und nutzt GPU-beschleunigte Objekterfassung für sichtgesteuerte Manipulationsaufgaben wie Aufnehmen, Ablegen und Ausrichten. FieldAI integriert Isaac ROS auf Jetson-Geräten für seine Grundlagenmodelle für Roboter, die vollständig auf den Robotern und ohne Cloud-Verbindung laufen können. Noble Machines nutzt Isaac ROS auf Jetson, um die Entwicklung von Allzweckrobotern für Industrieanwendungen zu beschleunigen.

Die Open Source Robotics Alliance lädt Entwickler ein, kompatible Speicher-Backends und Konvertierungspakete zu erstellen, sie unter Open-Source-Lizenzen zu teilen und der Arbeitsgruppe für beschleunigten Speichertransport beizutreten, die sich alle zwei Wochen trifft.