NVIDIA’s Isaac ROS 5.0 voegt agentische vaardigheden en ondersteuning voor ROS Lyrical toe

NVIDIA bracht op 22 september 2026 tijdens de ROSCon-conferentie in Toronto Isaac ROS 5.0 uit, een verzameling GPU-versnelde pakketten die op het open ROS-framework zijn gebouwd. De release voegt agentische ontwikkelworkflows, ondersteuning voor het ROS Lyrical-platform en Ubuntu 24.04 en nieuwe waarnemingsmogelijkheden toe.

ROS is een project van Open Robotics dat de opensourcebasis vormt voor een groot deel van de moderne roboticaontwikkeling. Het biedt ontwikkelaars gemeenschappelijke hulpmiddelen, bibliotheken en standaarden om robottoepassingen te bouwen en te verbinden. Volgens NVIDIA brengt Isaac ROS de versnelde rekenkracht, fysieke AI-modellen en productieklare bibliotheken van het bedrijf naar bijna 1,3 miljoen ROS-gebruikers.

Isaac ROS 5.0 ondersteunt ROS Lyrical en Ubuntu 24.04. Ontwikkelaars kunnen daardoor het nieuwste ROS-platform invoeren en veeleisende roboticawerklasten blijven versnellen met NVIDIA-rekenkracht. De release is nu gratis en als open source beschikbaar, met documentatie en materiaal om aan de slag te gaan op GitHub.

Agentische vaardigheden en waarnemingsmodellen

De release introduceert nieuwe NVIDIA Isaac-vaardigheden voor configuratie en manipulatie. NVIDIA beschrijft deze als herbruikbare workflows waarmee ontwikkelaars en AI-agenten taken voor roboticaontwikkeling kunnen uitvoeren. Documentatie die voor agenten is voorbereid, maakt het volgens NVIDIA ook eenvoudiger voor AI-agenten om de hulpmiddelen en workflows van Isaac ROS te begrijpen en de bedoeling van een ontwikkelaar sneller om te zetten in werkende toepassingen.

Een van de nieuwe vaardigheden is volgens NVIDIA een functie voor het fijn afstemmen van FoundationStereo. Daarmee kan een AI-agent helpen een stereowaarnemingsmodel aan te passen aan de camera’s, omgeving en roboticatoepassing van een ontwikkelaar, zodat voor een bepaalde sensorconfiguratie een nauwkeurigere waarneming ontstaat. FoundationPose, het basismodel van NVIDIA voor het schatten en volgen van de houding van objecten, biedt nu een inferentiebibliotheek die voor agenten is voorbereid en die robots volgens NVIDIA in staat stelt de positie en oriëntatie van objecten tot 5,5 keer sneller waar te nemen en te volgen.

Oppakken en plaatsen, een veelgebruikte workflow die detectie, diepteschatting en houdinguitvoer verbindt, is nu beschikbaar als een zelfstandige vaardigheid die voor agenten is voorbereid en die robotontwikkelaars ook buiten Isaac ROS kunnen gebruiken.

Leveranciersonafhankelijk geheugentransport in ROS Lyrical

NVIDIA werkte samen met de Open Source Robotics Alliance om een standaardinterface voor gegevensverwerking aan ROS Lyrical bij te dragen. Volgens NVIDIA helpt deze roboticasoftware efficiënt te werken op verschillende soorten computerhardware, waaronder GPU’s. De interface is beschikbaar voor de hele ROS-gemeenschap en geeft ontwikkelaars een uniforme manier om veeleisende roboticatoepassingen te versnellen, waarbij CUDA als werkend voorbeeld van GPU-versnelling dient.

De alliantie beschrijft de bijgedragen functie rosidl::buffer als een van de belangrijkste functies van ROS Lyrical Luth, de nieuwste ROS-versie met langetermijnondersteuning, die op 23 mei 2026 verscheen. De door NVIDIA geïnitieerde en bijgedragen functie maakt versnelde overdracht mogelijk tussen CPU-geheugen, GPU-geheugen of ieder ander geheugendomein dat een leverancier aanbiedt. Daarbij wordt een gemeenschappelijke opbouw gebruikt om extern beheerd geheugen weer te geven en te vervoeren, zodat niet voor iedere versneller of bibliotheek een nieuw berichttype hoeft te worden gemaakt.

Volgens de alliantie behoudt het ontwerp de standaard ROS-berichten, publishers, subscribers, knooppuntgrenzen en ROS-middleware. Middleware-implementaties kunnen de bufferbackends als plug-ins laden. Leveranciers kunnen bufferbibliotheken maken die ontwikkelaars veilige en gebruiksvriendelijke toegang geven tot een type hardwaregeheugen, terwijl conversiepakketten ROS-berichten kunnen aanpassen aan frameworks zoals PyTorch of CV-CUDA. De alliantie merkt op dat transport zonder kopieën beschikbaar is als een backendafhankelijk pad en niet als universele garantie, omdat het afhangt van factoren zoals onderlinge compatibiliteit, locatie, transport en geheugenmogelijkheden.

In een bericht van 20 september 2026 op de website van de Open Source Robotics Alliance zei ROS-projectleider Michael J. Carroll: “NVIDIA is echt een voorbeeld geweest in de manier waarop het bedrijf het bufferwerk heeft uitgevoerd. Het heeft dit niet eenvoudig bij ons teruggelegd, maar veel samenwerking en inbreng van de gemeenschap op gang gebracht.”

Integraties in het ecosysteem en implementatie op de robot

De release van NVIDIA beschrijft een robotica-ecosysteem dat deze agentische benadering al verder uitbreidt. AgenticROS, een opensourceproject dat wordt ondersteund door het bedrijf voor 3D-waarnemingstechnologie RealSense, verbindt Isaac ROS met de open NVIDIA Nemotron-modellen en NemoClaw-blauwdrukken, zodat AI-agenten met op ROS gebaseerde robots kunnen communiceren. RealSense optimaliseert ook zijn AI-native stereoscopische 3D-dieptecamera’s, waaronder de RealSense D585 Pro, en een opensource-softwareontwikkelkit voor Isaac ROS en het edge-AI-platform Jetson Thor.

Intrinsic Open Machine Tending Solution, een referentietoepassing voor de bediening van computergestuurde machines en onderdeel van de onlangs uitgebrachte opensourcesuite Intrinsic Core, biedt ingebouwde compatibiliteit met FoundationPose voor directe objectregistratie, tracking en houdingsschatting. Magna gebruikt Isaac ROS als modulaire, GPU-versnelde basis voor robotwaarneming, gesynchroniseerde gegevensverzameling en de implementatie van het model Isaac GR00T, gecombineerd met hardware-in-the-loop-tests in Isaac Sim. Seeed Studio combineert Isaac ROS met zijn reBot Arm en voert versnelde waarneming, ruimtelijk inzicht en bewegingsplanning uit op Jetson Thor.

Ekumen, een bedrijf van Grid Dynamics, gebruikt GPU-versnelde Isaac ROS-pakketten binnen bestaande ROS- en Nav2-stacks om nauwkeurig koppelen, detectie van 3D-obstakels, visuele lokalisatie en realtime bewegingsplanning te verbeteren. Volgens het bericht gebruikt Ekumen isaac_ros_cumotion op een GPU om in ongeveer 2 tot 5 milliseconden een botsingsvrij pad voor een magazijnrobotarm te berekenen. Flexiv integreert Isaac ROS met zijn adaptieve Rizon 4-robot en creëert daarmee een route van het testen van toepassingen in Isaac Sim naar implementatie op een fysieke robot.

Foxglove, een partner van Isaac ROS, integreert web- en desktoptools voor het visualiseren en opsporen van fouten in actieve ROS-toepassingen in de Isaac ROS-handleidingen. De pakketbeheertool Pixi van Prefix.dev maakt reproduceerbare ontwikkelomgevingen voor robots en brengt ROS samen met het CUDA-platform. Ouster integreert stereocamera’s van Stereolabs ZED met Isaac ROS om GPU-versnelde waarneming te bieden voor realtime objectdetectie, kartering en navigatie.

Isaac ROS 5.0 ondersteunt schaalbare rekenkracht, van de Jetson Orin Nano voor instapgebruik tot krachtige Jetson Thor-apparaten. NVIDIA beschrijft Jetson als een schaalbaar computerplatform om de fysieke AI-stack aan de rand van het netwerk uit te voeren en stelt dat roboticabedrijven de combinatie van Isaac ROS en Jetson al gebruiken om meer AI-verwerking rechtstreeks op hun machines uit te voeren.

Mentee Robotics gebruikt Isaac ROS als de waarnemings- en AI-ruggengraat van zijn humanoïde MenteeBot, met een gedeelde softwarebasis op de Jetson Orin- en Jetson Thor-platforms. Universal Robots heeft Isaac ROS ingebouwd in zijn door Jetson aan de netwerkrand aangedreven AI Accelerator-softwareontwikkelkit om integratoren geavanceerde waarnemings- en bewegingsmogelijkheden te laten implementeren zonder complexe roboticasoftware vanaf nul te ontwikkelen.

ROBOTIS, de maker van de op ROS gebaseerde TurtleBot3, integreert Isaac ROS in zijn AI Worker-robot en gebruikt GPU-versnelde objectwaarneming voor visueel gestuurde manipulatietaken, waaronder oppakken, plaatsen en uitlijnen. FieldAI integreert Isaac ROS op Jetson-apparaten voor zijn basismodellen voor robots, die volledig op de robots kunnen draaien zonder afhankelijk te zijn van een cloudverbinding. Noble Machines gebruikt Isaac ROS op Jetson om de ontwikkeling van algemeen inzetbare robots voor industriële toepassingen te versnellen.

De Open Source Robotics Alliance nodigt ontwikkelaars uit om compatibele bufferbackends en conversiepakketten te bouwen, deze onder opensourcelicenties te delen en deel te nemen aan de werkgroep voor versneld geheugentransport, die om de twee weken bijeenkomt.