NVIDIA:s Isaac ROS 5.0 lägger till agentiska färdigheter och stöd för ROS Lyrical

NVIDIA släppte Isaac ROS 5.0, en samling GPU‑accelererade paket byggda på det öppna ROS‑ramverket, den 22 september 2026 på ROSCon‑konferensen i Toronto, och lade till agentiska utvecklingsarbetsflöden, stöd för ROS Lyrical‑plattformen och Ubuntu 24.04 samt nya perceptionsmöjligheter.

ROS är ett projekt från Open Robotics som tillhandahåller den öppna källkodsbasen för en stor del av modern robotikutveckling och ger utvecklare gemensamma verktyg, bibliotek och standarder för att bygga och koppla ihop robotapplikationer. NVIDIA uppgav att Isaac ROS förser nästan 1,3 miljon ROS‑användare med sin accelererade beräkning, fysiska AI‑modeller och produktionsklara bibliotek.

Isaac ROS 5.0 introducerar stöd för ROS Lyrical och Ubuntu 24.04, vilket ger utvecklare en möjlighet att anta den senaste ROS‑plattformen samtidigt som de fortsätter att accelerera krävande robotarbetsbelastningar med NVIDIAs beräkning. Utgåvan är nu tillgänglig, gratis och öppen källkod, med dokumentation och nybörjarmaterial på GitHub.

Agentiska färdigheter och perceptionsmodeller

Utgåvan introducerar nya NVIDIA Isaac‑färdigheter för installation och manipulation, som NVIDIA beskriver som återanvändbara arbetsflöden som utvecklare och AI‑agenter kan använda för att slutföra robotikutvecklingsuppgifter. NVIDIA uppgav att agent‑klar dokumentation också underlättar för AI‑agenter att förstå Isaac ROS‑verktyg och arbetsflöden, vilket gör det möjligt att förvandla utvecklarens avsikt till fungerande applikationer snabbare.

Bland de nya färdigheterna sade NVIDIA att en FoundationStereo‑finjusteringsfärdighet gör det möjligt för en AI‑agent att anpassa en stereoperspektionsmodell till en utvecklares kameror, miljö och robotikapplikation, så att utvecklare kan uppnå mer exakt perception för en given sensorkonfiguration. FoundationPose, NVIDIAs grundmodell för objektspose‑estimering och spårning, erbjuder nu ett agent‑klart inferensbibliotek som, enligt NVIDIA, gör det möjligt för robotar att uppfatta och spåra objektens position och orientering upp till 5,5  gånger snabbare.

Pick‑and‑place, ett vanligt arbetsflöde som kopplar samman detektering, djupestimering och pose‑utdata, finns nu tillgängligt som en fristående, agent‑klar färdighet som robotutvecklare kan använda även utanför Isaac ROS.

Leverantörsneutral minnesöverföring i ROS Lyrical

NVIDIA samarbetade med Open Source Robotics Alliance för att bidra med ett standardiserat datahanteringsgränssnitt till ROS Lyrical, vilket NVIDIA menar hjälper robotikprogramvara att fungera effektivt över olika beräkningshårdvaror, inklusive GPU:er. Gränssnittet, som är tillgängligt för hela ROS‑gemenskapen, ger utvecklare ett enhetligt sätt att accelerera krävande robotikapplikationer, med CUDA som ett fungerande exempel på GPU‑acceleration.

Alliansen beskriver den bidragna funktionen, rosidl::buffer, som en av nyckelfunktionerna i ROS Lyrical Luth, den senaste ROS‑långtidsstödsutgåvan som kom den 23 maj 2026. Funktionen, initierad och bidragen av NVIDIA, möjliggör accelererad överföring mellan CPU‑minne, GPU‑minne eller någon annan minnesdomän som en leverantör tillhandahåller, genom en gemensam sammansättning för att representera och transportera externt hanterat minne, vilket eliminerar behovet av att skapa en ny meddelandetyp för varje accelerator eller bibliotek.

Enligt alliansen behåller designen standard‑ROS‑meddelanden, publicerare, prenumeranter, nodgränser och ROS‑middleware, och middleware‑implementationer kan ladda buffer‑bakändar som plugin‑moduler. Leverantörer kan skapa buffer‑bibliotek som ger utvecklare säker, användar‑inriktad åtkomst till en hårdvaruminnestyp, och konverteringspaket kan anpassa ROS‑meddelanden till ramverk som PyTorch eller CV‑CUDA. Alliansen påpekar att noll‑kopierings‑transporten är tillgänglig som en backend‑beroende väg snarare än en universell garanti, beroende på faktorer som peer‑kompatibilitet, närhet, transport och minneskapacitet.

I ett inlägg den 20 september 2026 på Open Source Robotics Alliances webbplats skrev ROS‑projektledare Michael J. Carroll: “NVIDIA har verkligen varit ett föredöme i hur de gick tillväga med att implementera buffer‑arbetet. De lade inte bara över ansvaret på oss, utan initierade en stor mängd samarbete och input från communityn.”

Ekosystemintegrationer och implementering på robotar

NVIDIAs utgåva beskriver ett robotikekosystem som redan utökar detta agentiska tillvägagångssätt. AgenticROS, ett open‑source‑projekt sponsrat av 3D‑perception‑teknikföretaget RealSense, kopplar ihop Isaac ROS med NVIDIAs Nemotron‑öppna modeller och NemoClaw‑blåkopior, vilket möjliggör för AI‑agenter att interagera med ROS‑baserade robotar. RealSense optimerar också sina AI‑inbyggda 3D‑stereodjupkameror, inklusive RealSense D585 Pro, samt ett open‑source‑programvaruutvecklingskit för Isaac ROS och Jetson Thor edge‑AI‑plattformen.

Intrinsics Open Machine Tending Solution, en referensapplikation för CNC‑maskinbetjäning och en del av den nyutgivna öppna källkods‑sviten Intrinsic Core, innehåller inbyggd kompatibilitet med FoundationPose för omedelbar objekregistrering, spårning och pose‑estimering. Magna använder Isaac ROS som en modulär, GPU‑accelererad grund för robotperception, synkroniserad datainsamling och Isaac GR00T-modellsdistribution, i kombination med Isaac Sim‑testning i hårdvaruslinga. Seeed Studio kombinerar Isaac ROS med sin reBot Arm, som kör accelererad perception, rumslig förståelse och rörelsestyrning på Jetson Thor.

Ekumen, ett företag inom Grid Dynamics, använder GPU‑accelererade Isaac ROS‑paket i befintliga ROS‑ och Nav2‑stackar för att förbättra precisionsdockning, 3D‑hinderdetektering, visuell lokalisering och realtids‑rörelseplanering. Inlägget rapporterar att Ekumen använder isaacroscumotion på en GPU för att kartlägga en kollision‑fri bana för en lagerarm på ungefär 2 till 5 millisekunder. Flexiv integrerar Isaac ROS med sin Rizon 4‑adaptiva robot, med en väg från testapplikationer i Isaac Sim till att distribuera dem på en fysisk robot.

Foxglove, en Isaac ROS‑partner, integrerar webb‑ och skrivbordsverktyg för visualisering och felsökning av live‑ROS‑applikationer i hela Isaac ROS‑handledningarna. Prefix.dev:s Pixi‑pakethanteringsverktyg skapar reproducerbara robotutvecklingsmiljöer och förenar ROS med CUDA‑plattformen. Ouster integrerar Stereolabs ZED‑stereokameror med Isaac ROS för att leverera GPU‑accelererad perception för realtids‑objektdetektering, kartläggning och navigation.

Isaac ROS 5.0 stödjer skalbar beräkning, från den ingångsnivå‑Jetson Orin Nano till högpresterande Jetson Thor‑enheter. NVIDIA beskriver Jetson som en skalbar beräkningsplattform för att köra den fysiska AI‑stacken i kanten, och uppger att robotföretag redan använder kombinationen av Isaac ROS och Jetson för att föra mer AI‑behandling direkt till sina maskiner.

Mentee Robotics använder Isaac ROS som perceptions‑ och AI‑ryggrad för sin MenteeBot‑humanoid, med en gemensam mjukvarufundament över Jetson Orin‑ och Jetson Thor‑plattformarna. Universal Robots har byggt in Isaac ROS i sitt AI Accelerator‑utvecklingskit, drivna av Jetson i kanten, för att hjälpa integratörer att distribuera avancerade perceptions‑ och rörelsesfunktioner utan att utveckla komplex robotik‑programvara från grunden.

ROBOTIS, skaparen av den ROS‑baserade TurtleBot3, integrerar Isaac ROS i sin AI Worker‑robot och använder GPU‑accelererad objektperception för visionsstyrda manipuleringsuppgifter, inklusive plockning, placering och inriktning. FieldAI integrerar Isaac ROS på Jetson‑enheter för sina robot‑grundmodeller, som kan köras helt på robotar utan att förlita sig på molnanslutning. Noble Machines använder Isaac ROS på Jetson för att påskynda utvecklingen av allmänna robotar för industriella tillämpningar.

Open Source Robotics Alliance inbjuder utvecklare att bygga kompatibla buffer‑backends och konverteringspaket, dela dem under öppen källkods‑licenser och gå med i arbetsgruppen för accelererad minnestransport, som möts varannan vecka.