NVIDIAs Isaac ROS 5.0 legger til agentiske ferdigheter og støtte for ROS Lyrical

NVIDIA lanserte Isaac ROS 5.0, en samling GPU-akselererte pakker bygget på det åpne ROS-rammeverket, 22. september 2026 under ROSCon-konferansen i Toronto. Utgivelsen legger til agentiske utviklingsarbeidsflyter, støtte for ROS Lyrical-plattformen og Ubuntu 24.04 samt nye funksjoner for persepsjon.

ROS er et prosjekt fra Open Robotics som gir et åpent kildekodegrunnlag for mye av moderne robotikkutvikling. Det gir utviklere felles verktøy, biblioteker og standarder for å bygge og koble sammen robotapplikasjoner. NVIDIA opplyser at Isaac ROS bringer selskapets akselererte databehandling, fysiske KI-modeller og produksjonsklare biblioteker til nesten 1,3 millioner ROS-brukere.

Isaac ROS 5.0 støtter ROS Lyrical og Ubuntu 24.04, slik at utviklere kan ta i bruk den nyeste ROS-plattformen og samtidig fortsette å akselerere krevende robotikkarbeidslaster med NVIDIA-databehandling. Utgivelsen er tilgjengelig nå, gratis og med åpen kildekode, med dokumentasjon og introduksjonsmateriell på GitHub.

Agentiske ferdigheter og persepsjonsmodeller

Utgivelsen introduserer nye NVIDIA Isaac-ferdigheter for oppsett og manipulering. NVIDIA beskriver dem som gjenbrukbare arbeidsflyter som utviklere og KI-agenter kan bruke til å fullføre oppgaver innen robotikkutvikling. NVIDIA sier at dokumentasjon som er klargjort for agenter, også gjør det enklere for KI-agenter å forstå verktøyene og arbeidsflytene i Isaac ROS og raskere omsette utviklerens hensikt til fungerende applikasjoner.

Blant de nye ferdighetene er det ifølge NVIDIA en finjusteringsferdighet for FoundationStereo som lar en KI-agent bidra til å tilpasse en stereopersepsjonsmodell til utviklerens kameraer, miljø og robotapplikasjon. Dermed kan utvikleren oppnå mer nøyaktig persepsjon for en bestemt sensorkonfigurasjon. FoundationPose, NVIDIAs grunnmodell for estimering og sporing av objekters positur, tilbyr nå et inferensbibliotek klargjort for agenter som ifølge NVIDIA gjør at roboter kan oppfatte og spore objekters posisjon og orientering opptil 5,5 ganger raskere.

Plukk og plasser, en vanlig arbeidsflyt som kobler sammen deteksjon, dybdeestimering og positurutdata, er nå tilgjengelig som en selvstendig ferdighet klargjort for agenter som robotutviklere kan bruke utenfor Isaac ROS.

Leverandørnøytral minnetransport i ROS Lyrical

NVIDIA samarbeidet med Open Source Robotics Alliance om å bidra med et standardgrensesnitt for datahåndtering til ROS Lyrical. Ifølge NVIDIA hjelper det robotprogramvare med å fungere effektivt på tvers av ulik datamaskinvare, inkludert GPU-er. Grensesnittet er tilgjengelig for hele ROS-fellesskapet og gir utviklere en konsekvent måte å akselerere krevende robotapplikasjoner på, med CUDA som et fungerende eksempel på GPU-akselerasjon.

Alliansen beskriver den nye funksjonen, rosidl::buffer, som en av nøkkelfunksjonene i ROS Lyrical Luth, den nyeste ROS-utgivelsen med langsiktig støtte, som kom 23. mai 2026. Funksjonen ble initiert og bidratt av NVIDIA og muliggjør akselerert overføring mellom CPU-minne, GPU-minne eller et hvilket som helst annet minneområde som en leverandør tilbyr. Den bruker en felles sammensetning for å representere og transportere eksternt administrert minne og fjerner behovet for å opprette en ny meldingstype for hver akselerator eller hvert bibliotek.

Ifølge alliansen beholder utformingen standard ROS-meldinger, publishers, subscribers, nodegrenser og ROS-mellomvare, og mellomvareimplementasjoner kan laste inn buffer-backends som programtillegg. Leverandører kan lage bufferbiblioteker som gir utviklere sikker og brukervennlig tilgang til en maskinvarebasert minnetype, og konverteringspakker kan tilpasse ROS-meldinger til rammeverk som PyTorch eller CV-CUDA. Alliansen påpeker at transport uten kopiering er tilgjengelig som en backend-avhengig løsning og ikke som en universell garanti, fordi den avhenger av faktorer som kompatibilitet mellom endepunkter, plassering, transport og minneegenskaper.

I et innlegg 20. september 2026 på nettstedet til Open Source Robotics Alliance sa ROS-prosjektleder Michael J. Carroll: «NVIDIA har virkelig vært et forbilde i måten de gjennomførte bufferarbeidet på. De skjøv det ikke bare tilbake til oss, men satte i gang mye samarbeid og mange innspill fra fellesskapet.»

Økosystemintegrasjoner og distribusjon på roboten

NVIDIAs utgivelse beskriver et robotikkøkosystem som allerede utvider denne agentiske tilnærmingen. AgenticROS, et åpen kildekodeprosjekt støttet av 3D-persepsjonsselskapet RealSense, kobler Isaac ROS til NVIDIAs åpne Nemotron-modeller og NemoClaw-maler, slik at KI-agenter kan samhandle med ROS-baserte roboter. RealSense optimaliserer også sine KI-integrerte stereodybdekameraer i 3D, blant annet RealSense D585 Pro, og et åpent programvareutviklingssett for Isaac ROS og edge-KI-plattformen Jetson Thor.

Intrinsic Open Machine Tending Solution, en referanseapplikasjon for betjening av datastyrte maskiner og en del av den nylig lanserte åpen kildekodepakken Intrinsic Core, har innebygd kompatibilitet med FoundationPose for objektregistrering, sporing og positurestimering rett ut av boksen. Magna bruker Isaac ROS som et modulært, GPU-akselerert grunnlag for robotpersepsjon, synkronisert datainnsamling og distribusjon av modellen Isaac GR00T, sammen med maskinvare-i-sløyfen-testing i Isaac Sim. Seeed Studio kombinerer Isaac ROS med sin reBot Arm og kjører akselerert persepsjon, romlig forståelse og bevegelsesplanlegging på Jetson Thor.

Ekumen, et Grid Dynamics-selskap, bruker GPU-akselererte Isaac ROS-pakker i eksisterende ROS- og Nav2-stakker for å forbedre presisjonsdokking, registrering av 3D-hindringer, visuell lokalisering og bevegelsesplanlegging i sanntid. Innlegget opplyser at Ekumen bruker isaac_ros_cumotion på en GPU til å beregne en kollisjonsfri bane for en lagerrobotarm på omtrent 2 til 5 millisekunder. Flexiv integrerer Isaac ROS med den adaptive roboten Rizon 4 og skaper en vei fra testing av applikasjoner i Isaac Sim til distribusjon på en fysisk robot.

Foxglove, en Isaac ROS-partner, integrerer nett- og skrivebordsverktøy for visualisering og feilsøking av aktive ROS-applikasjoner gjennom Isaac ROS-veiledningene. Pakkehåndteringsverktøyet Pixi fra Prefix.dev lager reproduserbare utviklingsmiljøer for roboter og samler ROS med CUDA-plattformen. Ouster integrerer Stereolabs ZED-stereokameraer med Isaac ROS for å levere GPU-akselerert persepsjon til objektdeteksjon, kartlegging og navigasjon i sanntid.

Isaac ROS 5.0 støtter skalerbar databehandling fra Jetson Orin Nano på innstegsnivå til kraftige Jetson Thor-enheter. NVIDIA beskriver Jetson som en skalerbar databehandlingsplattform for å kjøre den fysiske KI-stakken i ytterkanten og opplyser at robotikkselskaper allerede bruker kombinasjonen av Isaac ROS og Jetson til å flytte mer KI-behandling direkte ut på maskinene sine.

Mentee Robotics bruker Isaac ROS som persepsjons- og KI-ryggrad i den humanoide MenteeBot, med et felles programvaregrunnlag på tvers av plattformene Jetson Orin og Jetson Thor. Universal Robots har bygget Isaac ROS inn i programvareutviklingssettet AI Accelerator, drevet av Jetson i ytterkanten, for å hjelpe integratorer med å distribuere avanserte persepsjons- og bevegelsesfunksjoner uten å utvikle kompleks robotprogramvare fra grunnen av.

ROBOTIS, som bygger den ROS-baserte TurtleBot3, integrerer Isaac ROS i roboten AI Worker og bruker GPU-akselerert objektpersepsjon til synsstyrte manipuleringsoppgaver som plukking, plassering og justering. FieldAI integrerer Isaac ROS på Jetson-enheter for sine grunnmodeller for roboter, som kan kjøre fullstendig på robotene uten å være avhengige av skytilkobling. Noble Machines bruker Isaac ROS på Jetson til å akselerere utviklingen av roboter for generelle industrielle formål.

Open Source Robotics Alliance inviterer utviklere til å bygge kompatible buffer-backends og konverteringspakker, dele dem under åpne lisenser og delta i arbeidsgruppen for akselerert minnetransport, som møtes annenhver uke.