NVIDIAs Isaac ROS 5.0 tilføjer agentiske færdigheder og understøttelse af ROS Lyrical

NVIDIA udgav Isaac ROS 5.0, en samling GPU-accelererede pakker bygget på den åbne ROS-ramme, den 22. september 2026 under ROSCon-konferencen i Toronto. Udgivelsen tilføjer agentiske udviklingsforløb, understøttelse af ROS Lyrical-platformen og Ubuntu 24.04 samt nye perceptionsfunktioner.

ROS er et projekt fra Open Robotics, som leverer open source-grundlaget for en stor del af moderne robotudvikling og giver udviklere fælles værktøjer, biblioteker og standarder til at bygge og forbinde robotapplikationer. NVIDIA oplyser, at Isaac ROS bringer virksomhedens accelererede databehandling, fysiske AI-modeller og produktionsklare biblioteker ud til næsten 1,3 millioner ROS-brugere.

Isaac ROS 5.0 understøtter ROS Lyrical og Ubuntu 24.04 og giver dermed udviklere mulighed for at tage den nyeste ROS-platform i brug, samtidig med at krævende robotarbejdsbelastninger fortsat accelereres med NVIDIA-computing. Udgivelsen er tilgængelig nu, gratis og som open source, med dokumentation og introduktionsmateriale på GitHub.

Agentiske færdigheder og perceptionsmodeller

Udgivelsen introducerer nye NVIDIA Isaac-færdigheder til opsætning og manipulation. NVIDIA beskriver dem som genanvendelige arbejdsgange, som udviklere og AI-agenter kan bruge til at løse opgaver inden for robotudvikling. Ifølge NVIDIA gør dokumentation, der er klargjort til agenter, det også lettere for AI-agenter at forstå værktøjerne og arbejdsgangene i Isaac ROS og hurtigere omsætte udviklerens hensigt til fungerende applikationer.

Blandt de nye færdigheder er der ifølge NVIDIA en finjusteringsfærdighed til FoundationStereo, som gør det muligt for en AI-agent at hjælpe med at tilpasse en stereoperceptionsmodel til udviklerens kameraer, miljø og robotapplikation. Dermed kan udviklere opnå mere præcis perception for en bestemt sensorkonfiguration. FoundationPose, NVIDIAs grundmodel til estimering og sporing af objekters positur, tilbyder nu et inferensbibliotek klargjort til agenter, som ifølge NVIDIA gør det muligt for robotter at registrere og spore objekters position og orientering op til 5,5 gange hurtigere.

Pick-and-place, en almindelig arbejdsgang, der forbinder registrering, dybdeestimering og posituroutput, er nu tilgængelig som en selvstændig færdighed klargjort til agenter, som robotudviklere kan bruge uden for Isaac ROS.

Leverandørneutral hukommelsestransport i ROS Lyrical

NVIDIA samarbejdede med Open Source Robotics Alliance om at bidrage med en standardgrænseflade til datahåndtering i ROS Lyrical. Ifølge NVIDIA hjælper den robotsoftware med at arbejde effektivt på tværs af forskellig computerhardware, herunder GPU’er. Grænsefladen er tilgængelig for hele ROS-fællesskabet og giver udviklere en ensartet måde at accelerere krævende robotapplikationer på, mens CUDA fungerer som et praktisk eksempel på GPU-acceleration.

Alliancen beskriver den bidragede funktion, rosidl::buffer, som en af nøglefunktionerne i ROS Lyrical Luth, den nyeste ROS-udgivelse med langtidsunderstøttelse, som kom den 23. maj 2026. Funktionen blev iværksat og bidraget af NVIDIA og muliggør accelereret overførsel mellem CPU-hukommelse, GPU-hukommelse eller ethvert andet hukommelsesdomæne, som en leverandør stiller til rådighed. Den bruger en fælles sammensætning til at repræsentere og transportere eksternt administreret hukommelse og fjerner behovet for at oprette en ny meddelelsestype til hver accelerator eller hvert bibliotek.

Ifølge alliancen bevarer designet ROS-standardmeddelelser, publishers, subscribers, nodegrænser og ROS-middleware, og middlewareimplementeringer kan indlæse buffer-backends som plugins. Leverandører kan oprette bufferbiblioteker, der giver udviklere sikker og brugervenlig adgang til en hardwarehukommelsestype, og konverteringspakker kan tilpasse ROS-meddelelser til rammer som PyTorch eller CV-CUDA. Alliancen bemærker, at transport uden kopiering er tilgængelig som en backend-afhængig mulighed og ikke som en universel garanti, fordi den afhænger af faktorer som peer-kompatibilitet, placering, transport og hukommelsesegenskaber.

I et indlæg den 20. september 2026 på Open Source Robotics Alliances websted sagde ROS-projektleder Michael J. Carroll: »NVIDIA har virkelig været et forbillede i den måde, virksomheden implementerede bufferarbejdet på. De skubbede det ikke bare tilbage til os, men satte en masse samarbejde og input fra fællesskabet i gang.«

Økosystemintegrationer og implementering på robotten

NVIDIAs udgivelse beskriver et robotøkosystem, der allerede udvider denne agentiske tilgang. AgenticROS, et open source-projekt støttet af 3D-perceptionsvirksomheden RealSense, forbinder Isaac ROS med NVIDIAs åbne Nemotron-modeller og NemoClaw-blueprints, så AI-agenter kan interagere med ROS-baserede robotter. RealSense optimerer også sine AI-native stereodybdekameraer i 3D, herunder RealSense D585 Pro, og et open source-softwareudviklingssæt til Isaac ROS og edge-AI-platformen Jetson Thor.

Intrinsics Open Machine Tending Solution, en referenceapplikation til betjening af computerstyrede maskiner og en del af den nyligt udgivne open source-pakke Intrinsic Core, har indbygget kompatibilitet med FoundationPose til umiddelbar objektregistrering, sporing og positurestimering. Magna bruger Isaac ROS som et modulært, GPU-accelereret grundlag for robotperception, synkroniseret dataindsamling og implementering af modellen Isaac GR00T sammen med hardware-in-the-loop-test i Isaac Sim. Seeed Studio kombinerer Isaac ROS med sin reBot Arm og kører accelereret perception, rumlig forståelse og bevægelsesplanlægning på Jetson Thor.

Ekumen, en Grid Dynamics-virksomhed, bruger GPU-accelererede Isaac ROS-pakker i eksisterende ROS- og Nav2-stakke til at forbedre præcisionsdocking, registrering af 3D-forhindringer, visuel lokalisering og bevægelsesplanlægning i realtid. Indlægget oplyser, at Ekumen bruger isaac_ros_cumotion på en GPU til at beregne en kollisionsfri bane for en lagerrobotarm på cirka 2 til 5 millisekunder. Flexiv integrerer Isaac ROS med sin adaptive Rizon 4-robot og skaber en vej fra test af applikationer i Isaac Sim til implementering på en fysisk robot.

Foxglove, en Isaac ROS-partner, integrerer web- og skrivebordsværktøjer til visualisering og fejlfinding af aktive ROS-applikationer gennem Isaac ROS-vejledningerne. Pakkehåndteringsværktøjet Pixi fra Prefix.dev skaber reproducerbare udviklingsmiljøer til robotter og samler ROS med CUDA-platformen. Ouster integrerer Stereolabs ZED-stereokameraer med Isaac ROS for at levere GPU-accelereret perception til objektdetektion, kortlægning og navigation i realtid.

Isaac ROS 5.0 understøtter skalerbar databehandling fra Jetson Orin Nano på begynderniveau til højtydende Jetson Thor-enheder. NVIDIA beskriver Jetson som en skalerbar computerplatform til at køre den fysiske AI-stak ude på kanten og oplyser, at robotvirksomheder allerede bruger kombinationen af Isaac ROS og Jetson til at flytte mere AI-behandling direkte ud på deres maskiner.

Mentee Robotics bruger Isaac ROS som perceptions- og AI-rygrad i sin humanoide MenteeBot med et fælles softwaregrundlag på tværs af Jetson Orin- og Jetson Thor-platformene. Universal Robots har indbygget Isaac ROS i sit AI Accelerator-softwareudviklingssæt, som drives af Jetson på kanten, så integratorer kan implementere avancerede perceptions- og bevægelsesfunktioner uden at udvikle kompleks robotsoftware fra bunden.

ROBOTIS, som bygger den ROS-baserede TurtleBot3, integrerer Isaac ROS i sin AI Worker-robot og bruger GPU-accelereret objektperception til synsstyrede manipulationsopgaver som opsamling, placering og justering. FieldAI integrerer Isaac ROS på Jetson-enheder til sine grundmodeller for robotter, som kan køre fuldstændigt på robotterne uden at være afhængige af forbindelse til skyen. Noble Machines bruger Isaac ROS på Jetson til at accelerere udviklingen af robotter til generelle industrielle formål.

Open Source Robotics Alliance opfordrer udviklere til at bygge kompatible buffer-backends og konverteringspakker, dele dem under open source-licenser og deltage i arbejdsgruppen for accelereret hukommelsestransport, som mødes hver anden uge.