Isaac ROS 5.0 de la NVIDIA adaugă competențe agentice și compatibilitate cu ROS Lyrical

NVIDIA a lansat Isaac ROS 5.0, o colecție de pachete accelerate de GPU și construite pe cadrul deschis ROS, la 22 septembrie 2026, în cadrul conferinței ROSCon din Toronto. Versiunea adaugă fluxuri de dezvoltare agentice, compatibilitate cu platforma ROS Lyrical și Ubuntu 24.04, precum și noi capacități de percepție.

ROS este un proiect al Open Robotics care asigură baza open source pentru o mare parte din dezvoltarea modernă a roboticii și oferă dezvoltatorilor instrumente, biblioteci și standarde comune pentru construirea și conectarea aplicațiilor robotice. NVIDIA a declarat că Isaac ROS pune calculul accelerat, modelele de inteligență artificială fizică și bibliotecile sale pregătite pentru producție la dispoziția a aproape 1,3 milioane de utilizatori ROS.

Isaac ROS 5.0 introduce compatibilitatea cu ROS Lyrical și Ubuntu 24.04, oferind dezvoltatorilor o cale de adoptare a celei mai noi platforme ROS în timp ce continuă să accelereze sarcinile robotice solicitante cu tehnologia de calcul NVIDIA. Versiunea este disponibilă acum gratuit și în regim open source, cu documentație și materiale introductive pe GitHub.

Competențe agentice și modele de percepție

Versiunea introduce noi competențe NVIDIA Isaac pentru configurare și manipulare, pe care NVIDIA le descrie drept fluxuri reutilizabile pe care dezvoltatorii și agenții AI le pot folosi pentru a finaliza sarcini de dezvoltare robotică. NVIDIA afirmă că documentația pregătită pentru agenți facilitează și înțelegerea instrumentelor și fluxurilor Isaac ROS de către agenții AI, transformând mai repede intenția dezvoltatorului în aplicații funcționale.

Printre noile competențe, NVIDIA menționează reglarea fină a FoundationStereo, care permite unui agent AI să ajute la adaptarea unui model de percepție stereo la camerele, mediul și aplicația robotică a dezvoltatorului, astfel încât acesta să poată obține o percepție mai precisă pentru o anumită configurație de senzori. FoundationPose, modelul fundamental NVIDIA pentru estimarea și urmărirea poziției obiectelor, oferă acum o bibliotecă de inferență pregătită pentru agenți care, potrivit NVIDIA, permite roboților să perceapă și să urmărească poziția și orientarea obiectelor de până la 5,5 ori mai repede.

Preluarea și așezarea, un flux uzual care conectează detectarea, estimarea adâncimii și rezultatul poziției, este disponibilă acum ca o competență autonomă pregătită pentru agenți, pe care dezvoltatorii de roboți o pot utiliza și în afara Isaac ROS.

Transport al memoriei independent de furnizor în ROS Lyrical

NVIDIA a colaborat cu Open Source Robotics Alliance pentru a contribui la ROS Lyrical cu o interfață standard de gestionare a datelor care, potrivit NVIDIA, ajută software-ul robotic să funcționeze eficient pe diferite tipuri de hardware de calcul, inclusiv GPU-uri. Disponibilă întregii comunități ROS, interfața oferă dezvoltatorilor o metodă consecventă de accelerare a aplicațiilor robotice solicitante, CUDA furnizând un exemplu funcțional de accelerare prin GPU.

Alianța descrie funcția furnizată, rosidl::buffer, drept una dintre caracteristicile esențiale ale ROS Lyrical Luth, cea mai nouă versiune ROS cu asistență pe termen lung, lansată la 23 mai 2026. Inițiată și furnizată de NVIDIA, funcția permite transferul accelerat între memoria CPU, memoria GPU sau orice alt domeniu de memorie oferit de un furnizor. Aceasta folosește o structură comună pentru reprezentarea și transportarea memoriei gestionate extern, eliminând necesitatea creării unui nou tip de mesaj pentru fiecare accelerator sau bibliotecă.

Potrivit alianței, proiectarea păstrează mesajele ROS standard, editorii, abonații, limitele nodurilor și middleware-ul ROS, iar implementările middleware pot încărca backendurile de buffer ca pluginuri. Furnizorii pot crea biblioteci de buffer care oferă dezvoltatorilor acces sigur și ușor de folosit la un tip de memorie hardware, iar pachetele de conversie pot adapta mesajele ROS la cadre precum PyTorch sau CV-CUDA. Alianța precizează că transportul fără copiere este disponibil ca o cale dependentă de backend, nu ca o garanție universală, deoarece depinde de variabile precum compatibilitatea între puncte, localizarea, transportul și capacitățile memoriei.

Într-un articol din 20 septembrie 2026 publicat pe site-ul Open Source Robotics Alliance, liderul proiectului ROS, Michael J. Carroll, a declarat: „NVIDIA a fost cu adevărat un exemplu prin modul în care a implementat activitatea privind bufferul. Compania nu a transferat pur și simplu sarcina înapoi către noi, ci a inițiat o amplă colaborare și a solicitat contribuția comunității.”

Integrări în ecosistem și implementare pe robot

Comunicatul NVIDIA descrie un ecosistem robotic care extinde deja această abordare agentică. AgenticROS, un proiect open source sponsorizat de compania de tehnologie pentru percepție 3D RealSense, conectează Isaac ROS la modelele deschise NVIDIA Nemotron și la planurile NemoClaw, permițând agenților AI să interacționeze cu roboți bazați pe ROS. RealSense își optimizează, de asemenea, camerele stereo 3D de adâncime native pentru AI, inclusiv RealSense D585 Pro, precum și un kit open source de dezvoltare software pentru Isaac ROS și platforma AI de margine Jetson Thor.

Open Machine Tending Solution de la Intrinsic, o aplicație de referință pentru deservirea mașinilor cu comandă numerică și parte a suitei open source Intrinsic Core lansate recent, include compatibilitate integrată cu FoundationPose pentru înregistrarea, urmărirea și estimarea poziției obiectelor fără configurare suplimentară. Magna folosește Isaac ROS drept bază modulară accelerată de GPU pentru percepție robotică, colectarea sincronizată a datelor și implementarea modelului Isaac GR00T, alături de testarea hardware-in-the-loop în Isaac Sim. Seeed Studio combină Isaac ROS cu brațul său reBot Arm și execută percepția accelerată, înțelegerea spațială și planificarea mișcării pe Jetson Thor.

Ekumen, o companie Grid Dynamics, utilizează pachete Isaac ROS accelerate de GPU în stivele ROS și Nav2 existente pentru a îmbunătăți andocarea de precizie, detectarea obstacolelor 3D, localizarea vizuală și planificarea mișcării în timp real. Articolul precizează că Ekumen folosește isaac_ros_cumotion pe un GPU pentru a calcula o traiectorie fără coliziuni pentru un braț robotic de depozit în aproximativ 2 până la 5 milisecunde. Flexiv integrează Isaac ROS cu robotul său adaptiv Rizon 4, asigurând trecerea de la testarea aplicațiilor în Isaac Sim la implementarea acestora pe un robot fizic.

Foxglove, partener Isaac ROS, integrează instrumente web și desktop pentru vizualizarea și depanarea aplicațiilor ROS active în cadrul tutorialelor Isaac ROS. Instrumentul Pixi de gestionare a pachetelor, dezvoltat de Prefix.dev, creează medii reproductibile pentru dezvoltarea roboților și reunește ROS cu platforma CUDA. Ouster integrează camerele stereo Stereolabs ZED cu Isaac ROS pentru a oferi percepție accelerată de GPU în vederea detectării obiectelor, cartografierii și navigației în timp real.

Isaac ROS 5.0 acceptă calculul scalabil, de la Jetson Orin Nano pentru nivelul de bază până la dispozitive Jetson Thor de înaltă performanță. NVIDIA descrie Jetson drept o platformă de calcul scalabilă pentru rularea stivei de AI fizică la marginea rețelei și a declarat că firmele de robotică folosesc deja combinația Isaac ROS și Jetson pentru a aduce mai multă procesare AI direct pe utilajele lor.

Mentee Robotics folosește Isaac ROS drept nucleu de percepție și AI pentru umanoidul său MenteeBot, cu o bază software comună pe platformele Jetson Orin și Jetson Thor. Universal Robots a integrat Isaac ROS în kitul său de dezvoltare software AI Accelerator, alimentat de Jetson la marginea rețelei, pentru a ajuta integratorii să implementeze funcții avansate de percepție și mișcare fără a dezvolta de la zero software robotic complex.

ROBOTIS, producătorul robotului TurtleBot3 bazat pe ROS, integrează Isaac ROS în robotul său AI Worker și folosește percepția obiectelor accelerată de GPU pentru sarcini de manipulare ghidate vizual, inclusiv preluare, așezare și aliniere. FieldAI integrează Isaac ROS pe dispozitive Jetson pentru modelele sale fundamentale destinate roboților, care pot rula integral pe roboți fără a depinde de conectivitatea la cloud. Noble Machines folosește Isaac ROS pe Jetson pentru a accelera dezvoltarea roboților de uz general destinați aplicațiilor industriale.

Open Source Robotics Alliance invită dezvoltatorii să creeze backenduri de buffer și pachete de conversie compatibile, să le distribuie sub licențe open source și să se alăture grupului de lucru pentru transportul accelerat al memoriei, care se întrunește o dată la două săptămâni.