Isaac ROS 5.0 de NVIDIA ajoute des compétences agentiques et la prise en charge de ROS Lyrical

NVIDIA a publié Isaac ROS 5.0, une collection de paquets accélérés par GPU construits sur le cadre ouvert ROS, le 22 septembre 2026, lors de la conférence ROSCon à Toronto, ajoutant des flux de travail de développement agentiques, la prise en charge de la plateforme ROS Lyrical et d’Ubuntu 24.04, ainsi que de nouvelles capacités de perception.

ROS est un projet d’Open Robotics qui fournit la base open source pour une grande partie du développement robotique moderne, offrant aux développeurs des outils, bibliothèques et standards communs pour créer et connecter des applications robotiques. NVIDIA a déclaré que Isaac ROS apporte son calcul accéléré, ses modèles d’IA physique et ses bibliothèques prêtes pour la production à près de 1,3 million d’utilisateurs de ROS.

Isaac ROS 5.0 introduit la prise en charge de ROS Lyrical et d’Ubuntu 24.04, offrant aux développeurs une voie pour adopter la dernière plateforme ROS tout en continuant d’accélérer les charges de travail robotiques exigeantes grâce à l’informatique NVIDIA. La version est disponible dès maintenant, gratuite et open source, avec de la documentation et du matériel de prise en main sur GitHub.

Compétences agentiques et modèles de perception

Cette version introduit de nouvelles compétences NVIDIA Isaac pour l’installation et la manipulation, que NVIDIA décrit comme des flux de travail réutilisables que les développeurs et les agents IA peuvent utiliser pour accomplir des tâches de développement robotique. NVIDIA a indiqué que la documentation prête pour les agents facilite également la compréhension par les agents IA des outils et flux de travail d’Isaac ROS, transformant l’intention du développeur en applications fonctionnelles plus rapidement.

Parmi les nouvelles compétences, NVIDIA a déclaré qu’une compétence de réglage fin FoundationStereo permet à un agent IA d’aider à adapter un modèle de perception stéréo aux caméras, à l’environnement et à l’application robotique du développeur, afin que les développeurs puissent obtenir une perception plus précise pour une configuration de capteur donnée. FoundationPose, le modèle de base de NVIDIA pour l’estimation et le suivi de la pose d’objets, propose désormais une bibliothèque d’inférence prête pour les agents qui, selon NVIDIA, permet aux robots de percevoir et de suivre la position et l’orientation des objets jusqu’à 5,5 fois plus rapidement.

Pick and place, un flux de travail courant qui relie détection, estimation de profondeur et sortie de pose, est désormais disponible en tant que compétence autonome prête pour les agents que les développeurs de robots peuvent utiliser au-delà d’Isaac ROS.

Transport mémoire neutre vis-à-vis du fournisseur dans ROS Lyrical

NVIDIA a collaboré avec l’Open Source Robotics Alliance pour contribuer une interface standard de gestion des données à ROS Lyrical, que NVIDIA affirme aider les logiciels de robotique à fonctionner efficacement sur différents matériels informatiques, y compris les GPU. Disponible pour l’ensemble de la communauté ROS, l’interface offre aux développeurs un moyen cohérent d’accélérer les applications robotiques exigeantes, CUDA fournissant un exemple fonctionnel d’accélération GPU.

L’alliance décrit la fonctionnalité contribuée, rosidl::buffer, comme l’une des fonctionnalités clés de ROS Lyrical Luth, la dernière version à support à long terme de ROS, qui est arrivée le 23 mai 2026. Initiée et contribuée par NVIDIA, cette fonctionnalité permet un transfert accéléré entre la mémoire CPU, la mémoire GPU ou tout autre domaine de mémoire fourni par un vendeur, en utilisant une composition commune pour représenter et transporter la mémoire gérée extérieurement, ce qui élimine la nécessité de créer un nouveau type de message pour chaque accélérateur ou bibliothèque.

Selon l’alliance, la conception conserve les messages ROS standard, les éditeurs, les abonnés, les limites des nœuds et le middleware ROS en place, et les implémentations du middleware peuvent charger les back‑ends du tampon sous forme de plugins. Les fournisseurs peuvent créer des bibliothèques de tampons qui offrent aux développeurs un accès sûr et orienté utilisateur à un type de mémoire matérielle, et les paquets de conversion peuvent adapter les messages ROS à des frameworks tels que PyTorch ou CV‑CUDA. L’alliance indique que le transport zéro copie est disponible comme un chemin dépendant du back‑end plutôt que comme une garantie universelle, selon des variables telles que la compatibilité entre pairs, la localisation, le transport et les capacités de mémoire.

Dans un article du 20 septembre 2026 sur le site Web de Open Source Robotics Alliance, le responsable du projet ROS, Michael J. Carroll, a déclaré : « NVIDIA a vraiment été un exemple dans la façon dont ils ont mis en œuvre le travail sur le tampon. Ils ne se sont pas contentés de nous le refiler, mais ont initié de nombreuses collaborations et contributions de la communauté. »

Intégrations de l’écosystème et déploiement sur robot

La version de NVIDIA décrit un écosystème robotique qui étend déjà cette approche agentique. AgenticROS, un projet open source parrainé par la société de technologie de perception 3D RealSense, connecte Isaac ROS aux modèles ouverts NVIDIA Nemotron et aux plans NemoClaw, permettant aux agents IA d’interagir avec des robots basés sur ROS. RealSense optimise également ses caméras de profondeur stéréo 3D natives IA, dont le RealSense D585 Pro, ainsi qu’un kit de développement logiciel open source pour Isaac ROS et la plateforme d’IA en périphérie Jetson Thor.

La solution Open Machine Tending d’Intrinsic, une application de référence pour le service de machines à commande numérique et faisant partie de la suite open source Intrinsic Core récemment publiée, inclut une compatibilité intégrée avec FoundationPose pour l’enregistrement, le suivi et l’estimation de pose d’objets prêts à l’emploi. Magna utilise Isaac ROS comme une base modulaire, accélérée par GPU, pour la perception robotique, la collecte de données synchronisée et le déploiement du modèle Isaac GR00T, associée aux tests matériel‑dans‑la‑boucle d’Isaac Sim. Seeed Studio combine Isaac ROS avec son bras reBot, exécutant une perception accélérée, une compréhension spatiale et une planification de mouvement sur Jetson Thor.

Ekumen, une société de Grid Dynamics, utilise les packages Isaac ROS accélérés par GPU au sein des piles ROS et Nav2 existantes pour améliorer l’amarrage de précision, la détection d’obstacles 3D, la localisation visuelle et la planification de mouvement en temps réel. L’article indique qu’Ekumen utilise isaac_ros_cumotion sur un GPU pour tracer un chemin sans collision pour un bras d’entrepôt en environ 2 à 5 millisecondes. Flexiv intègre Isaac ROS à son robot adaptatif Rizon 4, suivant un parcours allant des applications de test dans Isaac Sim à leur déploiement sur un robot physique.

Foxglove, partenaire d’Isaac ROS, intègre des outils web et de bureau pour visualiser et déboguer les applications ROS en direct tout au long des tutoriels Isaac ROS. L’outil de gestion de paquets Pixi de Prefix.dev crée des environnements de développement robotique reproductibles, réunissant ROS et la plateforme CUDA. Ouster intègre les caméras stéréo ZED de Stereolabs à Isaac ROS afin d’offrir une perception accélérée par GPU pour la détection d’objets en temps réel, la cartographie et la navigation.

Isaac ROS 5.0 prend en charge un calcul évolutif, du Jetson Orin Nano d’entrée de gamme aux appareils Jetson Thor haute performance. NVIDIA décrit Jetson comme une plateforme de calcul évolutive permettant d’exécuter la pile IA physique en périphérie, et indique que des entreprises de robotique utilisent déjà la combinaison d’Isaac ROS et de Jetson pour apporter davantage de traitement IA directement sur leurs machines.

Mentee Robotics utilise Isaac ROS comme socle de perception et d’IA de son humanoïde MenteeBot, avec une base logicielle commune sur les plateformes Jetson Orin et Jetson Thor. Universal Robots a intégré Isaac ROS dans son kit de développement logiciel AI Accelerator, propulsé par Jetson en périphérie, afin d’aider les intégrateurs à déployer des capacités avancées de perception et de mouvement sans devoir développer un logiciel robotique complexe à partir de zéro.

ROBOTIS, créateur du TurtleBot3 basé sur ROS, intègre Isaac ROS dans son robot AI Worker, en utilisant la perception d’objets accélérée par GPU pour des tâches de manipulation guidées par la vision, notamment le prélèvement, le placement et l’alignement. FieldAI intègre Isaac ROS sur les appareils Jetson pour ses modèles de fondation robotique, qui peuvent fonctionner entièrement sur les robots sans dépendre d’une connectivité cloud. Noble Machines utilise Isaac ROS sur Jetson pour accélérer le développement de robots polyvalents destinés aux applications industrielles.

L’Open Source Robotics Alliance invite les développeurs à créer des back‑ends de tampon compatibles et des paquets de conversion, à les partager sous licences open source, et à rejoindre le groupe de travail sur le transport accéléré de la mémoire, qui se réunit toutes les deux semaines.