Isaac ROS 5.0 da NVIDIA adiciona habilidades agênticas e suporte ao ROS Lyrical

A NVIDIA lançou o Isaac ROS 5.0, uma coleção de pacotes acelerados por GPU e criados sobre a estrutura aberta ROS, em 22 de setembro de 2026, durante a conferência ROSCon em Toronto. A versão acrescenta fluxos de desenvolvimento agênticos, suporte à plataforma ROS Lyrical e ao Ubuntu 24.04 e novos recursos de percepção.

O ROS é um projeto da Open Robotics que oferece a base de código aberto para grande parte do desenvolvimento moderno de robótica, fornecendo aos desenvolvedores ferramentas, bibliotecas e padrões comuns para criar e conectar aplicações robóticas. Segundo a NVIDIA, o Isaac ROS leva sua computação acelerada, seus modelos de IA física e suas bibliotecas prontas para produção a quase 1,3 milhão de usuários do ROS.

O Isaac ROS 5.0 passa a oferecer suporte ao ROS Lyrical e ao Ubuntu 24.04, dando aos desenvolvedores um caminho para adotar a plataforma ROS mais recente enquanto continuam acelerando cargas de trabalho exigentes de robótica com a computação da NVIDIA. A versão já está disponível gratuitamente e com código aberto, acompanhada de documentação e material introdutório no GitHub.

Habilidades agênticas e modelos de percepção

A versão apresenta novas habilidades NVIDIA Isaac para configuração e manipulação, descritas pela NVIDIA como fluxos reutilizáveis que desenvolvedores e agentes de IA podem usar para concluir tarefas de desenvolvimento de robótica. A NVIDIA afirmou que a documentação preparada para agentes também facilita a compreensão das ferramentas e dos fluxos do Isaac ROS pelos agentes de IA, transformando mais rapidamente a intenção do desenvolvedor em aplicações funcionais.

Entre as novas habilidades, a NVIDIA afirmou que uma habilidade de ajuste fino do FoundationStereo permite que um agente de IA ajude a adaptar um modelo de percepção estéreo às câmeras, ao ambiente e à aplicação robótica do desenvolvedor, possibilitando uma percepção mais precisa para determinada configuração de sensores. O FoundationPose, modelo fundacional da NVIDIA para estimativa e rastreamento da pose de objetos, agora oferece uma biblioteca de inferência preparada para agentes que, segundo a NVIDIA, permite aos robôs perceber e rastrear a posição e a orientação dos objetos até 5,5 vezes mais rapidamente.

O processo de pegar e posicionar, um fluxo comum que conecta detecção, estimativa de profundidade e saída de pose, agora está disponível como uma habilidade independente e preparada para agentes, que os desenvolvedores de robôs podem usar além do Isaac ROS.

Transporte de memória independente de fornecedor no ROS Lyrical

A NVIDIA trabalhou com a Open Source Robotics Alliance para contribuir com uma interface padrão de tratamento de dados para o ROS Lyrical. Segundo a NVIDIA, ela ajuda o software de robótica a funcionar com eficiência em diferentes tipos de hardware computacional, inclusive GPUs. Disponível para toda a comunidade ROS, a interface oferece aos desenvolvedores uma maneira uniforme de acelerar aplicações robóticas exigentes, com o CUDA servindo como exemplo funcional de aceleração por GPU.

A aliança descreve o recurso fornecido, rosidl::buffer, como um dos elementos fundamentais do ROS Lyrical Luth, a versão mais recente do ROS com suporte de longo prazo, lançada em 23 de maio de 2026. Iniciado e fornecido pela NVIDIA, o recurso permite a transferência acelerada entre memória da CPU, memória da GPU ou qualquer outro domínio de memória oferecido por um fornecedor. Ele utiliza uma composição comum para representar e transportar memória gerenciada externamente, eliminando a necessidade de criar um novo tipo de mensagem para cada acelerador ou biblioteca.

Segundo a aliança, o projeto mantém as mensagens, os publicadores, os assinantes, os limites dos nós e o middleware padrão do ROS, e as implementações de middleware podem carregar os backends de buffer como plugins. Os fornecedores podem criar bibliotecas de buffer que deem aos desenvolvedores acesso seguro e voltado ao usuário a um tipo de memória de hardware, e os pacotes de conversão podem adaptar mensagens do ROS a estruturas como PyTorch ou CV-CUDA. A aliança observa que o transporte sem cópia está disponível como um caminho dependente do backend, e não como uma garantia universal, pois depende de variáveis como compatibilidade entre pares, localidade, transporte e recursos da memória.

Em uma publicação de 20 de setembro de 2026 no site da Open Source Robotics Alliance, Michael J. Carroll, líder do projeto ROS, declarou: “A NVIDIA realmente foi exemplar na forma como implementou o trabalho de buffer. Ela não simplesmente o devolveu para nós, mas iniciou muita colaboração e participação da comunidade.”

Integrações do ecossistema e implantação no robô

O lançamento da NVIDIA descreve um ecossistema de robótica que já amplia essa abordagem agêntica. O AgenticROS, projeto de código aberto patrocinado pela empresa de tecnologia de percepção 3D RealSense, conecta o Isaac ROS aos modelos abertos NVIDIA Nemotron e aos projetos NemoClaw, permitindo que agentes de IA interajam com robôs baseados em ROS. A RealSense também está otimizando suas câmeras estereoscópicas de profundidade 3D nativas para IA, inclusive a RealSense D585 Pro, e um kit de desenvolvimento de software de código aberto para o Isaac ROS e a plataforma de IA de borda Jetson Thor.

A Open Machine Tending Solution da Intrinsic, uma aplicação de referência para atendimento de máquinas de controle numérico computadorizado e parte do recém-lançado conjunto de código aberto Intrinsic Core, inclui compatibilidade integrada com o FoundationPose para registro, rastreamento e estimativa de pose de objetos sem configuração adicional. A Magna usa o Isaac ROS como uma base modular e acelerada por GPU para percepção robótica, coleta sincronizada de dados e implantação do modelo Isaac GR00T, em conjunto com testes de hardware no circuito no Isaac Sim. A Seeed Studio combina o Isaac ROS com seu reBot Arm, executando percepção acelerada, compreensão espacial e planejamento de movimento no Jetson Thor.

A Ekumen, empresa do grupo Grid Dynamics, usa pacotes Isaac ROS acelerados por GPU nas pilhas ROS e Nav2 existentes para melhorar o acoplamento de precisão, a detecção de obstáculos 3D, a localização visual e o planejamento de movimento em tempo real. A publicação informa que a Ekumen utiliza isaac_ros_cumotion em uma GPU para traçar um caminho sem colisões para um braço de armazém em aproximadamente 2 a 5 milissegundos. A Flexiv está integrando o Isaac ROS ao seu robô adaptativo Rizon 4, criando um caminho que vai dos testes de aplicações no Isaac Sim até sua implantação em um robô físico.

A Foxglove, parceira do Isaac ROS, integra ferramentas para web e desktop destinadas a visualizar e depurar aplicações ROS em funcionamento ao longo dos tutoriais do Isaac ROS. A ferramenta de gerenciamento de pacotes Pixi, da Prefix.dev, cria ambientes reproduzíveis de desenvolvimento de robôs, reunindo o ROS e a plataforma CUDA. A Ouster integra câmeras estereoscópicas Stereolabs ZED ao Isaac ROS para oferecer percepção acelerada por GPU voltada à detecção de objetos, ao mapeamento e à navegação em tempo real.

O Isaac ROS 5.0 oferece suporte à computação escalável, desde o Jetson Orin Nano de entrada até dispositivos Jetson Thor de alto desempenho. A NVIDIA descreve o Jetson como uma plataforma de computação escalável para executar a pilha de IA física na borda e afirmou que empresas de robótica já usam a combinação do Isaac ROS e do Jetson para levar mais processamento de IA diretamente às suas máquinas.

A Mentee Robotics usa o Isaac ROS como estrutura central de percepção e IA de seu humanoide MenteeBot, com uma base de software compartilhada entre as plataformas Jetson Orin e Jetson Thor. A Universal Robots incorporou o Isaac ROS ao seu kit de desenvolvimento de software AI Accelerator, executado pelo Jetson na borda, para ajudar integradores a implantar recursos avançados de percepção e movimento sem desenvolver do zero um software complexo de robótica.

A ROBOTIS, fabricante do TurtleBot3 baseado em ROS, está integrando o Isaac ROS ao seu robô AI Worker e usando percepção de objetos acelerada por GPU em tarefas de manipulação guiadas por visão, como pegar, posicionar e alinhar. A FieldAI integra o Isaac ROS em dispositivos Jetson para seus modelos fundacionais de robôs, que podem ser executados inteiramente nos robôs sem depender de conexão com a nuvem. A Noble Machines usa o Isaac ROS no Jetson para acelerar o desenvolvimento de robôs de uso geral destinados a aplicações industriais.

A Open Source Robotics Alliance convida os desenvolvedores a criar backends de buffer e pacotes de conversão compatíveis, compartilhá-los sob licenças de código aberto e participar do grupo de trabalho de transporte acelerado de memória, que se reúne a cada duas semanas.