NVIDIA apresenta GR00T 2 para robôs que aprendem com vídeos de pessoas

A NVIDIA apresentou o GR00T 2 em 9 de novembro de 2026, na Conference on Robot Learning (CoRL), em Austin, e relatou uma taxa de sucesso de 40% sem aprendizado prévio específico em 50 tarefas ausentes dos dados de treinamento do robô-alvo, para um modelo treinado parcialmente com vídeos de pessoas.

O GR00T 2 usa um transformador com 2 bilhões de parâmetros, desenvolvido com base no Cosmos-Predict2.5-2B. Ele combina imagens recentes das câmeras, o estado do robô e uma instrução escrita para gerar imagens futuras esperadas e a sequência seguinte de ações. Um único ponto de verificação pré-treinado abrange braços com pinças paralelas, mãos hábeis e um humanoide. Embora a NVIDIA apresente o modelo como aberto, sua página de pesquisa informa que o código estará disponível em dezembro.

O pré-treinamento combina 402.730 horas de vídeos em primeira pessoa de pessoas, 10.184 horas de demonstrações com pinças portáteis em 2.897 tarefas e 23.500 horas de teleoperação de robôs. O lançamento do Human-1M-100K disponibiliza 100.000 horas desses dados humanos, incluindo vídeos, anotações linguísticas e dados de movimento da cabeça e das mãos, sob uma licença CC BY 4.0 que permite usos comerciais e não comerciais.

Testes entre diferentes estruturas corporais mostram como as habilidades são transferidas entre corpos e adaptadas com uma quantidade limitada de dados de robôs. A NVIDIA relata uma taxa de sucesso de 65% na preparação de papel-filtro, aprendida com demonstrações humanas sem teleoperação específica para a tarefa, e de 60% na montagem de um caminhão basculante de brinquedo, transferida de uma pinça portátil para um braço YAM. Na avaliação Dexter, o GR00T 2 concluiu pelo menos uma tentativa em 40 tarefas. A taxa média de sucesso chega a 71% com uma demonstração por tarefa e a 95% com cinco; essas cinco demonstrações fornecem menos de três minutos de dados de robô por tarefa, seguidos por um ajuste fino do adaptador de aproximadamente 30 minutos em uma RTX 5090.

O artigo técnico faz uma ressalva sobre o resultado com cinco demonstrações: as tarefas avaliadas foram selecionadas entre aquelas que o modelo consegue aprender com cinco episódios e uma taxa de sucesso de pelo menos 80%; portanto, essa média é alta, em parte, por causa da própria seleção.

O treinamento em simulação passa a priorizar a precisão

A base da simulação é o Isaac Lab 3.0, disponível em geral desde 20 de outubro de 2026. Ele oferece uma única API de tarefas para diferentes back-ends de física, renderização e visualização; o Newton dá suporte a corpos rígidos, materiais deformáveis e partículas, e muitos fluxos de trabalho podem ser executados sem uma instalação completa do Isaac Sim. Em um benchmark de manipulação hábil baseada em visão, a NVIDIA relata uma capacidade de treinamento de até 2,5 vezes a do Isaac Lab 2.3 com PhysX, quando o Isaac Lab 3.0 é executado com o Newton.

O AlphaNIST aplica treinamento em larga escala por simulação a 20 tarefas do NIST Assembly Task Board, incluindo peças de apenas 4 milímetros. Uma política compartilhada é treinada usando apenas uma recompensa binária de sucesso, isto é, “sim” ou “não”. A NVIDIA relata uma taxa de sucesso no treinamento de 98,2% para essa política, contra 81,4% para políticas separadas por tarefa, usando cerca de 39 vezes menos tempo de GPU; esses resultados são de treinamento em simulação.

Por trás do AlphaNIST está a amostragem guiada pelo sucesso, desenvolvida pela University of Washington e pela NVIDIA. O método direciona a prática para configurações próximas ao limite das capacidades da política, sobretudo aquelas que ela resolve em cerca de metade das tentativas. Os autores do método relatam escalabilidade efetiva para mais de um milhão de ambientes simulados e a transferência sem aprendizado prévio específico de políticas de montagem baseadas em RGB para hardware UR5e real.

Benchmarks abordam a variabilidade industrial

O Isaac Lab-Arena fornece a camada de avaliação. Essa estrutura de código aberto cria avaliações reproduzíveis a partir de componentes modulares e as executa em ambientes simulados acelerados por GPU; a análise de falhas mostra quais condições precisam de outra rodada de treinamento. A NVIDIA informa que a prévia para desenvolvedores da versão 0.4 será lançada na CoRL.

O DexBench v1.0, desenvolvido pela RLWRLD com a NVIDIA, reúne 15 tarefas em cenários de varejo, logística, linha de montagem e serviços de alimentação e bebidas em hotéis. O VABAR, da UC Berkeley e da NVIDIA, abrange a separação e a suspensão de ferramentas, o encaixe de engrenagens, o empacotamento de seringas e a inserção e o roteamento de cabos, com o apoio de uma biblioteca de 33 habilidades. A página do projeto VABAR informa que seus dois níveis de dificuldade atuais compõem o conjunto de validação e que um conjunto de teste mais difícil ainda será disponibilizado.

Agentes acrescentam recuperação e novas restrições

A estrutura Graph-as-Policy, da UC Berkeley, usa vários agentes para compor um grafo direcionado e interpretável de habilidades robóticas, ensaiá-lo em simulação e revisar sua estrutura e seus parâmetros após falhas. O projeto relata que dez iterações de ensaio elevaram o resultado em Make Popcorn de 33% inicialmente para 94% em simulação e 90% — ou 18 de 20 execuções — em um robô real. Os benchmarks atuais enfatizam a manipulação quase estática; materiais deformáveis, dinâmica e alvos em movimento ficam para trabalhos futuros.

O GR00T 2 usa um agente de raciocínio para sequenciar habilidades, monitorar o progresso e acionar rotinas de recuperação quando peças caem ou o trabalho para, enquanto o modelo lida com manipulações que envolvem muito contato. Com dados corretivos e esse agente, a NVIDIA relata 98 montagens bem-sucedidas de aviões de brinquedo, 97 de tratores de brinquedo e 97 de carros Hot Wheels em 100 tentativas por brinquedo, cada uma iniciada com peças espalhadas aleatoriamente. O ajuste fino supervisionado, por si só, produziu 69, 51 e 23 montagens bem-sucedidas, respectivamente.

O artigo técnico relata separadamente uma taxa média de sucesso de cerca de 70% nos benchmarks pós-treinamento de horizonte longo. Na separação de lixo guiada visualmente, o robô esperou pelo agente durante uma mediana de 38% do episódio, evidenciando o custo de latência da supervisão do agente.

A NVIDIA afirma que a Nexuni está testando o GR00T 2 para manuseio de roupas, que a Foxconn está aplicando-o à automação da fabricação de servidores e que a Siemens está avaliando casos de uso industriais. O trabalho divulgado consiste em testes e avaliações; não foi anunciado nenhum lançamento em produção.

A conclusão do documento técnico atribui a confiabilidade ao pré-treinamento, que proporciona abrangência; às demonstrações corretivas e ao aprendizado por reforço, que proporcionam precisão; e aos agentes, que oferecem memória, verificação e recuperação. Para usuários industriais, a medida útil é, portanto, o fluxo de trabalho completo em torno do GR00T 2 e a supervisão necessária para cada tarefa. O desafio ainda em aberto para a implantação é manter a confiabilidade relatada e, ao mesmo tempo, reduzir a adaptação por tarefa e o tempo de espera dos agentes documentados nos próprios resultados da NVIDIA.