Ensino de Robôs Sobre Ferramentas Com Campos de Radiância Neural (NeRF)

Pesquisa nova da Universidade de Michigan oferece uma maneira para robôs entenderem os mecanismos de ferramentas e outros objetos articulados do mundo real, criando Campos de Radiância Neural (NeRF) que demonstram como esses objetos se movem, permitindo que o robô interaja com eles e os use sem uma configuração prévia tediosa.

Utilizando referências de motilidade interna conhecidas para ferramentas (ou qualquer objeto com uma referência adequada), o NARF22 pode sintetizar uma aproximação fotorealista da ferramenta e seu alcance de movimento e tipo de operação. Fonte: https://progress.eecs.umich.edu/projects/narf/

Robôs que precisam fazer mais do que evitar pedestres ou realizar rotinas pré-programadas elaboradamente (para as quais conjuntos de dados não reutilizáveis provavelmente foram rotulados e treinados a um custo considerável) precisam dessa capacidade adaptativa se pretendem trabalhar com os mesmos materiais e objetos com os quais o resto de nós deve lidar.

Até o momento, houve vários obstáculos para dotar sistemas robóticos dessa versatilidade. Isso inclui a escassez de conjuntos de dados aplicáveis, muitos dos quais apresentam um número limitado de objetos; o alto custo envolvido na geração de modelos 3D fotorealistas baseados em malha que podem ajudar robôs a aprender instrumentos no contexto do mundo real; e a qualidade não fotorealista de conjuntos de dados que podem ser adequados para o desafio, fazendo com que os objetos pareçam desconexos do que o robô percebe no mundo ao seu redor, e treinando-o para buscar um objeto de aparência cartoon que nunca aparecerá na realidade.

Para abordar isso, os pesquisadores de Michigan, cujo artigo é intitulado NARF22: Campos de Radiância Neural Articulados para Renderização Consciente de Configuração, desenvolveram um pipeline de duas etapas para gerar objetos articulados baseados em NeRF que têm uma aparência de “mundo real” e que incorporam o movimento e as limitações resultantes de qualquer objeto articulado.

Embora pareça mais complexo, as duas etapas essenciais do pipeline NARF22 envolvem renderizar partes estáticas de ferramentas móveis e, em seguida, compostar esses elementos em um segundo conjunto de dados informado sobre os parâmetros de movimento que essas partes têm em relação umas às outras. Fonte: https://arxiv.org/pdf/2210.01166.pdf

O sistema é chamado de Campos de Radiância Neural Articulados – ou NARF22, para distingui-lo de outro projeto com nome semelhante.

NARF22

Determinar se um objeto desconhecido é potencialmente articulado requer uma quantidade quase inimaginável de conhecimento prévio do estilo humano. Por exemplo, se você nunca viu uma gaveta fechada antes, ela pode parecer qualquer outro tipo de painel decorativo – não é até que você tenha realmente aberto uma que internaliza “gaveta” como um objeto articulado com um único eixo de movimento (para a frente e para trás).

Portanto, o NARF22 não é destinado a ser um sistema de exploração para pegar coisas e ver se elas têm partes móveis atuáveis – um comportamento quase simiesco que envolveria uma série de cenários potencialmente desastrosos. Em vez disso, a estrutura é baseada no conhecimento disponível no Formato de Descrição de Robô Universal (URDF) – um formato baseado em XML de código aberto que é amplamente aplicável e adequado para a tarefa. Um arquivo URDF conterá os parâmetros de movimento utilizáveis de um objeto, bem como descrições e outras facetas rotuladas das partes do objeto.

Nos pipelines convencionais, é necessário descrever essencialmente as capacidades de articulação de um objeto e rotular os valores de junta pertinentes. Isso não é uma tarefa barata ou facilmente escalável. Em vez disso, o fluxo de trabalho do NaRF22 renderiza os componentes individuais do objeto antes de “montar” cada componente estático em uma representação baseada em NeRF articulada, com conhecimento dos parâmetros de movimento fornecido pelo URDF.

Na segunda etapa do processo, um renderizador completamente novo é criado, que incorpora todas as partes. Embora possa ser mais fácil simplesmente concatenar as partes individuais em uma etapa anterior e pular essa etapa subsequente, os pesquisadores observam que o modelo final – que foi treinado em uma GPU NVIDIA RTX 3080 sob um processador AMD 5600X – tem demandas computacionais mais baixas durante a propagação reversa do que uma montagem abrupta e prematura.

Além disso, o modelo da segunda etapa executa em duas vezes a velocidade de uma montagem concatenada e “forçada”, e quaisquer aplicações secundárias que possam precisar utilizar informações sobre partes estáticas do modelo não precisarão ter acesso próprio às informações do URDF, pois isso já foi incorporado ao renderizador da etapa final.

Dados e Experimentos

Os pesquisadores realizaram uma série de experimentos para testar o NARF22: um para avaliar a renderização qualitativa para cada configuração e pose do objeto; um teste quantitativo para comparar os resultados renderizados com pontos de vista semelhantes vistos por robôs do mundo real; e uma demonstração da estimação de configuração e um desafio de refinamento de 6 DOF (profundidade de campo) que usou o NARF22 para realizar otimização baseada em gradiente.

Os dados de treinamento foram retirados do conjunto de dados de Ferramentas de Progresso de um artigo anterior de vários dos autores atuais. O conjunto de dados de Ferramentas de Progresso contém cerca de seis mil imagens RGB-D (ou seja, incluindo informações de profundidade, essenciais para a visão robótica) em resolução 640×480. As cenas usadas incluíam oito ferramentas manuais, divididas em suas partes constituintes, completas com modelos de malha e informações sobre as propriedades cinemáticas dos objetos (ou seja, a forma como são projetados para se mover e os parâmetros desse movimento).

O conjunto de dados de Ferramentas de Progresso apresenta quatro ferramentas articuladas. As imagens acima são renderizações baseadas em NeRF do NARF22.

Para este experimento, um modelo configurável final foi treinado usando apenas alicates de linha, alicates de ponta longa e uma morsa (veja a imagem acima). Os dados de treinamento continham uma configuração única da morsa e uma para cada um dos alicates.

A implementação do NARF22 é baseada no FastNeRF, com os parâmetros de entrada modificados para se concentrar na pose concatenada e espacialmente codificada das ferramentas. O FastNeRF usa um perceptron multicamada factorizado emparelhado com um mecanismo de amostragem voxelizado (voxels são essencialmente pixels, mas com coordenadas 3D completas, para que possam operar em um espaço tridimensional).

Para o teste qualitativo, os pesquisadores observam que existem várias partes ocultas da morsa (ou seja, a espinha dorsal central, que não pode ser conhecida ou adivinhada observando o objeto, mas apenas interagindo com ele, e que o sistema tem dificuldade em criar essa geometria “desconhecida”.

Renderizações qualitativas de ferramentas.

Em contraste, os alicates conseguiram generalizar bem para configurações novas (ou seja, para extensões e movimentos de suas partes que estão dentro dos parâmetros do URDF, mas que não são explicitamente abordados no material de treinamento do modelo.

Os pesquisadores observam, no entanto, que erros de rotulagem para os alicates levaram a uma diminuição da qualidade de renderização para as pontas muito detalhadas das ferramentas, afetando negativamente as renderizações – um problema relacionado a preocupações mais amplas em torno da logística de rotulagem, orçamento e precisão na área de visão computacional, em vez de qualquer falha procedural no pipeline do NARF22.

Resultados do teste de precisão de renderização.

Para os testes de estimação de configuração, os pesquisadores realizaram refinamento de pose e estimação de configuração a partir de uma pose “rígida” inicial, evitando qualquer uma das soluções de cache ou aceleração usadas pelo próprio FastNeRF.

Eles então treinaram 17 cenas bem ordenadas do conjunto de teste do Progress Tools (que haviam sido mantidas à parte durante o treinamento), executando 150 iterações de otimização de gradiente sob o otimizador Adam. Esse procedimento recuperou a estimação de configuração “extremamente bem”, de acordo com os pesquisadores.

Resultados do teste de estimação de configuração.

Publicado pela primeira vez em 5 de outubro de 2022.