Enseñar a los robots sobre herramientas con campos de radiación neural (NeRF)

Nueva investigación de la Universidad de Michigan ofrece una forma para que los robots comprendan los mecanismos de las herramientas y otros objetos articulados del mundo real, creando objetos de campos de radiación neural (NeRF) que demuestran la forma en que estos objetos se mueven, lo que potencialmente permite al robot interactuar con ellos y utilizarlos sin una tediosa configuración predefinida dedicada.

Al utilizar referencias de fuentes conocidas para la motilidad interna de las herramientas (o cualquier objeto con una referencia adecuada), NARF22 puede sintetizar una aproximación fotorealista de la herramienta y su rango de movimiento y tipo de operación. Fuente: https://progress.eecs.umich.edu/projects/narf/

Los robots que deben hacer más que evitar a los peatones o realizar rutinas preprogramadas de manera elaborada (para las cuales es probable que se hayan etiquetado y entrenado conjuntos de datos no reutilizables a un costo determinado) necesitan esta capacidad de adaptación si van a trabajar con los mismos materiales y objetos con los que el resto de nosotros debe lidiar.

Hasta la fecha, ha habido una serie de obstáculos para infundir a los sistemas robóticos esta clase de versatilidad. Estos incluyen la escasez de conjuntos de datos aplicables, muchos de los cuales presentan un número muy limitado de objetos; el gran gasto involucrado en generar los modelos 3D fotorealistas basados en malla que pueden ayudar a los robots a aprender instrumentos en el contexto del mundo real; y la calidad no fotorealista de dichos conjuntos de datos que pueden ser adecuados para el desafío, lo que hace que los objetos parezcan desconectados de lo que el robot percibe en el mundo que lo rodea, y lo entrena para buscar un objeto similar a un dibujo animado que nunca aparecerá en la realidad.

Para abordar esto, los investigadores de Michigan, cuyo artículo se titula NARF22: Campos de radiación neural articulados para renderizado consciente de la configuración, han desarrollado una tubería de dos etapas para generar objetos articulados basados en NeRF que tienen una apariencia de “mundo real” y que incorporan el movimiento y las limitaciones resultantes de cualquier objeto articulado en particular.

Aunque parece más complejo, las dos etapas esenciales de la tubería NARF22 implican renderizar partes estáticas de herramientas móviles y luego componer estos elementos en un segundo conjunto de datos que está informado sobre los parámetros de movimiento que estos componentes tienen, relativos entre sí. Fuente: https://arxiv.org/pdf/2210.01166.pdf

El sistema se llama Campo de radiación neural articulado – o NARF22, para distinguirlo de otro proyecto con un nombre similar.

NARF22

Determinar si un objeto desconocido es potencialmente articulado requiere una cantidad casi inconcebible de conocimiento previo al estilo humano. Por ejemplo, si nunca hubieras visto un cajón cerrado antes, podría parecer cualquier otro tipo de panel decorativo – no es hasta que lo has abierto que internalizas ‘cajón’ como un objeto articulado con un solo eje de movimiento (hacia adelante y hacia atrás).

Por lo tanto, NARF22 no está destinado como un sistema de exploración para recoger cosas y ver si tienen partes móviles accionables – un comportamiento casi simio que implicaría una serie de escenarios potencialmente desastrosos. Más bien, el marco se basa en el conocimiento disponible en Formato de descripción de robot universal (URDF) – un formato basado en XML de código abierto que es ampliamente aplicable y adecuado para la tarea. Un archivo URDF contendrá los parámetros de movimiento utilizables del objeto, así como descripciones y otras facetas etiquetadas de las partes del objeto.

En tuberías convencionales, es necesario describir esencialmente las capacidades de articulación de un objeto y etiquetar los valores de las articulaciones pertinentes. Esto no es una tarea barata ni fácilmente escalable. En cambio, el flujo de trabajo de NaRF22 renderiza los componentes individuales del objeto antes de ‘ensamblar’ cada componente estático en una representación articulada basada en NeRF, con conocimiento de los parámetros de movimiento proporcionados por URDF.

En la segunda etapa del proceso, se crea un renderizador completamente nuevo que incorpora todas las partes. Aunque podría ser más fácil simplemente concatenar las partes individuales en una etapa anterior y omitir este paso posterior, los investigadores observan que el modelo final – que se entrenó en una GPU NVIDIA RTX 3080 con un CPU AMD 5600X – tiene demandas computacionales más bajas durante propagación hacia atrás que una ensambladura concatenada y “bruta” prematura.

Además, el modelo de segunda etapa se ejecuta a dos veces la velocidad de una ensambladura concatenada y “forzada”, y cualquier aplicación secundaria que pueda necesitar utilizar información sobre partes estáticas del modelo no necesitará su propio acceso a información URDF, porque esto ya se ha incorporado en el renderizador de segunda etapa.

Datos y experimentos