El lenguaje humano acelera el aprendizaje robótico

Un equipo de investigadores de Princeton descubrió que las descripciones de herramientas en lenguaje humano pueden acelerar el aprendizaje de un brazo robótico simulado que puede levantar y usar varias herramientas.

La nueva investigación respalda la idea de que el entrenamiento de IA puede hacer que los robots autónomos se adapten mejor a nuevas situaciones, lo que a su vez mejora su eficacia y seguridad.

Al agregar descripciones de la forma y función de una herramienta al proceso de entrenamiento del robot, se mejoró la capacidad del robot para manipular nuevas herramientas.

Método ATLA para Entrenamiento

El nuevo método se llama Aprendizaje acelerado de manipulación de herramientas con lenguajeo ATLA.

Anirudha Majumdar es profesora asistente de ingeniería mecánica y aeroespacial en Princeton y directora del Laboratorio de movimiento de robots inteligentes.

“La información adicional en forma de lenguaje puede ayudar a un robot a aprender a usar las herramientas más rápidamente”, dijo Majumdar.

El equipo consultó el modelo de lenguaje GPT-3 para obtener descripciones de herramientas. Después de probar varias indicaciones, decidieron usar "Describe la [característica] de [herramienta] en una respuesta detallada y científica", siendo la característica la forma o el propósito de la herramienta.

Karthik Narasimhan es profesor asistente de informática y coautor del estudio. Narasimhan también es miembro principal de la facultad del grupo de procesamiento del lenguaje natural (NLP) de Princeton y contribuyó al modelo de lenguaje GPT original como científico investigador visitante en OpenAI.

“Debido a que estos modelos de lenguaje han sido entrenados en Internet, en cierto sentido, puede pensar en esto como una forma diferente de recuperar esa información de manera más eficiente y completa que usar el crowdsourcing o raspar sitios web específicos para obtener descripciones de herramientas”, dijo Narasimhan.

Experimentos de aprendizaje de robots simulados

El equipo seleccionó un conjunto de entrenamiento de 27 herramientas para sus experimentos de aprendizaje de robots simulados, con herramientas que van desde un hacha hasta una escobilla de goma. Al brazo robótico se le asignaron cuatro tareas diferentes: empujar la herramienta, levantar la herramienta, usarla para barrer un cilindro a lo largo de una mesa o clavar una clavija en un agujero.

Luego, el equipo desarrolló un conjunto de políticas mediante el uso de enfoques de aprendizaje automático con y sin información lingüística. Los desempeños de las políticas se compararon en una prueba separada de nueve herramientas con descripciones pareadas.

El enfoque, que se denomina metaaprendizaje, mejora la capacidad del robot para aprender con cada tarea sucesiva.

Según Narasimhan, el robot no solo está aprendiendo a usar cada herramienta, sino que también “trata de aprender a comprender las descripciones de cada una de estas cien herramientas diferentes, de modo que cuando ve la herramienta 101 aprende más rápido a usar la nueva herramienta. ”

En la mayoría de los experimentos, la información del idioma proporcionó ventajas significativas para la capacidad del robot para utilizar nuevas herramientas.

Allen Z. Ren es un Ph.D. estudiante en el grupo de Majumdar y autor principal del trabajo de investigación.

“Con el entrenamiento del idioma, aprende a agarrar el extremo largo de la palanca y usar la superficie curva para restringir mejor el movimiento de la botella”, dijo Ren. “Sin el idioma, agarraba la palanca cerca de la superficie curva y era más difícil de controlar”.

“El objetivo general es lograr que los sistemas robóticos, específicamente, los que están entrenados mediante el aprendizaje automático, se generalicen a nuevos entornos”, agregó Majumdar.