El lenguaje humano acelera el aprendizaje robótico

Un equipo de investigadores de Princeton ha descubierto que las descripciones del lenguaje humano de las herramientas pueden acelerar el aprendizaje de un brazo robótico simulado que puede levantar y utilizar diversas herramientas.

La nueva investigación respalda la idea de que el entrenamiento de la inteligencia artificial puede hacer que los robots autónomos sean más adaptables en nuevas situaciones, lo que a su vez mejora su eficacia y seguridad.

Al agregar descripciones de la forma y la función de una herramienta al proceso de entrenamiento del robot, se mejoró la capacidad del robot para manipular nuevas herramientas.

Método ATLA para el entrenamiento

El nuevo método se llama Aprendizaje acelerado de la manipulación de herramientas con lenguaje, o ATLA.

Anirudha Majumdar es profesor asistente de ingeniería mecánica y aeroespacial en Princeton y jefe del Laboratorio de Movimiento de Robot Inteligente.

“La información extra en forma de lenguaje puede ayudar a un robot a aprender a utilizar las herramientas más rápidamente”, dijo Majumdar.

El equipo consultó el modelo de lenguaje GPT-3 para obtener descripciones de herramientas. Después de probar varios prompts, decidieron utilizar “Describe la [característica] de [herramienta] en una respuesta detallada y científica”, con la característica siendo la forma o el propósito de la herramienta.

Karthik Narasimhan es profesor asistente de ciencias de la computación y coautor del estudio. Narasimhan también es miembro principal de la facultad en el grupo de procesamiento de lenguaje natural (NLP) de Princeton y contribuyó al modelo de lenguaje GPT original como científico de investigación visitante en OpenAI.

“Porque estos modelos de lenguaje han sido entrenados en Internet, en cierto sentido puedes pensar en esto como una forma diferente de recuperar esa información de manera más eficiente y completa que utilizando crowdsourcing o raspando sitios web específicos para descripciones de herramientas”, dijo Narasimhan.

https://vimeo.com/781953242?embedded=true&source=video_title&owner=2065450

Experimentos de aprendizaje robótico simulado

El equipo seleccionó un conjunto de entrenamiento de 27 herramientas para sus experimentos de aprendizaje robótico simulado, con las herramientas que van desde un hacha hasta una espátula. El brazo robótico se le dio cuatro tareas diferentes: empujar la herramienta, levantar la herramienta, utilizarla para barrer un cilindro a lo largo de una mesa o martillar un pasador en un agujero.

El equipo desarrolló entonces un conjunto de políticas utilizando enfoques de aprendizaje automático con y sin información de lenguaje. Se compararon los rendimientos de las políticas en una prueba separada de nueve herramientas con descripciones emparejadas.

El enfoque, que se llama metaaprendizaje, mejora la capacidad del robot para aprender con cada tarea sucesiva.

Según Narasimhan, el robot no solo está aprendiendo a utilizar cada herramienta, sino que también “está tratando de aprender a entender las descripciones de cada una de estas cien herramientas diferentes, para que cuando vea la herramienta 101, sea más rápido para aprender a utilizar la nueva herramienta”.

En la mayoría de los experimentos, la información del lenguaje proporcionó ventajas significativas para la capacidad del robot para utilizar nuevas herramientas.

Allen Z. Ren es un estudiante de doctorado en el grupo de Majumdar y autor principal del artículo de investigación.

“Con el entrenamiento del lenguaje, aprende a agarrar el extremo largo de la barra y utilizar la superficie curva para limitar mejor el movimiento de la botella”, dijo Ren. “Sin el lenguaje, agarró la barra cerca de la superficie curva y fue más difícil de controlar”.

“El objetivo general es lograr que los sistemas robóticos —específicamente, aquellos que se entrenan utilizando aprendizaje automático— se generalicen a nuevos entornos”, agregó Majumdar.