Investigadores de CMU crean robot de inteligencia artificial que pinta

Los investigadores del Instituto de Robótica de la Universidad Carnegie Mellon han desarrollado una herramienta llamada FRIDA, que es un brazo robótico con un pincel de pintura adjunto. La herramienta aprovecha la inteligencia artificial (IA) para trabajar junto con los humanos en proyectos de arte.

El equipo está a punto de presentar la investigación titulada “FRIDA: Un pintor robótico colaborativo con un entorno de planificación diferenciable, Real2Sim2Real” en la Conferencia Internacional de Robótica y Automatización de IEEE de 2023.

Peter Schaldenbrand es un estudiante de doctorado en el Instituto de Robótica de la Escuela de Ciencias de la Computación. Trabaja con FRIDA y explora la IA y la creatividad.

“Hay una pintura de una bailarina rana que creo que salió muy bien”, dijo. “Es realmente tonta y divertida, y creo que la sorpresa de lo que FRIDA generó en función de mi entrada fue realmente divertida de ver”.

FRIDA es un acrónimo de Framework and Robotics Initiative for Developing Arts. Lleva el nombre de Frida Kahlo.

La investigación fue liderada por Schalderbrand, junto con los miembros de la facultad del RI Jean Oh y Jim McCaam, y ha atraído a estudiantes e investigadores de todo CMU.

Herramienta colaborativa, no artista

Los usuarios pueden guiar a FRIDA introduciendo una descripción de texto, presentando otras obras de arte para inspirar su estilo, o subiendo una fotografía y pidiéndole que pinte una representación de ella. El equipo también está probando otras entradas, como audio.

“FRIDA es un sistema de pintura robótica, pero FRIDA no es un artista”, continuó Schalderbrand. “FRIDA no genera las ideas para comunicar. FRIDA es un sistema con el que un artista podría colaborar. El artista puede especificar objetivos de alto nivel para FRIDA y luego FRIDA puede ejecutarlos”.

Para pintar una imagen, el robot utiliza modelos de IA que son comparables a los que alimentan a OpenAI’s ChatGPT y DALL-E 2, que producen texto o una imagen en respuesta a un prompt. FRIDA simula cómo pintaría una imagen con pinceladas y utiliza el aprendizaje automático para evaluar su progreso mientras trabaja.

Los productos finales de FRIDA son caprichosos e impresionistas. Las pinceladas son audaces y carecen de la precisión que se busca con frecuencia en los esfuerzos robóticos.

“FRIDA es un proyecto que explora la intersección de la creatividad humana y robótica”, agregó McCann. “Frida está utilizando el tipo de modelos de IA que se han desarrollado para hacer cosas como describir imágenes y comprender el contenido de la escena y aplicarlos a este problema generativo artístico”.

FRIDA utiliza la IA y el aprendizaje automático varias veces durante su proceso de creación de arte. Primero, pasa una hora o más aprendiendo a usar su pincel de pintura. Luego, emplea modelos de visión-lenguaje que han sido entrenados en grandes conjuntos de datos que emparejan texto e imágenes recopiladas de Internet, como OpenAI’s Contrastive Language-Image Pre-Training (CLIP), para comprender la entrada.

Uno de los desafíos técnicos más significativos al producir una imagen física es reducir la brecha de simulación a realidad, que es la disparidad entre lo que FRIDA crea en la simulación y lo que pinta en el lienzo. FRIDA utiliza una idea conocida como real2sim2real, donde los trazos de pincel reales del robot se utilizan para entrenar al simulador para que refleje y imite las capacidades físicas del robot y los materiales de pintura.

El equipo de FRIDA ahora tiene como objetivo abordar algunas de las limitaciones de los grandes modelos de visión-lenguaje actuales, refinando continuamente los que utilizan. Les proporcionaron titulares de artículos de noticias para darles una idea de lo que estaba sucediendo en el mundo y los entrenaron en imágenes y texto que son más representativos de culturas diversas para evitar un sesgo estadounidense u occidental.