Investigadores de CMU crean robot de inteligencia artificial que pinta

Investigadores del Instituto de Robótica de la Universidad Carnegie Mellon han desarrollado una herramienta llamada FRIDA, que es un brazo robótico con un pincel atado a él. La herramienta aprovecha la inteligencia artificial (IA) para trabajar junto con los humanos en proyectos de arte.

El equipo está a punto de presentar la investigación titulada “FRIDA: Un pintor robótico colaborativo con un entorno de planificación Real2Sim2Real diferenciable” en la Conferencia Internacional de Robótica y Automatización de la IEEE en mayo.

Peter Schaldenbrand es un estudiante de doctorado en el Instituto de Robótica de la Escuela de Ciencias de la Computación. Trabaja con FRIDA y explora la IA y la creatividad.

“Hay una pintura de una bailarina de frog que creo que salió realmente bien”, dijo. “Es realmente tonta y divertida, y creo que la sorpresa de lo que FRIDA generó en función de mi entrada fue realmente divertida de ver”.

FRIDA es un acrónimo de Framework y Robotics Initiative for Developing Arts. Lleva el nombre de Frida Kahlo.

La investigación fue dirigida por Schalderbrand, junto con los miembros de la facultad del RI Jean Oh y Jim McCaam, y ha atraído a estudiantes e investigadores de todo CMU.

Herramienta colaborativa, no artista

Los usuarios pueden guiar a FRIDA introduciendo una descripción de texto, presentando otras obras de arte para inspirar su estilo o subiendo una fotografía y pidiéndole que pinte una representación de ella. El equipo también está probando otras entradas, como audio.

“FRIDA es un sistema de pintura robótica, pero FRIDA no es un artista”, continuó Schalderbrand. “FRIDA no genera las ideas para comunicar. FRIDA es un sistema con el que un artista podría colaborar. El artista puede especificar objetivos de alto nivel para FRIDA y luego FRIDA puede ejecutarlos”.

Para pintar una imagen, el robot utiliza modelos de IA que son comparables a los que alimentan a OpenAI’s ChatGPT y DALL-E 2, que producen texto o una imagen en respuesta a un prompt. FRIDA simula cómo pintaría una imagen con pinceladas y utiliza el aprendizaje automático para evaluar su progreso mientras trabaja.

Los productos finales de FRIDA son caprichosos e impresionistas. Las pinceladas son audaces y carecen de la precisión que se busca con frecuencia en los esfuerzos robóticos.

“FRIDA es un proyecto que explora la intersección de la creatividad humana y robótica”, agregó McCann. “Frida está utilizando el tipo de modelos de IA que se han desarrollado para hacer cosas como captionar imágenes y comprender el contenido de la escena y aplicarlos a este problema de generación artística”.

FRIDA utiliza la IA y el aprendizaje automático varias veces durante su proceso de creación de arte. Primero, pasa una hora o más aprendiendo a usar su pincel. Luego, emplea modelos de visión-lenguaje que han sido entrenados en grandes conjuntos de datos que emparejan texto e imágenes extraídas de Internet, como OpenAI’s Contrastive Language-Image Pre-Training (CLIP), para comprender la entrada.

Uno de los desafíos técnicos más significativos al producir una imagen física es reducir la brecha de simulación a realidad, que es la disparidad entre lo que FRIDA crea en la simulación y lo que pinta en el lienzo. FRIDA utiliza una idea conocida como real2sim2real, donde los movimientos reales del pincel del robot se utilizan para entrenar al simulador para que refleje y imite las capacidades físicas del robot y los materiales de pintura.

El equipo de FRIDA ahora tiene como objetivo abordar algunas de las limitaciones de los actuales modelos de visión-lenguaje de gran tamaño, continuamente perfeccionando los que utilizan. Alimentaron a los modelos con titulares de artículos de noticias para proporcionarles una idea de lo que estaba sucediendo en el mundo y los entrenaron aún más en imágenes y texto que son más representativos de culturas diversas para evitar un sesgo estadounidense o occidental.