Des chercheurs de la CMU créent un robot IA qui peint

Des chercheurs de l'Institut de robotique de l'Université Carnegie Mellon ont développé un outil appelé FRIDA, qui est un bras robotique auquel est attaché un pinceau. L'outil s'appuie sur l'intelligence artificielle (IA) pour travailler avec des humains sur des projets artistiques.

L’équipe est prête à présenter la recherche intitulée «FRIDA : un robot peintre collaboratif avec un environnement de planification différentiable Real2Sim2Real» lors de la conférence internationale IEEE 2023 sur la robotique et l'automatisation en mai.

Peter Schaldenbrand est titulaire d'un doctorat. étudiant à l'Institut de Robotique de l'Ecole d'Informatique. Il travaille avec FRIDA et explore l'IA et la créativité.

"Il y a ce tableau d'une ballerine grenouille qui, je pense, s'est très bien passé", a-t-il déclaré. "C'est vraiment idiot et amusant, et je pense que la surprise de ce que FRIDA a généré sur la base de ma contribution était vraiment amusante à voir."

FRIDA est l'acronyme de Framework and Robotics Initiative for Developing Arts. Il porte le nom de Frida Kahlo.

La recherche a été dirigée par Schalderbrand, avec les membres du corps professoral du RI Jean Oh et Jim McCaam, et elle a attiré des étudiants et des chercheurs de toute la CMU.

Outil collaboratif pas artiste

Les utilisateurs peuvent guider FRIDA en saisissant une description textuelle, en soumettant d'autres œuvres d'art pour inspirer son style, ou en téléchargeant une photographie et en lui demandant d'en peindre une représentation. L'équipe teste également d'autres entrées, telles que l'audio.

"FRIDA est un système de peinture robotique, mais FRIDA n'est pas un artiste", a poursuivi Schalderbrand. « FRIDA ne génère pas les idées pour communiquer. FRIDA est un système avec lequel un artiste peut collaborer. L'artiste peut spécifier des objectifs de haut niveau pour FRIDA, puis FRIDA peut les exécuter. »

Pour peindre une image, le robot utilise des modèles d'IA comparables à ceux qui alimentent ChatGPT et DALL-E 2 d'OpenAI, qui produisent du texte ou une image en réponse à une invite. FRIDA simule la manière dont elle peindrait une image avec des coups de pinceau et utilise l'apprentissage automatique pour évaluer ses progrès au fur et à mesure de son fonctionnement.

Les produits finaux de FRIDA sont fantaisistes et impressionnistes. Les coups de pinceau sont audacieux et manquent de la précision fréquemment recherchée dans les efforts robotiques.

"FRIDA est un projet explorant l'intersection de la créativité humaine et robotique", a ajouté McCann. "Frida utilise le type de modèles d'IA qui ont été développés pour faire des choses comme des images de légende et comprendre le contenu de la scène et l'appliquer à ce problème de génération artistique."

FRIDA utilise l'IA et l'apprentissage automatique à plusieurs reprises au cours de son processus de création artistique. Tout d'abord, il passe une heure ou plus à apprendre à utiliser son pinceau. Ensuite, il utilise des modèles de langage visuel qui ont été formés sur d'énormes ensembles de données associant du texte et des images extraits d'Internet, tels que le Pre-Training Contrastive Language-Image Pre-Training (CLIP) d'OpenAI, pour comprendre l'entrée.

L'un des défis techniques les plus importants dans la production d'une image physique consiste à réduire l'écart entre la simulation et la réalité, c'est-à-dire la disparité entre ce que FRIDA crée en simulation et ce qu'il peint sur la toile. FRIDA utilise une idée connue sous le nom de real2sim2real, où les coups de pinceau réels du robot sont utilisés pour entraîner le simulateur à refléter et imiter les capacités physiques du robot et des matériaux de peinture.

L'équipe de FRIDA vise maintenant à remédier à certaines des limites des grands modèles actuels de langage visuel en affinant continuellement ceux qu'ils utilisent. Ils ont alimenté les titres des modèles à partir d'articles de presse pour leur donner une idée de ce qui se passait dans le monde et les ont formés davantage sur des images et des textes plus représentatifs de diverses cultures pour éviter un parti pris américain ou occidental.