Des chercheurs de la CMU créent un robot IA qui peint

Des chercheurs de l'Institut de robotique de l'Université Carnegie Mellon ont développé un outil appelé FRIDA, qui est un bras robotique auquel est attaché un pinceau. L'outil s'appuie sur l'intelligence artificielle (IA) pour travailler avec des humains sur des projets artistiques.

L’équipe est prête à présenter la recherche intitulée «FRIDA : un robot peintre collaboratif avec un environnement de planification différentiable Real2Sim2Real» lors de la conférence internationale IEEE 2023 sur la robotique et l'automatisation en mai.

Peter Schaldenbrand est titulaire d'un doctorat. étudiant à l'Institut de Robotique de l'Ecole d'Informatique. Il travaille avec FRIDA et explore l'IA et la créativité.

"Il y a ce tableau d'une ballerine grenouille qui, je pense, s'est très bien passé", a-t-il déclaré. "C'est vraiment idiot et amusant, et je pense que la surprise de ce que FRIDA a généré sur la base de ma contribution était vraiment amusante à voir."

FRIDA est l'acronyme de Framework and Robotics Initiative for Developing Arts. Il porte le nom de Frida Kahlo.

La recherche a été dirigée par Schalderbrand, avec les membres du corps professoral du RI Jean Oh et Jim McCaam, et elle a attiré des étudiants et des chercheurs de toute la CMU.

Outil collaboratif pas artiste

Les utilisateurs peuvent guider FRIDA en saisissant une description textuelle, en soumettant d'autres œuvres d'art pour inspirer son style, ou en téléchargeant une photographie et en lui demandant d'en peindre une représentation. L'équipe teste également d'autres entrées, telles que l'audio.

"FRIDA est un système de peinture robotique, mais FRIDA n'est pas un artiste", a poursuivi Schalderbrand. « FRIDA ne génère pas les idées pour communiquer. FRIDA est un système avec lequel un artiste peut collaborer. L'artiste peut spécifier des objectifs de haut niveau pour FRIDA, puis FRIDA peut les exécuter. »

Pour peindre une image, le robot utilise des modèles d'IA comparables à ceux des plateformes ChatGPT et DALL-E 2 d'OpenAI, qui produisent du texte ou une image en réponse à une invite. FRIDA simule la manière dont il peindrait une image avec des coups de pinceau et utilise l'apprentissage automatique pour évaluer sa progression.

Les produits finaux de FRIDA sont fantaisistes et impressionnistes. Les coups de pinceau sont audacieux et manquent de la précision fréquemment recherchée dans les efforts robotiques.

"FRIDA est un projet explorant l'intersection de la créativité humaine et robotique", a ajouté McCann. "Frida utilise le type de modèles d'IA qui ont été développés pour faire des choses comme des images de légende et comprendre le contenu de la scène et l'appliquer à ce problème de génération artistique."

FRIDA utilise l'IA et l'apprentissage automatique à plusieurs reprises au cours de son processus de création artistique. Elle passe d'abord une heure ou plus à apprendre à utiliser son pinceau. Ensuite, elle utilise des modèles de langage visuel entraînés sur d'énormes ensembles de données associant texte et images récupérés sur Internet, comme le pré-apprentissage contrastif langage-image (CLIP) d'OpenAI, pour comprendre les données saisies.

L'un des défis techniques les plus importants dans la production d'une image physique est de réduire l'écart entre la simulation et le réel, c'est-à-dire la disparité entre ce que FRIDA crée en simulation et ce qu'il peint sur la toile. FRIDA utilise le concept « real2sim2real », où les coups de pinceau réels du robot sont utilisés pour entraîner le simulateur à reproduire et imiter les capacités physiques du robot et des matériaux de peinture.

L'équipe de FRIDA cherche désormais à pallier certaines limites des modèles actuels de langage visuel à grande échelle en perfectionnant continuellement ceux qu'elle utilise. Elle a alimenté les modèles avec des titres d'articles de presse pour leur donner une idée de la situation mondiale et les a entraînés à utiliser des images et des textes plus représentatifs de diverses cultures afin d'éviter tout biais américain ou occidental.