Les chercheurs de CMU créent un robot d’IA qui peint

Les chercheurs de l’Institut de robotique de l’Université Carnegie Mellon ont développé un outil appelé FRIDA, qui est un bras robotique avec un pinceau attaché. L’outil utilise l’intelligence artificielle (IA) pour travailler en collaboration avec les humains sur des projets d’art.

L’équipe doit présenter la recherche intitulée « FRIDA: Un peintre robot collaboratif avec un environnement de planification différentiable, Real2Sim2Real » à la Conférence internationale IEEE sur la robotique et l’automatisation en mai 2023.

Peter Schaldenbrand est un étudiant en doctorat à l’Institut de robotique de l’École des sciences informatiques. Il travaille avec FRIDA et explore l’IA et la créativité.

« Il y a cette peinture d’une ballerine grenouille que je pense être vraiment bien faite », a-t-il déclaré. « C’est vraiment drôle et amusant, et je pense que la surprise de ce que FRIDA a généré à partir de mes entrées était vraiment amusant à voir. »

FRIDA est un acronyme pour Framework and Robotics Initiative for Developing Arts. Il est nommé d’après Frida Kahlo.

La recherche a été menée par Schalderbrand, ainsi que les membres de la faculté de l’Institut de robotique, Jean Oh et Jim McCaam, et a attiré des étudiants et des chercheurs de tout le CMU.

Outil collaboratif et non artiste

Les utilisateurs peuvent guider FRIDA en saisissant une description textuelle, en soumettant d’autres œuvres d’art pour inspirer son style, ou en téléchargeant une photographie et en lui demandant de peindre une représentation de celle-ci. L’équipe teste également d’autres entrées, telles que l’audio.

“FRIDA est un système de peinture robotique, mais FRIDA n’est pas un artiste », a poursuivi Schalderbrand. « FRIDA ne génère pas les idées pour communiquer. FRIDA est un système avec lequel un artiste peut collaborer. L’artiste peut spécifier des objectifs de haut niveau pour FRIDA, puis FRIDA peut les exécuter. »

Pour peindre une image, le robot utilise des modèles d’IA comparables à ceux qui alimentent OpenAI’s ChatGPT et DALL-E 2, qui produisent du texte ou une image en réponse à une invite. FRIDA simule la façon dont il peindrait une image avec des coups de pinceau et utilise l’apprentissage automatique pour évaluer ses progrès pendant qu’il travaille.

Les produits finaux de FRIDA sont whimisicaux et impressionnistes. Les coups de pinceau sont audacieux et manquent de précision, ce qui est souvent recherché dans les entreprises robotiques.

« FRIDA est un projet qui explore l’intersection de la créativité humaine et robotique », a ajouté McCann. « FRIDA utilise les types de modèles d’IA qui ont été développés pour faire des choses comme légendes d’images et comprendre le contenu de scène, et les applique à ce problème de génération artistique. »

FRIDA utilise l’IA et l’apprentissage automatique à plusieurs reprises pendant son processus de création d’art. Tout d’abord, il passe une heure ou plus à apprendre à utiliser son pinceau. Ensuite, il utilise des modèles de langage et de vision qui ont été formés sur de vastes ensembles de données associant du texte et des images scrapées sur Internet, telles que OpenAI’s Contrastive Language-Image Pre-Training (CLIP), pour comprendre l’entrée.

L’un des défis techniques les plus importants pour produire une image physique est de réduire l’écart de simulation-réel, qui est la différence entre ce que FRIDA crée en simulation et ce qu’il peint sur la toile. FRIDA utilise une idée appelée real2sim2real, où les coups de pinceau réels du robot sont utilisés pour former le simulateur pour refléter et imiter les capacités physiques du robot et des matériaux de peinture.

L’équipe de FRIDA vise maintenant à résoudre certaines des limites des grands modèles de langage et de vision actuels en affinant continuellement ceux qu’ils utilisent. Ils ont alimenté les modèles avec des manchettes d’articles de presse pour leur donner un sens de ce qui se passait dans le monde et les ont formés sur des images et du texte plus représentatifs de cultures diverses pour éviter un biais américain ou occidental.