CMU-onderzoekers maken AI-robot die schildert

Onderzoekers van het Robotics Institute van de Carnegie Mellon University hebben een tool ontwikkeld met de naam FRIDA, een robotarm met een penseel eraan. De tool maakt gebruik van kunstmatige intelligentie (AI) om samen met mensen aan kunstprojecten te werken.

Het team zal het onderzoek met de titel "FRIDA: een collaboratieve robotschilder met een differentieerbare, Real2Sim2Real-planningsomgeving” op de IEEE International Conference on Robotics and Automation 2023 in mei.

Peter Schaldenbrand is een Ph.D. student aan het Robotics Institute aan de School of Computer Science. Hij werkt met FRIDA en verkent AI en creativiteit.

"Er is een schilderij van een kikkerballerina waarvan ik denk dat het heel mooi is geworden," zei hij. "Het is echt gek en leuk, en ik denk dat de verrassing van wat FRIDA genereerde op basis van mijn input erg leuk was om te zien."

FRIDA is een acroniem voor Framework and Robotics Initiative for Developing Arts. Het is vernoemd naar Frida Kahlo.

Het onderzoek werd geleid door Schalderbrand, samen met RI-faculteitsleden Jean Oh en Jim McCaam, en het heeft studenten en onderzoekers uit de hele CMU aangetrokken.

Samenwerkingstool, geen artiest

Gebruikers kunnen FRIDA begeleiden door een tekstbeschrijving in te voeren, andere kunstwerken in te dienen om de stijl ervan te inspireren, of een foto te uploaden en te vragen er een weergave van te maken. Het team test ook andere ingangen, zoals audio.

"FRIDA is een robotachtig schildersysteem, maar FRIDA is geen kunstenaar", vervolgde Schalderbrand. “FRIDA genereert niet de ideeën om te communiceren. FRIDA is een systeem waarmee een artiest zou kunnen samenwerken. De artiest kan doelen op hoog niveau specificeren voor FRIDA en FRIDA kan ze vervolgens uitvoeren.

Om een ​​afbeelding te schilderen, gebruikt de robot AI-modellen die vergelijkbaar zijn met de modellen die OpenAI's ChatGPT en DALL-E 2 aandrijven, die tekst of een afbeelding produceren als reactie op een prompt. FRIDA simuleert hoe het een afbeelding zou schilderen met penseelstreken en maakt gebruik van machine learning om de voortgang ervan te beoordelen terwijl het werkt.

De eindproducten van FRIDA zijn grillig en impressionistisch. De penseelstreken zijn gedurfd en missen de precisie die vaak wordt gezocht in robotachtige inspanningen.

"FRIDA is een project dat de kruising van menselijke en robotcreativiteit onderzoekt", voegde McCann eraan toe. "Frida gebruikt het soort AI-modellen dat is ontwikkeld om dingen te doen zoals bijschriften en de inhoud van scènes te begrijpen en toe te passen op dit artistieke generatieve probleem."

FRIDA gebruikt meerdere keren AI en machine learning tijdens het maken van kunst. Ten eerste besteedt het een uur of langer aan het leren gebruiken van zijn penseel. Vervolgens maakt het gebruik van visie-taalmodellen die zijn getraind op enorme datasets die tekst en afbeeldingen koppelen die van internet zijn geschraapt, zoals OpenAI's Contrastive Language-Image Pre-Training (CLIP), om de input te begrijpen.

Een van de belangrijkste technische uitdagingen bij het produceren van een fysiek beeld is het verkleinen van de kloof tussen simulatie en werkelijkheid, de ongelijkheid tussen wat FRIDA creëert in simulatie en wat het op het canvas schildert. FRIDA gebruikt een idee dat bekend staat als real2sim2real, waarbij de daadwerkelijke penseelstreken van de robot worden gebruikt om de simulator te trainen om de fysieke mogelijkheden van de robot en schildermaterialen te weerspiegelen en na te bootsen.

Het team van FRIDA probeert nu enkele van de beperkingen in de huidige grote visie-taalmodellen aan te pakken door de modellen die ze gebruiken voortdurend te verfijnen. Ze voedden de modellen met krantenkoppen uit nieuwsartikelen om ze een idee te geven van wat er in de wereld gebeurde en trainden ze verder met afbeeldingen en tekst die representatiever zijn voor diverse culturen om Amerikaanse of westerse vooringenomenheid te vermijden.