Onderzoekers van CMU creëren AI-robot die schildert

Onderzoekers van het Robotics Institute van de Carnegie Mellon University hebben een tool genaamd FRIDA ontwikkeld, die een robotarm met een kwast is. De tool maakt gebruik van kunstmatige intelligentie (AI) om samen te werken met mensen aan kunstprojecten.

Het team zal het onderzoek met de titel “FRIDA: Een collaboratieve robot-schilder met een differentieerbare, Real2Sim2Real-planningomgeving” presenteren op de 2023 IEEE International Conference on Robotics and Automation in mei.

Peter Schaldenbrand is een promovendus aan het Robotics Institute van de School of Computer Science. Hij werkt met FRIDA en onderzoekt AI en creativiteit.

“Er is een schilderij van een kikkerballetdanseres dat ik denk dat erg leuk is geworden,” zei hij. “Het is echt grappig en leuk, en ik denk dat de verrassing van wat FRIDA gegenereerd heeft op basis van mijn invoer echt leuk was om te zien.”

FRIDA is een acroniem voor Framework en Robotics Initiative voor het Ontwikkelen van Kunst. Het is vernoemd naar Frida Kahlo.

Het onderzoek werd geleid door Schalderbrand, samen met RI-faculteitsleden Jean Oh en Jim McCaam, en heeft studenten en onderzoekers van over de hele CMU aangetrokken.

Collaboratief hulpmiddel, geen artiest

Gebruikers kunnen FRIDA sturen door een tekstbeschrijving in te voeren, andere kunstwerken te uploaden om de stijl te inspireren, of een foto te uploaden en het te vragen om een voorstelling te schilderen. Het team test ook andere invoer, zoals audio.

“FRIDA is een robotisch schildersysteem, maar FRIDA is geen artiest,” zei Schalderbrand. “FRIDA genereert geen ideeën om te communiceren. FRIDA is een systeem dat een artiest kan samenwerken. De artiest kan hoogwaardige doelen voor FRIDA specificeren en dan kan FRIDA ze uitvoeren.”

Om een afbeelding te schilderen, gebruikt de robot AI-modellen die vergelijkbaar zijn met die van OpenAI’s ChatGPT en DALL-E 2, die tekst of een afbeelding produceren in reactie op een prompt. FRIDA simuleert hoe het een afbeelding zou schilderen met penseelstreken en gebruikt machine learning om de voortgang te beoordelen terwijl het werkt.

De eindproducten van FRIDA zijn grillig en impressionistisch. De penseelstreken zijn groot en ontbreken de precisie die vaak wordt gezocht in robotische ondernemingen.

“FRIDA is een project dat de intersectie van menselijke en robotische creativiteit verkent,” voegde McCann toe. “Frida gebruikt het soort AI-modellen dat is ontwikkeld om dingen te doen zoals afbeeldingen bijschrijven en scène-inhoud begrijpen en past het toe op dit artistieke generatieprobleem.”

FRIDA gebruikt AI en machine learning meerdere keren tijdens het kunst-maakproces. Eerst besteedt het een uur of meer aan het leren gebruiken van zijn kwast. Vervolgens gebruikt het visie-taalmodellen die zijn getraind op enorme datasets die tekst en afbeeldingen koppelen die van het internet zijn gehaald, zoals OpenAI’s Contrastive Language-Image Pre-Training (CLIP), om de invoer te begrijpen.

Een van de meest significante technische uitdagingen bij het produceren van een fysieke afbeelding is het verkleinen van de simulatie-tot-reële kloof, die de discrepantie is tussen wat FRIDA in simulatie creëert en wat het op het doek schildert. FRIDA gebruikt een idee genaamd real2sim2real, waarbij de robotarm zijn eigen penseelstreken gebruikt om de simulator te trainen om de fysieke mogelijkheden van de robot en de schildermaterialen te reflecteren en te imiteren.

FRIDA’s team streeft ernaar om enkele van de beperkingen in de huidige grote visie-taalmodellen aan te pakken door de modellen die ze gebruiken voortdurend te verfijnen. Ze voerden de modellen headlines van nieuwsartikelen om ze een gevoel te geven van wat er in de wereld gebeurde en trainden ze verder op afbeeldingen en tekst die meer representatief zijn voor diverse culturen om een Amerikaanse of westerse bias te vermijden.