CMU-forskere udvikler AI-robot, der maler

Forskere ved Carnegie Mellon Universitys Robotics Institute har udviklet et værktøj kaldet FRIDA, som er en robotarm med en pensel på. Værktøjet udnytter kunstig intelligens (AI) til at arbejde sammen med mennesker på kunstprojekter.

Teamet skal præsentere forskningen med titlen “FRIDA: A Collaborative Robot Painter With a Differentiable, Real2Sim2Real Planning Environment” på 2023 IEEE International Conference on Robotics and Automation i maj.

Peter Schaldenbrand er en ph.d.-studerende på Robotics Institute på School of Computer Science. Han arbejder med FRIDA og udforsker AI og kreativitet.

“Der er et maleri af en frø-ballerina, som jeg synes blev rigtig godt udgangen,” sagde han. “Det er rigtig latterligt og sjovt, og jeg synes, at overraskelsen over, hvad FRIDA genererede på grundlag af min input, var rigtig sjov at se.”

FRIDA er en akronym for Framework and Robotics Initiative for Developing Arts. Det er opkaldt efter Frida Kahlo.

Forskningen blev ledet af Schalderbrand, sammen med RI-facultetsmedlemmer Jean Oh og Jim McCaam, og har tiltrukket studerende og forskere fra hele CMU.

Samarbejdsværktøj, ikke kunstner

Brugere kan vejlede FRIDA ved at indtaste en tekstbeskrivelse, indsende andre kunstværker for at inspirere dens stil eller uploade et billede og bede om at male en repræsentation af det. Teamet tester også andre input, såsom lyd.

“FRIDA er et robotisk maleri-system, men FRIDA er ikke en kunstner,” fortsatte Schalderbrand. “FRIDA genererer ikke idéer til at kommunikere. FRIDA er et system, som en kunstner kan samarbejde med. Kunstneren kan specificere overordnede mål for FRIDA, og derefter kan FRIDA udføre dem.”

For at male et billede bruger roboten AI-modeller, der er sammenlignelige med dem, der driver OpenAI’s ChatGPT og DALL-E 2, som producerer tekst eller et billede som svar på en prompt. FRIDA simulerer, hvordan den ville male et billede med penselstrøg, og udnytter maskinlæring til at evaluere sin fremgang, mens den arbejder.

Slutproduktet af FRIDA er eventyrligt og impressionistisk. Penselstrøgene er kraftige og mangler den præcision, der ofte søges i robotiske forsøg.

“FRIDA er et projekt, der udforsker intersectionen mellem menneskelig og robotisk kreativitet,” tilføjede McCann. “Frida bruger den type AI-modeller, der er udviklet til at gøre ting som at beskrive billeder og forstå sceneindhold og anvender det til dette kunstneriske generative problem.”

FRIDA bruger AI og maskinlæring flere gange under dens kunstneriske proces. Først bruger den en time eller mere på at lære, hvordan den kan bruge sin pensel. Derefter anvender den vision-language-modeller, der er trænet på store datasæt, der parrer tekst og billeder skrabet fra internettet, såsom OpenAI’s Contrastive Language-Image Pre-Training (CLIP), for at forstå input.

En af de mest betydningsfulde tekniske udfordringer i produktionen af et fysisk billede er at reducere simulation-til-virkelighed-gapet, der er forskellen mellem, hvad FRIDA skaber i simulation og hvad den maler på lærredet. FRIDA bruger en idé kaldet real2sim2real, hvor robotens faktiske penselstrøg bruges til at træne simulatoren til at reflektere og efterligne de fysiske evner af roboten og malerier.

FRIDA’s team sigter nu til at løse nogle af begrænsningerne i nuværende store vision-language-modeller ved at fortsætte med at forfine de modeller, de bruger. De har fødet modellerne med overskrifter fra nyhedsartikler for at give dem en fornemmelse af, hvad der sker i verden, og yderligere trænet dem på billeder og tekst, der er mere repræsentative for diverse kulturer for at undgå en amerikansk eller vestlig bias.