CMU-forskere utvikler AI-robot som maler

Forskere ved Carnegie Mellon Universitys Robotics Institute har utviklet et verktøy kalt FRIDA, som er en robotarm med en pensel festet til den. Verktøyet bruker kunstig intelligens (AI) for å samarbeide med mennesker på kunstprosjekter.

Teamet skal presentere forskningen med tittelen «FRIDA: En samarbeidende robotmaler med en differensierbar, Real2Sim2Real-planleggingsmiljø» på 2023 IEEE Internasjonale konferanse om robotikk og automatisering i mai.

Peter Schaldenbrand er en ph.d.-student ved Robotics Institute ved School of Computer Science. Han arbeider med FRIDA og utforsker AI og kreativitet.

«Det er et maleri av en frosk ballerina som jeg synes ble veldig bra», sa han. «Det er veldig latterlig og morsomt, og jeg synes overraskelsen over hva FRIDA genererte basert på min innputt var veldig morsom å se».

FRIDA er en forkortelse for Framework og Robotics Initiative for Developing Arts. Den er oppkalt etter Frida Kahlo.

Forskningen ble ledet av Schalderbrand, sammen med RI-fakultetsmedlemmene Jean Oh og Jim McCaam, og har lokket til seg studenter og forskere fra hele CMU.

Samarbeidende verktøy, ikke kunstner

Brukerne kan veilede FRIDA ved å taste inn en tekstbeskrivelse, laste opp andre kunstverk for å inspirere dens stil, eller laste opp et bilde og be den om å male en representasjon av det. Teamet tester også andre innputt, som lyd.

“FRIDA er et robotmalerisystem, men FRIDA er ikke en kunstner”, fortsatte Schalderbrand. “FRIDA genererer ikke ideene til å kommunisere. FRIDA er et system som en kunstner kan samarbeide med. Kunstneren kan spesifisere høynivåmål for FRIDA og deretter kan FRIDA utføre dem”.

For å male et bilde, bruker roboten AI-modeller som er sammenlignbare med de som driver OpenAIs ChatGPT og DALL-E 2, som produserer tekst eller et bilde som svar på en prompt. FRIDA simulerer hvordan den ville male et bilde med penselstrøk og bruker maskinlæring for å vurdere fremgangen mens den arbeider.

Slutproduktene til FRIDA er eventyrlige og impresjonistiske. Penselstrøkene er brede og mangler presisjonen som ofte søkes i robotiske forsøk.

«FRIDA er et prosjekt som utforsker skjæringspunktet mellom menneskelig og robotisk kreativitet», la McCann til. «Frida bruker den type AI-modeller som er utviklet for å gjøre ting som å beskrive bilder og forstå sceninnhold og anvender det til dette kunstneriske generative problemet».

FRIDA bruker AI og maskinlæring flere ganger under sin kunstprosess. Først tilbringer den en time eller mer på å lære å bruke sin pensel. Deretter bruker den visjon-språkmodeller som er trent på enorme datasett som parer tekst og bilder skrapet fra internettet, som OpenAIs Contrastive Language-Image Pre-Training (CLIP), for å forstå innputt.

En av de største tekniske utfordringene i å produsere et fysisk bilde er å redusere simulerings-til-reelt gap, som er forskjellen mellom hva FRIDA skaper i simulering og hva den maler på canvas. FRIDA bruker en idé kjent som real2sim2real, der robotens faktiske penselstrøk brukes til å trene simuleringsmiljøet til å reflektere og etterligne de fysiske evnene til roboten og malingsmaterialet.

FRIDAs team har nå som mål å løse noen av begrensningene i nåværende store visjon-språkmodeller ved å kontinuerlig forbedre de de bruker. De har matet modellene med overskrifter fra nyhetsartikler for å gi dem en forståelse av hva som skjer i verden og har videre trent dem på bilder og tekst som er mer representative for mangfoldige kulturer for å unngå en amerikansk eller vestlig bias.