Cercetătorii de la CMU creează un robot AI care pictează

Cercetătorii de la Institutul de Robotică al Universității Carnegie Mellon au dezvoltat un instrument numit FRIDA, care este un braț robotic cu o perie de pictură atașată. Instrumentul utilizează inteligența artificială (IA) pentru a lucra împreună cu oamenii la proiecte de artă.

Echipa urmează să prezinte cercetarea intitulată „FRIDA: Un robot pictor colaborativ cu un mediu de planificare Real2Sim2Real diferențial” la Conferința Internațională IEEE din 2023 privind robotică și automatizare, în luna mai.

Peter Schaldenbrand este student doctorand la Institutul de Robotică din cadrul Școlii de Științe ale Calculatoarelor. El lucrează cu FRIDA și explorează IA și creativitatea.

„Există o pictură a unei balerine broaște care cred că a ieșit foarte bine”, a spus el. „Este foarte absurd și divertisment, și cred că surpriza a ceea ce a generat FRIDA pe baza inputului meu a fost foarte amuzant de văzut.”

FRIDA este un acronim pentru Framework și Inițiativa Robotică pentru Dezvoltarea Artelor. Este numită după Frida Kahlo.

Cercetarea a fost condusă de Schalderbrand, împreună cu membrii facultății RI, Jean Oh și Jim McCaam, și a atras studenți și cercetători de pe tot cuprinsul CMU.

Instrument de colaborare, nu artist

Utilizatorii pot ghida FRIDA introducând o descriere text, trimițând alte lucrări de artă pentru a-i inspira stilul sau încărcând o fotografie și cerându-i să picteze o reprezentare a acesteia. Echipa testează, de asemenea, alte intrări, cum ar fi audio.

“FRIDA este un sistem de pictură robotică, dar FRIDA nu este un artist”, a continuat Schalderbrand. „FRIDA nu generează idei pentru a comunica. FRIDA este un sistem cu care un artist poate colabora. Artistul poate specifica obiective de nivel înalt pentru FRIDA, iar apoi FRIDA poate executa aceste obiective.”

Pentru a picta o imagine, robotul utilizează modele de IA comparabile cu cele care alimentează OpenAI’s ChatGPT și DALL-E 2, care produc text sau o imagine în răspuns la o solicitare. FRIDA simulează cum ar picta o imagine cu mișcări de perie și utilizează învățarea automată pentru a evalua progresul său pe măsură ce lucrează.

Produsele finale ale FRIDA sunt visătoare și impresioniste. Mișcările de perie sunt îndrăznețe și lipsite de precizia care este adesea căutată în încercările robotice.

„FRIDA este un proiect care explorează intersecția dintre creativitatea umană și robotică”, a adăugat McCann. „Frida utilizează tipurile de modele de IA care au fost dezvoltate pentru a face lucruri cum ar fi descrierea de imagini și înțelegerea conținutului scenei și aplică acestea la această problemă generativă artistică.”

FRIDA utilizează IA și învățarea automată de mai multe ori în timpul procesului de creare a artei. Mai întâi, petrece o oră sau mai mult învățând cum să utilizeze peria de pictură. Apoi, utilizează modele de limbaj-viziune care au fost antrenate pe seturi de date masive care asociază text și imagini extrase de pe internet, cum ar fi antrenamentul contrastiv de limbaj-imagine al OpenAI (CLIP), pentru a înțelege intrarea.

Una dintre cele mai semnificative provocări tehnice în producerea unei imagini fizice este reducerea decalajului de simulare-la-real, care este disparitatea dintre ceea ce creează FRIDA în simulare și ceea ce pictează pe pânză. FRIDA utilizează o idee numită real2sim2real, unde mișcările reale de perie ale robotului sunt utilizate pentru a antrena simulatorul să reflecte și să imite capacitățile fizice ale robotului și ale materialelor de pictură.

Echipa FRIDA își propune acum să abordeze unele dintre limitările modelelor actuale de limbaj-viziune pe scară largă, prin rafinarea continuă a celor pe care le utilizează. Ei au alimentat modelele cu titluri de știri pentru a le oferi o senzație a ceea ce se întâmplă în lume și au antrenat-o ulterior pe imagini și text care sunt mai reprezentative pentru culturi diverse pentru a evita o predispoziție americană sau occidentală.