I ricercatori di CMU creano un robot AI che dipinge

I ricercatori dell’Istituto di robotica della Carnegie Mellon University hanno sviluppato uno strumento chiamato FRIDA, che è un braccio robotico con un pennello attaccato. Lo strumento sfrutta l’intelligenza artificiale (AI) per lavorare insieme agli esseri umani su progetti artistici.

Il team è pronto a presentare la ricerca intitolata “FRIDA: Un robot pittore collaborativo con un ambiente di pianificazione differenziabile, Real2Sim2Real” alla Conferenza internazionale IEEE su robotica e automazione del 2023 a maggio.

Peter Schaldenbrand è uno studente di dottorato all’Istituto di robotica della School of Computer Science. Lavora con FRIDA ed esplora l’AI e la creatività.

“C’è un quadro di una ballerina rana che credo sia venuto molto bene”, ha detto. “È davvero divertente e credo che la sorpresa di ciò che FRIDA ha generato in base al mio input sia stata molto divertente da vedere”.

FRIDA è un acronimo per Framework e iniziativa robotica per lo sviluppo delle arti. È stato nominato in onore di Frida Kahlo.

La ricerca è stata guidata da Schalderbrand, insieme ai membri della facoltà dell’RI Jean Oh e Jim McCaam, e ha attirato studenti e ricercatori da tutto il CMU.

Strumento collaborativo, non artista

Gli utenti possono guidare FRIDA inserendo una descrizione testuale, inviando altre opere d’arte per ispirare il suo stile o caricando una fotografia e chiedendole di dipingere una rappresentazione di essa. Il team sta anche testando altri input, come l’audio.

“FRIDA è un sistema di pittura robotica, ma FRIDA non è un artista”, ha continuato Schalderbrand. “FRIDA non genera le idee per comunicare. FRIDA è un sistema con cui un artista può collaborare. L’artista può specificare obiettivi di alto livello per FRIDA e poi FRIDA può eseguirli”.

Per dipingere un’immagine, il robot utilizza modelli di intelligenza artificiale paragonabili a quelli che alimentano OpenAI’s ChatGPT e DALL-E 2, che producono testo o un’immagine in risposta a un prompt. FRIDA simula come dipingerebbe un’immagine con pennellate e utilizza l’apprendimento automatico per valutare i suoi progressi mentre lavora.

I prodotti finali di FRIDA sono fantasiosi e impressionistici. Le pennellate sono audaci e mancano della precisione che viene spesso ricercata nelle imprese robotiche.

“FRIDA è un progetto che esplora l’intersezione della creatività umana e robotica”, ha aggiunto McCann. “Frida utilizza i tipi di modelli di intelligenza artificiale che sono stati sviluppati per fare cose come descrivere immagini e comprendere il contenuto della scena e li applica a questo problema generativo artistico”.

FRIDA utilizza l’intelligenza artificiale e l’apprendimento automatico più volte durante il suo processo di creazione artistica. In primo luogo, trascorre un’ora o più imparando a utilizzare il suo pennello. Quindi, utilizza modelli di linguaggio-visivo che sono stati addestrati su enormi set di dati che accoppiano testo e immagini prese da internet, come OpenAI’s Contrastive Language-Image Pre-Training (CLIP), per comprendere l’input.

Una delle sfide tecniche più significative nella produzione di un’immagine fisica è ridurre il divario di simulazione-realtà, che è la disparità tra ciò che FRIDA crea nella simulazione e ciò che dipinge sulla tela. FRIDA utilizza un’idea chiamata real2sim2real, dove i pennellati reali del robot vengono utilizzati per addestrare il simulatore a riflettere e imitare le capacità fisiche del robot e dei materiali di pittura.

Il team di FRIDA ora mira a risolvere alcune delle limitazioni dei modelli di visione-linguaggio attuali continuando a raffinare quelli che utilizzano. Hanno alimentato i modelli con titoli di notizie per fornire loro un senso di ciò che stava accadendo nel mondo e li hanno ulteriormente addestrati su immagini e testo più rappresentativi di culture diverse per evitare un bias americano o occidentale.