CMU-forskare skapar AI-robot som målar

Forskare vid Carnegie Mellon Universitys Robotics Institute har utvecklat ett verktyg som kallas FRIDA, som är en robotarm med en pensel fäst vid den. Verktyget använder artificiell intelligens (AI) för att arbeta tillsammans med människor på konstprojekt.

Teamet kommer att presentera sin forskning med titeln “FRIDA: En samarbetande robotmålare med en differentierbar, Real2Sim2Real-planeringsmiljö” på 2023 års IEEE International Conference on Robotics and Automation i maj.

Peter Schaldenbrand är en doktorand vid Robotics Institute på School of Computer Science. Han arbetar med FRIDA och utforskar AI och kreativitet.

“Det finns ett målning av en groda i balettdräkt som jag tycker blev riktigt bra”, sa han. “Det är riktigt roligt och jag tyckte att överraskningen av vad FRIDA genererade baserat på min indata var riktigt roligt att se.”

FRIDA är en akronym för Framework and Robotics Initiative for Developing Arts. Den är uppkallad efter Frida Kahlo.

Forskningen leddes av Schalderbrand, tillsammans med RI-fakultetsmedlemmarna Jean Oh och Jim McCaam, och den har lockat studenter och forskare från hela CMU.

Samarbetande verktyg, inte konstnär

Användare kan guida FRIDA genom att mata in en textbeskrivning, skicka in andra konstverk för att inspirera dess stil eller ladda upp en fotograf och be den att måla en representation av den. Teamet testar också andra indata, som ljud.

“FRIDA är ett robotmålningssystem, men FRIDA är inte en konstnär”, fortsatte Schalderbrand. “FRIDA genererar inte idéer för att kommunicera. FRIDA är ett system som en konstnär kan samarbeta med. Konstnären kan ange övergripande mål för FRIDA och sedan kan FRIDA utföra dem.”

För att måla en bild använder roboten AI-modeller som är jämförbara med de som driver OpenAI’s ChatGPT och DALL-E 2, som producerar text eller en bild som svar på en prompt. FRIDA simulerar hur den skulle måla en bild med penseldrag och använder maskinlärande för att utvärdera sitt arbete medan den arbetar.

Slutprodukterna från FRIDA är fantasifulla och impressionistiska. Penseldragen är djärva och saknar den precision som ofta söks i robotiska företag.

“FRIDA är ett projekt som utforskar skärningspunkten mellan mänsklig och robotisk kreativitet”, tillade McCann. “Frida använder den typ av AI-modeller som har utvecklats för att göra saker som att beskriva bilder och förstå sceninnehåll och tillämpar dem på detta konstnärliga generativa problem.”

FRIDA använder AI och maskinlärande flera gånger under sin konstskapande process. Först tillbringar den en timme eller mer med att lära sig att använda sin pensel. Sedan använder den visions-språksmodeller som har tränats på stora datamängder som parar text och bilder som skrapats från internet, som OpenAI’s Contrastive Language-Image Pre-Training (CLIP), för att förstå indata.

En av de mest betydande tekniska utmaningarna i att producera en fysisk bild är att minska simulerings-till-verklighet-gapet, som är skillnaden mellan vad FRIDA skapar i simulation och vad den målar på duken. FRIDA använder en idé som kallas real2sim2real, där robotens faktiska penseldrag används för att träna simuleraren att återspegla och imitera de fysiska förmågorna hos roboten och målerimaterialet.

FRIDA:s team syftar nu till att hantera några av begränsningarna i nuvarande stora visions-språksmodeller genom att kontinuerligt förbättra de modeller de använder. De matade modellerna med rubriker från nyhetsartiklar för att ge dem en känsla av vad som händer i världen och tränade dem ytterligare på bilder och text som är mer representativa för olika kulturer för att undvika en amerikansk eller västerländsk bias.