CMU-tutkijat luovat tekoälyrobotin, joka maalaa

Carnegie Mellon Universityn Robotics Instituten tutkijat ovat kehittäneet työkalun nimeltä FRIDA, joka on robotti, jossa on maalipenseli kiinni. Työkalu hyödyntää tekoälyä (AI) työskennelläkseen ihmisten kanssa taidehankkeissa.

Tiimi on valmis esittämään tutkimuksensa otsikolla ”FRIDA: A Collaborative Robot Painter With a Differentiable, Real2Sim2Real Planning Environment” 2023 IEEE International Conference on Robotics and Automation -konferenssissa toukokuussa.

Peter Schaldenbrand on tohtorikoulutettava Robotics Instituten School of Computer Sciencessä. Hän työskentelee FRIDA:n parissa ja tutkii tekoälyä ja luovuutta.

”On yksi maalaus sammakko-baleriinasta, joka on todella kaunis”, hän sanoi. ”Se on todella hölmö ja hauskka, ja FRIDA:n tuottama yllätys oli todella hauska nähdä.”

FRIDA on akronyymi sanoista Framework and Robotics Initiative for Developing Arts. Se on nimetty Frida Kahlon mukaan.

Tutkimuksen johtajana toimi Schalderbrand yhdessä RI:n opettajajäsenien Jean Ohin ja Jim McCaamin kanssa, ja se on houkutellut opiskelijoita ja tutkijoita ympäri CMU:ta.

Yhteistyötyökalu, ei taiteilija

Käyttäjät voivat ohjata FRIDA:ta syöttämällä tekstikuvauksen, lähettämällä muita taideteoksia inspiroidakseen sen tyyliä tai lataamalla valokuvan ja pyytämällä sitä maalaamaan edustavan sen. Tiimi testaa myös muita syötevälineitä, kuten ääntä.

“FRIDA on robotti, joka maalaa, mutta FRIDA ei ole taiteilija”, Schalderbrand jatkoi. ”FRIDA ei tuota ideoita viestintään. FRIDA on järjestelmä, jonka kanssa taiteilija voi tehdä yhteistyötä. Taiteilija voi määritellä FRIDA:lle korkean tason tavoitteita, ja sitten FRIDA voi toteuttaa ne.”

Maalauksen luomiseen robotti käyttää tekoälymallia, joka on verrattavissa OpenAI:n ChatGPT:hen ja DALL-E 2:een, jotka tuottavat tekstin tai kuvan vastauksena kysymykseen. FRIDA simuloii, miten se maalaisi kuvan siveltimillä, ja käyttää koneoppimista arvioidakseen edistymistään työskennellessään.

FRIDA:n lopputuotteet ovat villiä ja impressionistista tyyliä. Siveltimenvetimet ovat rohkeita ja puuttuvat tarkkuudesta, jota usein etsitään robottiyrityksissä.

”FRIDA on projekti, joka tutkii ihmisen ja robotin luovuuden leikkauspistettä”, McCann lisäsi. ”FRIDA käyttää tekoälymallia, jota on kehitetty tekemään asioita, kuten kuvien kuvailu ja kohteen sisällön ymmärtäminen, ja soveltaa sitä tähän taiteelliseen generatiiviseen ongelmaan.”

FRIDA käyttää tekoälyä ja koneoppimista useita kertoja taiteenluomisprosessissaan. Ensinnäkin se viettää tunnin tai useamman oppimassa, miten käyttää maalipenseliään. Sitten se käyttää visio-kielimallia, joka on koulutettu valtavilla tietokannoilla, jotka parittavat tekstin ja kuvan internetistä, kuten OpenAI:n Contrastive Language-Image Pre-Training (CLIP), ymmärtääkseen syötteen.

Yksi merkittävimmistä teknisistä haasteista fyysisen kuvan tuottamisessa on simulaatio-todellisuuskuilun vähentäminen, joka on ero FRIDA:n simulaatiossa luoman ja maalauksessa maalaaman välillä. FRIDA käyttää ideaa, jota kutsutaan real2sim2realiksi, jossa robotin todelliset siveltimenvetimet käytetään kouluttamaan simulaattoria heijastamaan ja jäljittelemään robotin ja maalausmateriaalien fyysisiä ominaisuuksia.

FRIDA:n tiimi pyrkii nyt ratkaisemaan joitakin rajoituksia nykyisissä suurissa visio-kielimalleissa jalostamalla jatkuvasti niitä, joita he käyttävät. He syöttivät malleille uutisotsikkoja antaakseen niille tietoa siitä, mitä maailmassa tapahtui, ja kouluttivat ne edelleen kuvilla ja tekstillä, jotka edustavat monikulttuurista taustaa välttääkseen amerikkalaisen tai länsimaisen vinouman.