Výzkumníci z CMU vytvořili AI robota, který maluje

Výzkumníci z Robotického institutu Carnegie Mellon University vyvinuli nástroj zvaný FRIDA, který je robotickým ramenem s připojeným štětcem. Tento nástroj využívá umělou inteligenci (AI) k spolupráci s lidmi na uměleckých projektech.

Tým má v úmyslu prezentovat výzkum s názvem „FRIDA: Kolektivní robotický malíř s diferencovatelným, reálným plánováním prostředí“ na mezinárodní konferenci IEEE o robotice a automatizaci v květnu 2023.

Peter Schaldenbrand je doktorandem na Robotickém institutu Školy počítačových věd. Pracuje s FRIDOU a zkoumá AI a kreativitu.

„Je tam jedna malba žabí baleríny, která mi opravdu vyšla dobře,“ řekl. „Je to opravdu hloupé a zábavné, a myslím, že překvapení z toho, co FRIDA vygenerovala na základě mého vstupu, bylo opravdu zábavné vidět.“

FRIDA je zkratka pro Framework a Robotics Initiative for Developing Arts. Je pojmenována po Fridě Kahlo.

Výzkum vedl Schalderbrand spolu s členy RI Jean Oh a Jimem McCaamem, a přilákal studenty a výzkumníky z celé CMU.

Kolektivní nástroj, ne umělec

Uživatelé mohou FRIDU ovládat zadáním textu, odesláním jiných uměleckých děl, která inspirují její styl, nebo nahráním fotografie a vyžádáním, aby namalovala její reprezentaci. Tým také testuje další vstupy, jako je audio.

“FRIDA je robotický malířský systém, ale FRIDA není umělec,” pokračoval Schalderbrand. „FRIDA nevytváří nápady, aby komunikovala. FRIDA je systém, se kterým může umělec spolupracovat. Umělec může specifikovat vysoké cíle pro FRIDU a poté FRIDA může tyto cíle provést.”

Při malování obrazu robot používá AI modely, které jsou srovnatelné s těmi, které pohání OpenAI’s ChatGPT a DALL-E 2, které produkují text nebo obraz v reakci na podnět. FRIDA simuluje, jak by malovala obraz štětcem, a využívá strojové učení k hodnocení svého pokroku, zatímco pracuje.

Konečné produkty FRIDY jsou pohádkové a impresionistické. Štětcové tahy jsou smělé a postrádají přesnost, která je často požadována v robotických snahách.

„FRIDA je projekt, který zkoumá průsečík lidské a robotické kreativity,” dodal McCann. „FRIDA používá typy AI modelů, které byly vyvinuty pro úkoly, jako je přidání popisu k obrázkům a pochopení scénického obsahu, a aplikuje je na tento umělecký generativní problém.”

FRIDA používá AI a strojové učení několikrát během svého uměleckého procesu. Nejprve stráví hodinu nebo více učením se, jak používat štětec. Poté využívá modely jazyka a obrazu, které byly vyškoleny na velkých datech spojujících text a obrázky ze internetu, jako je OpenAI’s Contrastive Language-Image Pre-Training (CLIP), aby pochopila vstup.

Jedním z největších technických problémů při vytváření fyzického obrazu je snížení rozdílu mezi simulací a realitou, který je rozdílem mezi tím, co FRIDA vytváří v simulaci, a tím, co maluje na plátno. FRIDA používá myšlenku nazvanou real2sim2real, kde se skutečné tahy štětcem robota používají k výcviku simulátoru, aby odrážel a napodoboval fyzické schopnosti robota a malířských materiálů.

Tým FRIDY se nyní snaží řešit některé omezení stávajících velkých modelů jazyka a obrazu, a to neustálým zdokonalováním těch, které používají. Krmili modely titulky z novinových článků, aby jim poskytli smysl pro to, co se děje ve světě, a dále je trénovali na obrazech a textu, které lépe reprezentují rozmanité kultury, aby se vyhnuli americkému nebo západnímu zkreslení.