Badacze z CMU tworzą AI robota, który maluje

Badacze z Instytutu Robotyki Uniwersytetu Carnegie Mellon opracowali narzędzie o nazwie FRIDA, które jest ramieniem robota z przyłączoną szczotką malarską. Narzędzie to wykorzystuje sztuczną inteligencję (AI), aby współpracować z ludźmi przy projektach artystycznych.

Zespół ma przedstawić wyniki swoich badań pod tytułem „FRIDA: Kolaboracyjny robot malarski z różnicowalnym, symulowanym środowiskiem planowania” na konferencji IEEE International Conference on Robotics and Automation w maju 2023.

Peter Schaldenbrand jest studentem doktoranckim w Instytucie Robotyki na Wydziale Informatyki. Pracuje z FRIDA i bada AI oraz kreatywność.

„Jest jeden obrazek żaby-baleriny, który uważam za naprawdę udany”, powiedział. „To coś naprawdę zabawnego i fajnego, a także zaskakującego, co FRIDA wygenerowała na podstawie mojego wprowadzenia.”

FRIDA to skrót od Framework and Robotics Initiative for Developing Arts, czyli Ramy i Inicjatywa Robotyki dla Rozwoju Sztuki. Nazwa pochodzi od Fridy Kahlo.

Badania zostały przeprowadzone przez Schalderbranda, wraz z członkami wydziału RI, Jean Oh i Jimem McCaamem, i zaangażowały studentów i badaczy z całego CMU.

Narzędzie kolaboracyjne, a nie artysta

Użytkownicy mogą kierować FRIDA, wprowadzając opis tekstowy, przesyłając inne dzieła sztuki, aby zainspirować jej styl, lub przesyłając zdjęcie i prosząc ją o namalowanie jego reprezentacji. Zespół testuje również inne dane wejściowe, takie jak dźwięk.

„FRIDA to system malarski robota, ale FRIDA nie jest artystą”, kontynuował Schalderbrand. „FRIDA nie generuje pomysłów, aby komunikować. FRIDA to system, z którym artysta może współpracować. Artysta może określić cele wysokiego poziomu dla FRIDA, a następnie FRIDA może je wykonać.”

Aby namalować obraz, robot wykorzystuje modele AI, które są porównywalne do tych, które napędzają OpenAI’s ChatGPT i DALL-E 2, które produkują tekst lub obraz w odpowiedzi na podanie. FRIDA symuluje, jak maluje obraz pociągnięciami pędzla i wykorzystuje uczenie maszynowe, aby ocenić swój postęp podczas pracy.

Gotowe produkty FRIDA są kapryśne i impresjonistyczne. Pociągnięcia pędzla są śmiałe i nie mają precyzji, która jest często poszukiwana w robotyce.

„FRIDA to projekt, który bada przecięcie kreatywności ludzkiej i robotycznej”, dodał McCann. „Frida wykorzystuje rodzaj modeli AI, które zostały opracowane do wykonywania zadań, takich jak podpis obrazów i zrozumienie zawartości sceny, i stosuje je do tego problemu generatywnego.”

FRIDA wykorzystuje AI i uczenie maszynowe kilka razy podczas swojego procesu tworzenia. Po pierwsze, spędza godzinę lub więcej, ucząc się, jak używać swojej szczotki malarskiej. Następnie wykorzystuje modele języka-wizji, które zostały przeszkolone na ogromnych zbiorach danych łączących tekst i obrazy pobrane z Internetu, takie jak OpenAI’s Contrastive Language-Image Pre-Training (CLIP), aby zrozumieć dane wejściowe.

Jednym z największych wyzwań technicznych w tworzeniu fizycznego obrazu jest zmniejszenie luki między symulacją a rzeczywistością, czyli różnicy między tym, co FRIDA tworzy w symulacji, a tym, co maluje na płótnie. FRIDA wykorzystuje pomysł znany jako real2sim2real, gdzie prawdziwe pociągnięcia pędzla robota są wykorzystywane do szkolenia symulacji, aby odzwierciedlić i naśladować fizyczne możliwości robota i materiałów malarskich.

Zespół FRIDA obecnie dąży do rozwiązania niektórych ograniczeń obecnych dużych modeli języka-wizji, poprzez ciągłe doskonalenie tych, które wykorzystują. Karmili modele nagłówkami artykułów prasowych, aby dać im poczucie tego, co dzieje się na świecie, i dodatkowo przeszkolili je na obrazach i tekście, które są bardziej reprezentatywne dla różnorodnych kultur, aby uniknąć amerykańskiej lub zachodniej tendencji.