CMU-Forscher entwickeln ein AI-Roboter-System, das malt

Forscher am Robotics Institute der Carnegie Mellon University haben ein Werkzeug namens FRIDA entwickelt, das einen Roboterarm mit einem Pinsel darstellt. Das Werkzeug nutzt künstliche Intelligenz (KI), um mit Menschen an Kunstprojekten zusammenzuarbeiten.

Das Team wird die Forschung mit dem Titel “FRIDA: Ein kollaborativer Roboter-Maler mit einer differenzierbaren, Real2Sim2Real-Planungsumgebung” auf der 2023 IEEE International Conference on Robotics and Automation im Mai präsentieren.

Peter Schaldenbrand ist ein Doktorand am Robotics Institute der School of Computer Science. Er arbeitet mit FRIDA und erforscht KI und Kreativität.

“Es gibt ein Gemälde einer Frosch-Ballerina, das ich wirklich schön finde”, sagte er. “Es ist wirklich albern und lustig, und ich denke, die Überraschung dessen, was FRIDA aufgrund meiner Eingabe generiert hat, war wirklich lustig zu sehen.”

FRIDA ist ein Akronym für Framework und Robotics Initiative für die Entwicklung von Kunst. Es ist nach Frida Kahlo benannt.

Die Forschung wurde von Schalderbrand geleitet, zusammen mit den RI-Fakultätsmitgliedern Jean Oh und Jim McCaam, und hat Studenten und Forscher aus ganz CMU angezogen.

Kollaboratives Werkzeug, kein Künstler

Benutzer können FRIDA durch Eingabe einer Textbeschreibung, durch das Hochladen von Kunstwerken, um seinen Stil zu inspirieren, oder durch das Hochladen eines Fotos und die Aufforderung, eine Darstellung davon zu malen, steuern. Das Team testet auch andere Eingaben, wie Audio.

“FRIDA ist ein robotisches Mal-System, aber FRIDA ist kein Künstler”, fuhr Schalderbrand fort. “FRIDA generiert keine Ideen, um zu kommunizieren. FRIDA ist ein System, mit dem ein Künstler zusammenarbeiten kann. Der Künstler kann FRIDA hohe Ziele vorgeben und dann kann FRIDA sie ausführen.”

Um ein Bild zu malen, verwendet der Roboter KI-Modelle, die mit denen von OpenAI’s ChatGPT und DALL-E 2 vergleichbar sind, die Text oder ein Bild als Reaktion auf eine Aufforderung erzeugen. FRIDA simuliert, wie es ein Bild mit Pinselstrichen malen würde, und nutzt maschinelles Lernen, um seinen Fortschritt zu bewerten, während es arbeitet.

Die Endprodukte von FRIDA sind phantasievoll und impressionistisch. Die Pinselstriche sind kräftig und fehlen die Präzision, die in robotischen Unternehmungen häufig gesucht wird.

“FRIDA ist ein Projekt, das die Schnittstelle zwischen menschlicher und robotischer Kreativität erforscht”, fügte McCann hinzu. “Frida nutzt die Art von KI-Modellen, die entwickelt wurden, um Dinge wie Bildunterschriften und Szeneninhalt zu verstehen, und wendet sie auf dieses künstlerische Generierungsproblem an.”

FRIDA verwendet KI und maschinelles Lernen mehrmals während seines künstlerischen Prozesses. Zuerst verbringt es eine Stunde oder mehr damit, zu lernen, wie es seinen Pinsel verwenden kann. Dann verwendet es Bild-Text-Modelle, die auf großen Datensätzen von Texten und Bildern trainiert wurden, die aus dem Internet gesammelt wurden, wie OpenAI’s Contrastive Language-Image Pre-Training (CLIP), um die Eingabe zu verstehen.

Eine der größten technischen Herausforderungen bei der Erstellung eines physischen Bildes ist die Verringerung der Simulation-Wirklichkeit-Lücke, die die Diskrepanz zwischen dem, was FRIDA in der Simulation erstellt, und dem, was es auf der Leinwand malt, darstellt. FRIDA verwendet eine Idee namens Real2Sim2Real, bei der die tatsächlichen Pinselstriche des Roboters verwendet werden, um den Simulator zu trainieren, um die physischen Fähigkeiten des Roboters und der Malmaterialien nachzuahmen.

FRIDAs Team zielt nun darauf ab, einige der Einschränkungen in aktuellen großen Bild-Text-Modellen zu überwinden, indem sie die Modelle, die sie verwenden, kontinuierlich verfeinern. Sie fütterten die Modelle mit Schlagzeilen aus Nachrichtenartikeln, um ihnen ein Gefühl dafür zu geben, was in der Welt passiert, und trainierten sie weiter auf Bildern und Texten, die repräsentativer für diverse Kulturen sind, um eine amerikanische oder westliche Voreingenommenheit zu vermeiden.