Peneliti CMU Membuat Robot AI yang Melukis

Peneliti di Institut Robotika Universitas Carnegie Mellon telah mengembangkan alat yang disebut FRIDA, yang merupakan lengan robot dengan kuas cat yang terpasang di atasnya. Alat ini menggunakan kecerdasan buatan (AI) untuk bekerja sama dengan manusia pada proyek seni.

Tim ini akan mempresentasikan penelitian yang berjudul “FRIDA: A Collaborative Robot Painter With a Differentiable, Real2Sim2Real Planning Environment” pada Konferensi Internasional 2023 IEEE tentang Robotika dan Otomasi pada bulan Mei.

Peter Schaldenbrand adalah mahasiswa Ph.D. di Institut Robotika di Sekolah Ilmu Komputer. Ia bekerja dengan FRIDA dan mengeksplorasi AI dan kreativitas.

“Ada satu lukisan tentang balerina katak yang saya rasa sangat bagus,” katanya. “Ini sangat lucu dan menyenangkan, dan saya rasa kejutan dari apa yang dihasilkan FRIDA berdasarkan input saya sangat menyenangkan untuk dilihat.”

FRIDA adalah akronim dari Framework and Robotics Initiative for Developing Arts. Nama ini diambil dari Frida Kahlo.

Penelitian ini dipimpin oleh Schalderbrand, bersama dengan anggota fakultas RI Jean Oh dan Jim McCaam, dan telah menarik perhatian siswa dan peneliti dari seluruh CMU.

Alat Kolaboratif Bukan Seniman

Pengguna dapat memandu FRIDA dengan memasukkan deskripsi teks, mengirimkan karya seni lain untuk menginspirasi gaya, atau mengunggah foto dan meminta untuk melukis representasi dari itu. Tim juga menguji input lain, seperti audio.

“FRIDA adalah sistem melukis robot, tetapi FRIDA bukanlah seniman,” Schalderbrand melanjutkan. “FRIDA tidak menghasilkan ide untuk berkomunikasi. FRIDA adalah sistem yang dapat bekerja sama dengan seniman. Seniman dapat menentukan tujuan tingkat tinggi untuk FRIDA dan kemudian FRIDA dapat melaksanakannya.”

Untuk melukis gambar, robot menggunakan model AI yang setara dengan yang digunakan oleh OpenAI’s ChatGPT dan DALL-E 2, yang menghasilkan teks atau gambar sebagai respons terhadap prompt. FRIDA mensimulasikan bagaimana ia akan melukis gambar dengan sapuan kuas dan menggunakan pembelajaran mesin untuk menilai kemajuan saat bekerja.

Hasil akhir dari FRIDA adalah lukisan yang imajinatif dan impresionistis. Sapuan kuasnya tebal dan tidak memiliki presisi yang sering dicari dalam upaya robotik.

“FRIDA adalah proyek yang menjelajahi persimpangan kreativitas manusia dan robot,” McCann menambahkan. “Frida menggunakan model AI yang telah dikembangkan untuk melakukan hal-hal seperti memberi caption gambar dan memahami konten adegan dan menerapkan pada masalah generatif seni.”

FRIDA menggunakan AI dan pembelajaran mesin beberapa kali selama proses pembuatan seni. Pertama, ia menghabiskan waktu satu jam atau lebih untuk belajar menggunakan kuas cat. Kemudian, ia menggunakan model bahasa-visi yang telah dilatih pada dataset besar yang memasangkan teks dan gambar yang diambil dari internet, seperti OpenAI’s Contrastive Language-Image Pre-Training (CLIP), untuk memahami input.

Salah satu tantangan teknis terbesar dalam menghasilkan gambar fisik adalah mengurangi kesenjangan simulasi-ke-nyata, yang merupakan perbedaan antara apa yang dibuat FRIDA dalam simulasi dan apa yang dilukis di atas kanvas. FRIDA menggunakan konsep yang disebut real2sim2real, di mana sapuan kuas robot yang sebenarnya digunakan untuk melatih simulator untuk mencerminkan dan meniru kemampuan fisik robot dan bahan cat.

Tim FRIDA sekarang bertujuan untuk mengatasi beberapa keterbatasan dalam model bahasa-visi besar saat ini dengan terus memperbarui model yang mereka gunakan. Mereka memberi model tersebut headline dari artikel berita untuk memberikan mereka gambaran tentang apa yang terjadi di dunia dan melatihnya lebih lanjut pada gambar dan teks yang lebih representatif dari budaya yang beragam untuk menghindari bias Amerika atau Barat.