CMU Araştırmacıları Resim Çizen AI Robotu Geliştirdi

Carnegie Mellon Üniversitesi’nin Robotik Enstitüsü’ndeki araştırmacılar, FRIDA adlı bir aracı geliştirdiler. Bu, bir robottan oluşan bir kol ve bir fırça ile donatılmış bir araçtır. Araç, insanlarla birlikte sanat projeleri üzerinde çalışmak için yapay zeka (AI) kullanıyor.

Ekibin Mayıs ayında 2023 IEEE Uluslararası Robotik ve Otomasyon Konferansı’nda “FRIDA: Birlikte Çalışan Robotik Resim Sanatçısı ile Farklılaştırılabilir, Gerçek2Sim2Gerçek Planlama Ortamı” başlıklı araştırmasını sunmaya hazırlandığı bildirildi.

Peter Schaldenbrand, Robotik Enstitüsü’nde bilgisayar bilimi alanında doktora öğrencisidir. FRIDA ile çalışıyor ve AI ile yaratıcılık üzerine araştırmalar yapıyor.

“Bir kurbağa balerini resmettiği bir resim var, gerçekten güzel oldu” dedi. “Çok saçma ve eğlenceli ve FRIDA’nın benim girdim temelinde neler üretebileceğini görmek gerçekten eğlenceliydi.”

FRIDA, Sanat Geliştirme için Çerçeve ve Robotik Girişimi’nin kısaltmasıdır. Frida Kahlo’nun adı verilmiştir.

Araştırma, Schalderbrand tarafından yönetildi ve RI öğretim üyeleri Jean Oh ve Jim McCaam ile birlikte gerçekleştirildi. CMU’dan öğrenci ve araştırmacılardan büyük ilgi gördü.

İştirakçi Araç Değil Sanatçı

Kullanıcılar, FRIDA’ya metin açıklamaları girerek, diğer sanat eserlerini estilo için ilham kaynağı olarak sunarak veya bir fotoğraf yükleyerek onu temsil etmesini isteyerek yönlendirebilirler. Ekibin ayrıca ses gibi diğer girdileri test ettiği bildirildi.

“FRIDA bir robotik resim sistemi, ancak FRIDA bir sanatçı değil” diye devam etti Schalderbrand. “FRIDA fikirleri iletişimi üretmiyor. FRIDA, bir sanatçı ile işbirliği yapabileceği bir sistem. Sanatçı, FRIDA için yüksek düzeyde hedefler belirleyebilir ve sonra FRIDA bunları gerçekleştirebilir.”

Resim çizmek için robot, OpenAI’nin ChatGPT ve DALL-E 2’yi çalıştıran AI modellerine benzer modelleri kullanıyor. FRIDA, bir resimi fırça darbeleriyle nasıl çizeceğini simüle ediyor ve makine öğrenimi kullanarak ilerlemesini değerlendiriyor.

FRIDA’nınผลları fantastik ve izlenimci. Fırça darbeleri cesur ve genellikle robotik girişimlerde aranan kesinlikten yoksun.

“FRIDA, insan ve robotik yaratıcılığın kesişimini keşfeden bir proje” diye ekledi McCann. “Frida, resimleri açıklamak ve sahne içeriğini anlamak için geliştirilen AI modellerini bu sanatsal üretme sorununa uyguluyor.”

FRIDA, sanat üretme sürecinde birden fazla kez AI ve makine öğrenimi kullanıyor. İlk olarak, fırçasını kullanmayı öğrenmek için bir saat veya daha fazla zaman harcar. Sonra, internetten metin ve resim çiftlerinden oluşan büyük veri kümeleriyle eğitilen görüntüleme-dil modellerini kullanarak girdiyi anlar, Örneğin OpenAI’nin Karşıt Dil-Görüntü Ön Eğitimi (CLIP).

Simülasyondan gerçeğe geçişte azaltılması gereken en önemli teknik zorluklardan biri, FRIDA’nın simülasyonda yarattığı ile kanvas üzerinde çizdiği arasındaki farktır. FRIDA, robotun gerçek fırça darbelerinin simülatörü eğiterek ve fiziksel yeteneklerini ve resim malzemelerini taklit ederek gerçek2sim2gerçek adlı bir fikir kullanıyor.

FRIDA ekibinin şimdi hedefi, büyük görüntüleme-dil modellerindeki bazı sınırlamaları, kullandıkları modelleri sürekli olarak geliştirerek ele almak. Modellere, dünyada neler olduğu hakkında bir fikir vermek için haber makalelerinin başlıklarını verdiler ve daha sonra onları, Amerikan veya Batı yanlılığından kaçınmak için daha çeşitli kültürel temsil edilen resim ve metinlerle eğittiler.