Robotik ve fiziksel yapay zeka

CMU Araştırmacıları Resim Çizen AI Robotu Geliştirdi

Alex McFarland
Unite.AI sitesini Google'daki tercih ettiğiniz kaynaklara ekleyin
Öne çıkan noktalarFRIDA, bir sanatçı değil, insan-yapay zeka ortak yaratımı için tasarlanmış işbirlikçi…
Daha fazla göster
  • FRIDA, bir sanatçı değil, insan-yapay zeka ortak yaratımı için tasarlanmış işbirlikçi bir araçtır.
  • Robot, metin, görüntü veya sesi boyama yönergeleri olarak yorumlamak için CLIP gibi yapay zeka modellerini kullanır.
  • FRIDA, simülatörünü gerçek fırça darbeleri üzerinde eğiterek simülasyondan gerçeğe geçiş farkını azaltır.

Carnegie Mellon Üniversitesi’nin Robotik Enstitüsü’ndeki araştırmacılar, FRIDA adlı bir aracı geliştirdiler. Bu araç, ucuna boya fırçası takılmış bir robot koldur. Araç, insanlarla birlikte sanat projeleri üzerinde çalışmak için yapay zeka (AI) kullanıyor.

Ekibin Mayıs 2023’te IEEE Uluslararası Robotik ve Otomasyon Konferansı’nda “FRIDA: A Collaborative Robot Painter With a Differentiable, Real2Sim2Real Planning Environment” başlıklı araştırmasını sunması planlanıyordu.

Peter Schaldenbrand, Robotik Enstitüsü’nde bilgisayar bilimi alanında doktora öğrencisidir. FRIDA ile çalışıyor ve AI ile yaratıcılık üzerine araştırmalar yapıyor.

“Bir kurbağa balerini resmettiği bir resim var, gerçekten güzel oldu” dedi. “Çok saçma ve eğlenceli ve FRIDA’nın benim girdim temelinde neler üretebileceğini görmek gerçekten eğlenceliydi.”

FRIDA, “Framework and Robotics Initiative for Developing Arts” ifadesinin kısaltmasıdır; Türkçede yaklaşık olarak “Sanat Geliştirme İçin Çerçeve ve Robotik Girişimi” anlamına gelir. Frida Kahlo’nun adı verilmiştir.

Araştırma, Schalderbrand tarafından yönetildi ve RI öğretim üyeleri Jean Oh ve Jim McCaam ile birlikte gerçekleştirildi. CMU’dan öğrenci ve araştırmacılardan büyük ilgi gördü.

Bir Sanatçıdan Çok İşbirliği Aracı

Kullanıcılar, FRIDA’ya metin açıklamaları girerek, diğer sanat eserlerini üslubuna ilham vermek için sunarak veya bir fotoğraf yükleyip onun bir resmini yapmasını isteyerek yönlendirebilirler. Ekibin ayrıca ses gibi diğer girdileri test ettiği bildirildi.

“FRIDA bir robotik resim sistemi, ancak FRIDA bir sanatçı değil” diye devam etti Schalderbrand. “FRIDA iletilecek fikirleri üretmiyor. FRIDA, bir sanatçının birlikte çalışabileceği bir sistem. Sanatçı, FRIDA için yüksek düzeyde hedefler belirleyebilir ve sonra FRIDA bunları gerçekleştirebilir.”

Resim çizmek için robot, OpenAI’nin ChatGPT ve DALL-E 2’yi çalıştıran AI modellerine benzer modelleri kullanıyor; bu modeller bir isteme yanıt olarak metin veya görüntü üretir. FRIDA, bir resimi fırça darbeleriyle nasıl çizeceğini simüle ediyor ve makine öğrenimi kullanarak ilerlemesini değerlendiriyor.

FRIDA’nın sonuçları fantastik ve izlenimci. Fırça darbeleri cesur ve genellikle robotik girişimlerde aranan kesinlikten yoksun.

“FRIDA, insan ve robotik yaratıcılığın kesişimini keşfeden bir proje” diye ekledi McCann. “Frida, resimleri açıklamak ve sahne içeriğini anlamak için geliştirilen AI modellerini bu sanatsal üretme sorununa uyguluyor.”

FRIDA, sanat üretme sürecinde birden fazla kez AI ve makine öğrenimi kullanıyor. İlk olarak, fırçasını kullanmayı öğrenmek için bir saat veya daha fazla zaman harcar. Sonra, internetten metin ve resim çiftlerinden oluşan büyük veri kümeleriyle eğitilen görsel-dil modellerini kullanarak girdiyi anlar, Örneğin OpenAI’nin Karşıt Dil-Görüntü Ön Eğitimi (CLIP).

Simülasyondan gerçeğe geçişte azaltılması gereken en önemli teknik zorluklardan biri, FRIDA’nın simülasyonda yarattığı ile kanvas üzerinde çizdiği arasındaki farktır. FRIDA, real2sim2real yaklaşımını kullanıyor: robotun gerçek fırça darbeleriyle simülatör eğitiliyor; böylece simülatör robotun ve boya malzemelerinin fiziksel olanaklarını yansıtıp taklit edebiliyor.

FRIDA ekibinin şimdi hedefi, büyük görsel-dil modellerindeki bazı sınırlamaları, kullandıkları modelleri sürekli olarak geliştirerek ele almak. Modellere, dünyada neler olduğu hakkında bir fikir vermek için haber makalelerinin başlıklarını verdiler ve daha sonra onları, Amerikan veya Batı yanlılığından kaçınmak için daha çeşitli kültürleri temsil eden resim ve metinlerle ek eğitimden geçirdiler.

Alex, Unite.AI’nin AI destekli haber operasyonlarını yönetiyor, gazetecilik, araştırma ve otomasyonu birleştirerek yapay zekanın zamanında ve ölçeklenebilir şekilde kapsanmasını destekliyor. Çalışması, ortaya çıkan AI gelişmelerinin verimli bir şekilde ortaya konulmasını sağlarken, yayının editöryel standartlarını korumasına yardımcı olur.