Anderson’un Açısı
DALL-E 2, ilişkileri anlamadan yalnızca şeyleri birbirine mi yapıştırıyor?

Öne çıkan noktalarDALL-E 2, üretilen görüntülerde 'içinde' veya 'üzerinde' gibi temel mekansal ilişkileri…
Daha fazla göster
- DALL-E 2, üretilen görüntülerde 'içinde' veya 'üzerinde' gibi temel mekansal ilişkileri yeniden oluşturmakta başarısız oluyor.
- katılımcıyla yapılan bir çalışmada, DALL-E 2 görüntülerinin yalnızca %22'si istemleriyle eşleşti.
- Sistemin ilişkisel başarısızlıkları, eğitim verilerinde tasvir edilen olayın örnekleri eksik olduğunda daha da kötüleşiyor.
Harvard Üniversitesi’nden yeni bir araştırma, OpenAI’nin ilgi çeken metinden görsel üretme çerçevesi DALL-E 2’nin, çıktılarının çoğu son derece karmaşık ve etkileyici olsa da, sentezlediği fotoğraflardaki öğeler arasında bebeklerin bile kavradığı ilişkileri yeniden üretmekte ciddi zorluk yaşadığını öne sürüyor.
Araştırmacılar, çevrimiçi katılımcı toplama yöntemiyle ulaştıkları 169 kişiyle bir kullanıcı çalışması yaptı. Katılımcılara, ilişkisel anlamın en temel insan ilkelerine dayanan DALL-E 2 görselleri ve bunları oluşturan metin istemleri gösterildi. İstemlerle görsellerin ilişkili olup olmadığı sorulduğunda, DALL-E 2’den görselleştirmesi istenen çok basit ilişkiler açısından görsellerin %22’sinden azı ilgili bulundu.

Yeni makale için yapılan deneylerden bir ekran görüntüsü. Katılımcılardan istemle eşleşen bütün görselleri seçmeleri istendi. Arayüzün altındaki açıklamaya rağmen aslında tüm görseller gösterilen istemden üretilmişti; katılımcılar bunu bilmiyordu. Kaynak: https://arxiv.org/pdf/2208.00005.pdf
Sonuçlar, DALL-E’nin farklı öğeleri bir araya getirme konusundaki görünür becerisinin, bu öğelerin sistemi eğiten gerçek dünya verilerinde birlikte görülme olasılığı azaldıkça zayıflayabileceğini de düşündürüyor.
Örneğin ‘bir kaseye dokunan çocuk’ isteminin görselleri %87 uygunluk onayı aldı; yani katılımcılar görsellerin çoğunu istemle ilgili bulup seçti. Buna karşılık aynı derecede fotogerçekçi ‘bir iguanaya dokunan maymun’ görsellerinde bu oran yalnızca %11 oldu:

DALL-E, ‘bir iguanaya dokunan maymun’ gibi olasılığı düşük bir olayı betimlemekte zorlanıyor; bunun nedeni, bu olayın eğitim kümesinde nadir olması, hatta hiç bulunmaması olabilir.
İkinci örnekte DALL-E 2, muhtemelen bu olayı gösteren gerçek fotoğrafların azlığından dolayı, ölçeği ve hatta türü sık sık yanlış veriyor. Buna karşılık çocuklar ve yiyeceklerle ilgili çok sayıda eğitim fotoğrafı bulunduğunu ve bu alt alanın iyi geliştiğini beklemek makuldür.
DALL-E’nin birbirinden çok farklı görsel öğeleri yan yana getirmekte zorlanması, kamuoyunun sistemin fotogerçekçiliği ve geniş yorumlama becerisinden fazlasıyla etkilendiğini düşündürüyor. Bu nedenle, resmî DALL-E 2 sitesindeki şu örneklerde olduğu gibi, sistemin yalnızca bir öğeyi diğerine belirgin biçimde ‘yapıştırdığı’ durumlara yönelik eleştirel bir bakış henüz gelişmemiş olabilir:
Yeni makalede şöyle deniyor*:
‘İlişkisel anlayış, insan zekâsının temel bir bileşenidir; gelişimin erken döneminde ortaya çıkar ve hızlı, otomatik biçimde algı sırasında hesaplanır.
‘DALL-E 2’nin temel uzamsal ilişkilerde bile yaşadığı güçlükler (örneğin içinde, üzerinde, altında), ne öğrenmiş olursa olsun, insanların dünyayı böylesine esnek ve sağlam biçimde yapılandırmasını sağlayan temsil türlerini henüz öğrenmediğini düşündürüyor.
‘Bu güçlüğün doğrudan bir yorumu, DALL-E 2 gibi sistemlerin henüz ilişkisel bileşimselliğe sahip olmamasıdır.’
Yazarlar, DALL-E serisi gibi metinle yönlendirilen görsel üretim sistemlerinin, robotikte yaygın olan algoritmalardan yararlanabileceğini öne sürüyor. Bu algoritmalar kimlikleri ve ilişkileri aynı anda modeller; çünkü ajanın çeşitli öğeleri yalnızca karıştırmak yerine çevreyle gerçekten etkileşime girmesi gerekir.
Bu yaklaşımlardan CLIPort, DALL-E 2’de kalite değerlendirme bileşeni olarak kullanılan aynı CLIP mekanizmasını kullanıyor:

Washington Üniversitesi ile NVIDIA’nın 2021 tarihli ortak çalışması CLIPort, CLIP’i öylesine pratik bir bağlamda kullanıyor ki üzerinde eğitilen sistemler fiziksel ilişkileri anlamak zorunda kalıyor. Bu motivasyon DALL-E 2 ve benzeri ‘fantastik’ görsel sentez çerçevelerinde bulunmuyor. Kaynak: https://arxiv.org/pdf/2109.12098.pdf
Yazarlar başka bir makul iyileştirmenin, DALL-E gibi görsel sentez sistemlerinin mimarisinde çarpımsal etkileri tek bir hesaplama katmanına yerleştirmek olabileceğini belirtiyor. Böylece ilişkiler, bilgi işleme kapasitelerinden esinlenilen biyolojik sistemlere benzer biçimde hesaplanabilir.
Yeni makalenin başlığı Metinle Yönlendirilen Görsel Üretiminde İlişkisel Anlayışın Sınanması; yazarları Harvard Psikoloji Bölümü’nden Colin Conwell ve Tomer D. Ullman.
Erken Eleştirilerin Ötesinde
Yazarlar, DALL-E 2 çıktılarının gerçekçiliği ve bütünlüğünün ardındaki ‘el çabukluğunu’ tartışırken, bu tür üretken görsel sistemlerinin eksikliklerini bulan önceki çalışmalara değiniyor.
Bu yıl haziranda California Üniversitesi Berkeley kampüsü, DALL-E’nin yansıma ve gölgeleri işleme güçlüğünü belirtti; aynı ay Kore’den bir çalışma, DALL-E 2 tarzı çıktıların benzersizliğini ve özgünlüğünü eleştirel bir gözle inceledi. NYU ve Teksas Üniversitesi’nin, lansmandan kısa süre sonra DALL-E 2 görselleri üzerinde yaptığı ön analiz bileşimsellik ve diğer temel unsurlarla ilgili çeşitli sorunlar buldu. Geçen ay ise Illinois Üniversitesi ile MIT arasında yapılan ortak bir çalışma bu sistemlerin bileşimselliğini geliştirecek mimari iyileştirmeler önerdi.
Araştırmacılar, Aditya Ramesh gibi DALL-E alanının önde gelen isimlerinin de sistemin özellik bağlama, göreli boyut, metin ve başka sorunlarını kabul ettiğini belirtiyor.
Google’ın rakip görsel sentez sistemi Imagen’ın geliştiricileri de DrawBench adlı yeni bir karşılaştırma sistemi önerdi. Bu sistem farklı ölçütlerle çerçeveler arasındaki görsel doğruluğunu değerlendiriyor.
Yeni makalenin yazarları ise üretilen görsellerdeki zayıflıkları ve bunların nasıl giderilebileceğini belirlemek için algoritmik ölçütler yerine insan değerlendirmesini kullanmanın daha iyi sonuç verebileceğini öne sürüyor.
Çalışma
Bu amaçla yeni proje yaklaşımını psikolojik ilkelere dayandırıyor ve güncel ilgi patlamasından bir adım geri çekilerek istem mühendisliğine odaklanmanın ötesine geçmeye çalışıyor. İstem mühendisliği aslında DALL-E 2’nin veya benzer sistemlerin eksikliklerinin kabulüdür; proje bu tür geçici çözümleri gerekli kılan sınırlamaları araştırmayı ve belki gidermeyi amaçlıyor.
Makalede şöyle deniyor:
‘Bu çalışma, daha önce bilişsel, gelişimsel veya dilbilimsel yazında tanımlanmış, incelenmiş ya da önerilmiş 15 temel ilişkiye odaklanıyor. Küme hem somut uzamsal ilişkiler (örneğin X, Y’nin üzerinde) hem de daha soyut eyleyen ilişkileri (örneğin X, Y’ye yardım ediyor) içeriyor.
‘İstemler kasıtlı olarak basit tutuldu; karmaşık özellikler veya ek ayrıntılar içermiyor. Örneğin “bir eşek ile bir ahtapot oyun oynuyor. Eşek bir ipin bir ucunu, ahtapot diğer ucunu tutuyor. Eşek ipi ağzında tutuyor. Bir kedi ipin üzerinden atlıyor” yerine “bir bıçağın üzerinde bir kutu” kullanıyoruz.
‘Bu basitlik yine de insan psikolojisinin çeşitli alt alanlarından geniş bir ilişki yelpazesini kapsıyor ve olası model başarısızlıklarını daha çarpıcı ve belirgin kılıyor.’
Yazarlar Prolific üzerinden, tamamı ABD’de yaşayan 169 katılımcı topladı; yaş ortalaması 33, kadınların oranı %59’du.
Katılımcılara 3×6 ızgarada düzenlenmiş 18 görsel gösterildi. Üstte istem, altta ise görsellerin tümünün, bazılarının veya hiçbirinin gösterilen istemden üretilmiş olabileceğini belirten bir açıklama vardı. Katılımcılardan istemle ilişkili buldukları görselleri seçmeleri istendi.
Görseller dilbilimsel, gelişimsel ve bilişsel yazına dayanıyordu; sekiz fiziksel ve yedi eyleyen ilişkisini kapsıyordu (bunlar aşağıda açıklanıyor).
Fiziksel ilişkiler
içinde, üzerinde, altında, örten, yakınında, bir şeyin arkasında gizli, üzerinde asılı, ve bağlı.
Eyleyen ilişkileri
itme, çekme, dokunma, vurma, tekmeleme, yardım etme, ve engelleme.
Bu ilişkilerin tümü yukarıda belirtilen bilgisayar bilimi dışındaki araştırma alanlarından alındı.
İstemlerde kullanılmak üzere altı nesne ve altı eyleyenden oluşan on iki varlık belirlendi:
Nesneler
kutu, silindir, battaniye, kase, çay fincanı, ve bıçak.
Eyleyenler
erkek, kadın, çocuk, robot, maymun, ve iguana.
(Araştırmacılar, kuru sosyoloji veya psikoloji araştırmalarının olağan bir unsuru olmayan iguanayı eklemenin “eğlenceli bir ayrıntı” olduğunu kabul ediyor.)
Her ilişki için iki varlık beş kez rastgele örneklenerek beş farklı istem oluşturuldu. Böylece toplam 75 istem elde edildi. Her biri DALL-E 2’ye gönderildi ve her istem için ilk verilen 18 görsel kullanıldı; varyasyon veya ikinci denemeye izin verilmedi.
Sonuçlar
Makalede şöyle deniyor*:
‘Katılımcılar, DALL-E 2 görselleri ile bunları üretmekte kullanılan istemler arasında ortalama olarak düşük bir uygunluk bildirdi: 75 ayrı istemde ortalama %22,2 [18,3, 26,6].
‘Eyleyen istemleri 35 istemde ortalama %28,4 [22,8, 34,2] uygunluk aldı; bu, 40 fiziksel istemin ortalama %16,9 [11,9, 23,0] oranından daha yüksekti.’

Çalışmanın sonuçları. Siyah noktalar tüm istemleri gösterir; her nokta ayrı bir istemdir. Renkler, istemin konusunun eyleyen mi yoksa fiziksel bir nesne mi olduğuna göre ayrılır.
İnsanların ve algoritmaların görselleri algılaması arasındaki farkı karşılaştırmak için araştırmacılar, görselleri OpenAI’nin açık kaynaklı ViT-L/14 CLIP tabanlı çerçevesinden geçirdi. Puanların ortalamasını alınca iki sonuç kümesi arasında ‘orta düzeyde ilişki’ buldular. CLIP’in bizzat görsel üretimine katkısı düşünüldüğünde bu sonuç şaşırtıcı olabilir.

CLIP (ViT-L/14) ile insan yanıtlarının karşılaştırma sonuçları.
Araştırmacılar, mimarideki başka mekanizmaların, eğitim verilerinin tesadüfen fazla veya az bulunmasıyla birlikte, CLIP’in DALL-E’nin sınırlamalarını fark edebilmesine rağmen bunları her durumda giderememesini açıklayabileceğini düşünüyor.
Yazarlar DALL-E 2’nin, insan zekâsının çok erken gelişen temel bir yönü olan ilişkisel anlayışı içeren görselleri yeniden üretme becerisinin, varsa bile, yalnızca görünüşte olduğu sonucuna varıyor.
‘DALL-E 2 gibi sistemlerin bileşimselliğe sahip olmadığı düşüncesi, “bale eteği giymiş küçük bir daikon turpunun kaniş gezdirdiği çizgi film” gibi istemlere verilen çarpıcı derecede makul yanıtları görenleri şaşırtabilir. Böyle istemler çoğu zaman bileşimsel bir kavramın makul bir yaklaşımını üretir; istemin tüm parçaları doğru yerlerde bulunur.
‘Ancak bileşimsellik, daha önce hiç bir arada görmediğiniz şeyleri bile yalnızca yapıştırabilme becerisi değildir. Bileşimsellik, öğeleri bir arada tutan kuralları anlamayı gerektirir. İlişkiler böyle kurallardır.’
Adam T-Rex’i Isırıyor
Görüş OpenAI yakın zamanda DALL-E 2 beta sürümünü ücretlendirmesinin ardından daha fazla kullanıcıyı kabul ediyor. Artık çoğu görsel üretimi için ödeme gerektiğinden, ilişkisel anlayıştaki eksiklikler daha görünür olabilir: her ‘başarısız’ deneme maddi bir yük oluşturuyor ve para iadesi yapılmıyor.
Biraz daha erken davet alan bizler, sistemin üretebildiği bazı ‘ilişki hatalarını’ gözlemlemek için zaman bulduk; yakın zamana kadar sistemle deneme yapmakta daha özgürdük.
Örneğin bir Jurassic Park hayranı için DALL-E 2’de bir dinozorun bir insanı kovalamasını sağlamak çok zor. ‘Kovalama’ kavramı DALL-E 2’nin sansür sisteminde görünmüyor; üstelik dinozor filmlerinin uzun tarihi bu imkânsız türler buluşması için, en azından fragmanlar ve tanıtım fotoğrafları biçiminde, bolca eğitim örneği sunmalı.

DALL-E 2’nin ‘Yolda bir adamı kovalayan bir T-Rex’in renkli fotoğrafı’ istemine verdiği tipik yanıt. Kaynak: DALL-E 2
Yukarıdaki görsellerin ‘[dinozor] [bir insanı] kovalıyor’ istem tasarımının çeşitleri için tipik olduğunu gördüm. İsteme ne kadar ayrıntı eklenirse eklensin T-Rex bunu gerçekten yerine getirmiyor. İlk iki fotoğrafta adam aşağı yukarı T-Rex’i kovalıyor; üçüncüde güvenliği umursamadan ona yaklaşıyor; son görselde ise büyük hayvanla paralel koşuyor gibi görünüyor. Bu konuda yaptığım yaklaşık 10–15 denemede dinozorun benzer biçimde ‘dikkatinin dağınık’ olduğunu gördüm.
DALL-E 2’nin erişebildiği tek eğitim verisi ‘adam dinozorla savaşıyor’ türünde olabilir; örneğin One Million Years B.C. (1966) gibi eski filmlerin tanıtım fotoğrafları. Jeff Goldblum’un yırtıcılar kralından ünlü kaçışı ise bu küçük veri kümesinde yalnızca bir aykırı örnek olabilir.
* Yazarların metin içi atıflarını köprü bağlantılara dönüştürdüm.
İlk kez 4 Ağustos 2022 tarihinde yayımlandı.














