İnsan Dikkatini Kullanarak AI Tarafından Oluşturulan Görüntüleri Geliştirmek

Çin’den yeni bir araştırmada, Latent Diffusion Models (LDM) gibi Stable Diffusion modellerinin oluşturduğu görüntü kalitesini iyileştirmek için bir yöntem önerilmiştir.

Yöntem, bir görüntünün önemli bölgelerini optimize etmeyi hedefler – insan dikkatini çekebilecek alanlar.

Yeni araştırmada, saliency haritalarının (soldan dördüncü sütun) bir filtre veya ‘mask’ olarak kullanılabileceği ve gürültü azaltma işlemlerinde insan dikkatini çekebilecek alanlara yönlendirilebileceği tespit edilmiştir. Kaynak: https://arxiv.org/pdf/2410.10257

Geleneksel yöntemler, tüm görüntüyü uniform olarak optimize ederken, yeni yaklaşım bir saliency dedektörü kullanır ve daha “önemli” bölgeleri önceliklendirir, tıpkı insanlar gibi.

Nicel ve nitel testlerde, araştırmacıların yöntemi, önceki difüzyon tabanlı modelleri hem görüntü kalitesi hem de metin promtlarına sadakat açısından aşmıştır.

Yeni yaklaşım ayrıca 100 katılımcıyla yapılan bir insan algılamasında en iyi sonucu elde etmiştir.

Doğal Seçilim

Saliency, gerçek dünyada ve görüntülerde bilgiyi önceliklendirmek, insan görme yetisinin temel bir parçasıdır.

Basit bir örnek, klasik sanatın önemli alanlarına, örneğin bir portrenin yüzüne veya bir deniz tablosunun direklerine, daha fazla ayrıntı vermesidir; bu örneklerde, sanatçının dikkati merkezi konuya odaklanır, yani portrenin arka planı veya fırtınanın uzak dalgaları daha az ayrıntılı ve daha geniş bir şekilde temsil edilir.

İnsan çalışmaları bilgilendiren makine öğrenimi yöntemleri, son on yılda ortaya çıkmıştır ve bir görüntüdeki ana ilgi noktalarını insan dikkati gibi tekrar üretebilir veya yaklaşık olarak üretebilir.

Nesne segmentasyonu (anlamsal segmentasyon), bir görüntünün yönlerini ayırt etmekte ve karşılık gelen saliency haritalarını geliştirmekte yardımcı olabilir. Kaynak: https://arxiv.org/pdf/1312.6034

Son beş yılın en popüler saliency haritası dedektörü, 2016 Gradient-weighted Class Activation Mapping (Grad-CAM) girişimi olmuştur, daha sonra geliştirilmiş Grad-CAM++ sistemi ve diğer varyantlar ve iyileştirmeler ortaya çıkmıştır.

Grad-CAM, bir anlamsal tokenin (örneğin ‘köpek’ veya ‘kedi’) gradyan aktivasyonunu kullanarak, bir kavramın veya açıklamanın görüntüde temsil edildiği olası bir görsel harita üretir.

<img class=" wp-image-207541" src="https://www.unite.ai/wp-content/uploads/2024/10/grad-cam.jpg" alt="Orijinal Grad-CAM makalesinden örnekler. İkinci sütunda, rehberli geri yayılım tüm katkıda bulunan özellikleri ayırt eder. Üçüncü sütunda, iki kavram 'köpek' ve 'kedi' için anlamsal haritalar çizilir. Dördüncü sütun, önceki iki çıkarımın birleştirilmesini temsil eder. Beşinci sütun, çıkarıma karşılık gelen maskleme (gizleme) haritasını temsil eder ve nihayet, altıncı sütunda, Grad-CAM bir ResNet-18 katmanını görselleştirir. Kaynak: https://arxiv.org/pdf/1610.02391″ width=”825″ height=”305″ /> Orijinal Grad-CAM makalesinden örnekler. İkinci sütunda, rehberli geri yayılım tüm katkıda bulunan özellikleri ayırt eder. Üçüncü sütunda, iki kavram ‘köpek’ ve ‘kedi’ için anlamsal haritalar çizilir. Dördüncü sütun, önceki iki çıkarımın birleştirilmesini temsil eder. Beşinci sütun, çıkarıma karşılık gelen maskleme (gizleme) haritasını temsil eder ve nihayet, altıncı sütunda, Grad-CAM bir ResNet-18 katmanını görselleştirir. Kaynak: https://arxiv.org/pdf/1610.02391

Bu yöntemlerle elde edilen sonuçlar üzerine yapılan insan anketleri, bu matematiksel çıkarımlar ile insan dikkati arasında bir ilişki olduğunu ortaya koymuştur.

SGOOL

Yeni makale, saliency’nin Stable Diffusion ve Flux gibi metin-görüntü (ve potansiyel olarak metin-videо) sistemlerine neler getirebileceğini ele almaktadır.

Kullanıcıların metin promt’larını yorumlarken, Latent Diffusion Models, eğitilmiş latent uzayı için metinle ilgili görsel kavramları arar ve bu noktaları gürültü azaltma işleminde işler, burada rasgele gürültü yaratıcı bir şekilde metin promt’ının yorumuna dönüştürülür.

Bu noktada, model her görüntüdeki her bir parçaya eşit dikkat gösterir. 2022’de difüzyon modellerinin popülerleşmesiyle birlikte, OpenAI’nin kullanılabilir Dall-E görüntü üreticileri ve Stability.ai’nin Stable Diffusion çerçevesinin açık kaynaklı hale getirilmesiyle birlikte, kullanıcılar “önemli” görüntüleri genellikle yetersiz bulmuşlardır.

Örneğin, bir insanın yüzü (izleyici için maksimum öneme sahip olan) genellikle görüntünün %10-35’ini kapsar, bu demokratik dikkat dağılımı hem insan algısı hem de sanat ve fotoğrafçılık tarihine karşı çalışır.

İnsanın pantolonundaki düğmeler, gözlerine aynı hesaplama ağırlığını taşıyorsa, kaynak dağılımı optimum değildir.

Bu nedenle, yazarlar tarafından önerilen yeni yöntem, Saliency Guided Optimization of Diffusion Latents (SGOOL), bir saliency haritası kullanarak görüntünün ihmal edilen alanlarına dikkat artırmak için kullanılır, daha az kaynak, dikkatin periferisinde kalan bölümlere ayrılmış olur.

Yöntem

SGOOL pipeline’ında görüntü oluşturma, saliency haritalama ve optimizasyon bulunur, genel görüntü ve saliency ile iyileştirilmiş görüntü birlikte işlenir.

SGOOL için kavramsal şema.

Difüzyon modelinin latent gömme noktaları doğrudan ince ayar ile optimize edilir, bu da özel bir model eğitimi gereksinimini ortadan kaldırır. Stanford Üniversitesi’nin Denoising Diffusion Implicit Model (DDIM) örnek alma yöntemi, Stable Diffusion kullanıcıları tarafından bilinen, saliency haritaları tarafından sağlanan ikincil bilgiyi entegre etmek için uyarlanır.

Makalede şöyle denir:

‘Öncelikle, insan görsel dikkat sistemini taklit etmek ve önemli bölgeleri belirlemek için bir saliency dedektörü kullanıyoruz. Ek bir model eğitimi gereksinimini ortadan kaldırmak için, yöntemimiz doğrudan difüzyon latentlerini optimize eder.

‘Ayrıca, SGOOL, tersinir bir difüzyon işlemi kullanır ve bunu sabit bellek uygulamasının avantajlarıyla donatır. Böylece, yöntemimiz parametre-verimli ve tak-çalıştır bir ince ayar yöntemi haline gelir. Geniş kapsamlı deneyler, çeşitli ölçümler ve insan değerlendirmesiyle yapılmıştır.’

Bu yöntem, gürültü azaltma işleminin birden fazla iterasyonunu gerektirir, bu nedenle yazarlar Direct Optimization Of Diffusion Latents (DOODL) çerçevesini benimsemiştir, bu da tersinir bir difüzyon işlemi sağlar – ancak yine de görüntünün tümüne dikkat eder.

İnsan ilgi alanlarını tanımlamak için, araştırmacılar 2022 TransalNet çerçevesini kullandılar.

2022 TransalNet projesinden saliency tespiti örnekleri. Kaynak: https://discovery.dundee.ac.uk/ws/portalfiles/portal/89737376/1_s2.0_S0925231222004714_main.pdf

TransalNet tarafından işlenen salient bölgeler, insanlara en çok ilgi çekebilecek saliency bölümlerini üretmek için kırpıldı.

Kullanıcı metni ve görüntüdeki fark, bir kayıp fonksiyonu tanımlamak için dikkate alınmalıdır, bu da işlemin çalışıp çalışmadığını belirleyebilir. Bunun için, OpenAI’nin Contrastive Language–Image Pre-training (CLIP) – artık görüntü sentez araştırma sektörünün bir ana taşı – bir versiyonu kullanıldı, ayrıca metin promtı ve global (non-saliency) görüntü çıktısı arasındaki anlamsal mesafe dikkate alındı.

Yazarlar şöyle diyor:

‘[Son] kayıp fonksiyonu, saliency parçaları ve global görüntüyü aynı anda dikkate alır, bu da oluşturma işleminde yerel ayrıntılar ve global tutarlılığı dengelemeye yardımcı olur.

‘Bu saliency-aware kayıp, görüntü latentlerini optimize etmek için kullanılır. Gradyanlar, gürültülü (latent) üzerinde hesaplanır ve girdi promtının orijinal oluşturulan görüntünün hem salient hem de global yönleri üzerindeki şartlandırma etkisini artırmak için kullanılır.’

Veri ve Testler

SGOOL’u test etmek için, yazarlar bir “vanilya” dağıtımını Stable Diffusion V1.4 (test sonuçlarında “SD” olarak belirtilen) ve Stable Diffusion ile CLIP rehberliği (sonuçlarda “baseline” olarak belirtilen) kullandılar.

Sistem, üç kamu verisi kümesiyle değerlendirildi: CommonSyntacticProcesses (CSP), DrawBench ve DailyDallE*.

Sonuncusu, OpenAI’nin bir blog yazısında yer alan bir sanatçının 99 ayrıntılı promtını içerirken, DrawBench 11 kategoriye ait 200 promt sunar. CSP, sekiz farklı dilbilgisi durumunda 52 promt içerir.

SD, baseline ve SGOOL için, testlerde CLIP modeli, ViT/B-32’ye kıyasla görüntü ve metin gömme noktalarını üretmek için kullanıldı. Aynı promt ve rasgele tohum kullanıldı. Çıkış boyutu 256×256 olarak ayarlandı ve TransalNet’in varsayılan ağırlıkları ve ayarları kullanıldı.

CLIP puanı ölçütü dışında, bir İnsan Tercih Puanı (HPS) kullanıldı ve ayrıca 100 katılımcıyla gerçek bir dünya çalışması yapıldı.

SGOOL ile önceki yapılandırmaları karşılaştıran nicel sonuçlar.

Yukarıdaki tabloda yer alan nicel sonuçlar hakkında makale şöyle diyor:

‘Modelimiz, her iki veri kümesinde de SD ve Baseline’den daha iyi performans gösterir. Modelimizin CLIP puanı ve HPS ortalamaları sırasıyla 3.05 ve 0.0029 daha yüksektir.’

Yazarlar ayrıca HPS ve CLIP puanlarının önceki yaklaşımlara göre kutu grafiklerini tahmin etti:

Testlerde elde edilen HPS ve CLIP puanlarının kutu grafikleri.

Onlar şöyle diyor:

‘Görülebileceği gibi, modelimiz diğer modelleri aşmaktadır, bu da modelimizin promtlerle daha tutarlı görüntüler oluşturabileceğini göstermektedir.

‘Ancak, kutu grafiğinde, bu değerlendirme ölçütü nedeniyle [0, 1] aralığında kolayca görselleştirilememektedir. Bu nedenle, karşılık gelen çubuk grafiklerini çiziyoruz.

‘Görülebileceği gibi, SGOOL her iki veri kümesinde de SD ve Baseline’den daha iyi performans gösterir. Nicel sonuçlar, modelimizin daha anlamsal olarak tutarlı ve insan tercihi görüntüler oluşturabildiğini göstermektedir.’

Araştörler, temel modelin görüntü kalitesini iyileştirebildiğini, ancak görüntünün önemli alanlarını dikkate almadığını belirtiyorlar. SGOOL, global ve salient görüntü değerlendirmesi arasında bir uzlaşma sağlayarak daha iyi görüntüler elde ettiğini iddia ediyorlar.

Nitel (otomatik) karşılaştırmalarda, SGOOL ve DOODL için optimizasyon sayısı 50 olarak ayarlandı.

Testlerin nitel sonuçları. Kaynak makaleye daha iyi bir tanım için başvurunuz.

Burada yazarlar şöyle diyor:

‘İlk satırda, promt konuları “bir kedi şarkı söylüyor” ve “bir berber dükkânı dörtlisi”. SD tarafından oluşturulan görüntüde dört kedi vardır ve içeriği promt ile kötü bir şekilde hizalanmıştır.

‘Temel model, görüntüde kediyi görmezden gelir ve yüz ve görüntüdeki ayrıntılarda bir eksiklik vardır. DOODL, promt ile tutarlı bir görüntü oluşturmaya çalışır.

‘Ancak, DOODL global görüntüyü doğrudan optimize ettiğinden, görüntüdeki kişiler kediye doğru optimize edilir.’

Onlar ayrıca SGOOL’un, orijinal promt ile daha tutarlı görüntüler oluşturduğunu belirtiyorlar.

İnsan algılama testinde, 100 gönüllü, test görüntülerini kalite ve anlamsal tutarlılık (yani, kaynak metin promtlarına ne kadar yakın olduklarını) açısından değerlendirdi. Katılımcılara seçimlerini yapmak için sınırsız zaman verildi.

İnsan algılama testinin sonuçları.

Makale, yazarların yönteminin önceki yaklaşımlardan daha çok tercih edildiğini belirtiyor.

Sonuç

Stable Diffusion’un yerel kurulumlarında ortaya çıkan eksiklikler bu makalede ele alındıktan kısa bir süre sonra, sistemde daha fazla dikkat çekici alanlara dikkat çekmek için çeşitli özel yöntemler ortaya çıktı (örneğin, After Detailer).

Ancak bu tür bir yaklaşım, difüzyon sisteminin normal işlemine eşit dikkat göstermesini gerektirir, artan iş yükü ise ek bir aşama olarak yapılır.

SGOOL’dan elde edilen kanıtlar, görüntü bölümlerinin önceliklendirilmesinde temel insan psikolojisini uygulamanın, ilk çıkarımı büyük ölçüde iyileştirebileceğini ve post-işlem adımlarına gerek kalmayacağını gösteriyor.

* Makale, CommonSyntacticProcesses için aynı bağlantıyı sağlar.

Çarşamba, 16 Ekim 2024’te ilk kez yayımlandı.