AI Görüntü Düzenleme Doğruluğunu Artırma

Adobe’nin Firefly latent diffusion model (LDM) muhtemelen şu anda mevcut olan en iyisi olsa da, Photoshop’u deneyen kullanıcılar, onun mevcut görüntüleri kolayca düzenleyemediğini fark edeceklerdir – bunun yerine, kullanıcı tarafından seçilen alanı, kullanıcı tarafından verilen metin.prompt’a dayalı görüntülerle tamamen değiştirir (ancak Firefly, oluşan generated bölümü görüntünün bağlamına entegre etmekte usta).

Şu anda beta sürümünde, Photoshop en azından referans görüntüsünü kısmi bir görüntü.prompt olarak dahil edebilir, bu da Adobe’nin amiral gemisi ürününü, Stable Diffusion kullanıcılarının iki yıldan fazla bir süredir keyif aldığı türden bir işlevselliğe kavuşturur, üçüncü taraf çerçeveler gibi Controlnet sayesinde:

Şu anda Adobe Photoshop’un beta sürümü, bir seçim içinde yeni içerik oluştururken referans görüntülerinin kullanılmasına izin veriyor – ancak şu anda bu bir deneme-yanılma meselesidir.

Bu, görüntü sentez araştırma alanında açık bir problemi gösterir – difüzyon modellerinin, kullanıcı tarafından belirtilen seçimi tam bir ‘yeniden hayal etme’ uygulamadan mevcut görüntüleri düzenleme konusunda zorlandıkları.

Bu difüzyon tabanlı inpaint, kullanıcı.prompt’u takip ediyor, ancak orijinal konu maddesini dikkate almadan (sadece yeni nesli çevreyle karıştırarak) tamamen yeniden icat ediyor. Kaynak: https://arxiv.org/pdf/2502.20376

Bu problem, LDM’lerin görüntüleri, kullanıcı tarafından sağlanan metin.prompt’a koşullandırılmış her aşamasıyla birlikte yinelemeli gürültü azaltma yoluyla oluşturması nedeniyle ortaya çıkar. Metin.prompt içeriği embedding tokens olarak dönüştürülür ve bir hiperscale modeli gibi Stable Diffusion veya Flux, prompt’a ilgili yüz binlerce (veya milyonlarca) yakın eşleşen embedding içerir; süreç, koşullu dağılım hedefine ulaşmak için hesaplanmış bir dağılıma sahiptir ve her adım, bu ‘koşullu dağılım hedefine’ doğru bir adımdır.

Metin-görüntü – kullanıcı’nın ‘en iyisini umduğu’ bir senaryo, çünkü generation neye benzeyeceğini tam olarak kestirmek mümkün değildir.

Bunun yerine, birçok kişi, mevcut görüntüleri düzenlemek için bir LDM’nin güçlü oluşturucu kapasitesini kullanmaya çalıştı – ancak bu, sadakat ve esneklik arasında bir dengeleme hareketi gerektirir.

Bir görüntü, DDIM inversion gibi yöntemlerle modelin latent uzayına projelendirildiğinde, orijinali mümkün olduğunca yakın bir şekilde geri kazanmak ve aynı zamanda anlamlı düzenlemelere izin vermek hedeflenir. Problemin kaynağı, bir görüntünün ne kadar kesin bir şekilde yeniden oluşturulduğu, modelin orijinal yapısına ne kadar bağlı olduğu ve büyük değişikliklerin yapılmasının zorlaşmasıdır.

Son yıllarda önerilen diğer birçok difüzyon tabanlı görüntü düzenleme çerçeveleri gibi Renoise mimarisi, görüntünün görünümünde gerçek bir değişiklik yapma konusunda zorluk çekiyor, kedinin boğazının tabanında sadece bir kravatın mütevazı bir göstergesi var.

Öte yandan, eğer süreç düzenlenebilirliği önceliklendirirse, model orijinalinden daha gevşek bir tutuş sağlar, değişikliklere yol açar – ancak genel olarak kaynak görüntüsüyle tutarlılık pahasına.

Görev tamamlandı – ancak bu, çoğu AI tabanlı görüntü düzenleme çerçevesi için bir dönüşümdür, değil bir ayar.

Bu problem, Adobe’nin bile önemli kaynakları ile ele alması zor bir zorluksa, o zaman bu zorluğun önemli olduğunu ve kolay çözümlere izin vermeyeceğini düşünebiliriz.

Sıkı Tersleme

Bu nedenle, bu hafta yayınlanan yeni bir makaledeki örnekler dikkatimi çekti, çünkü bu çalışma, bu alanda mevcut durumun üzerine değerli ve dikkat çekici bir iyileştirme sunuyor, modelin latent uzayına projelendirilmiş görüntülere ince ve rafine düzenlemeler uygulayabilmesi nedeniyle.

Sıkı Tersleme mevcut tersleme yöntemlerine uygulandığında, kaynak seçimi çok daha granüler bir şekilde dikkate alınır ve dönüşümler orijinal materyale uymak yerine onu geçersiz kılmaz.

LDM hobi ve uygulayıcıları, bu tür sonuçları tanıyabilir, çünkü çoğu, IP-Adapter ve Controlnet gibi dış sistemler kullanılarak karmaşık bir iş akışında oluşturulabilir.

Aslında, yeni yöntem – Sıkı Tersleme olarak adlandırılır – gerçekten de insan betimlemeleri için bir yüz tabanlı model ile birlikte IP-Adapter’ı kullanır.

Orijinal 2023 IP-Adapter makalesinden, kaynak materyale uygun düzenlemeler oluşturma örnekleri. Kaynak: https://arxiv.org/pdf/2308.06721

Sıkı Terslemenin önemli başarısı, karmaşık teknikleri, mevcut sistemlere uygulanabilecek tek bir eklenti modu olarak prosedürleştirmesidir, birçok popüler LDM dağıtımı da dahil olmak üzere.

Tabii ki, bu, Sıkı Terslemenin (TI), diğer yardımcı sistemleri gibi, yalnızca doğru metin.prompt’lara değil, aynı zamanda kaynak görüntüsünü de bir koşullandırma faktörü olarak kullandığı anlamına gelir:

Kaynak materyale gerçekten karışan düzenlemeler uygulayabilme yeteneği için Sıkı Terslemenin daha fazla örneği.

Yazarlar, approach’unun geleneksel ve devam eden sadakat ve düzenlenebilirlik gerilimi olmadan olmadığını kabul etseler de, mevcut sistemlere TI enjekte edildiğinde, bazline performansa kıyasla devlet-sanatlı sonuçlar aldıklarını bildirdiler.

Yeni çalışma yayımlandı ve Sıkı Tersleme: Gerçek Görüntü Düzenleme için Görüntü Koşullandırması olarak adlandırıldı ve Tel Aviv Üniversitesi ve Snap Araştırma’dan beş araştırmacı tarafından geldi.

Yöntem

İlk olarak, Büyük Dil Modeli (LLM) tarafından, bir görüntü oluşturmak için çeşitli metin.prompt’ları oluşturulur. Ardından, yukarıda bahsedilen DDIM tersleme her görüntüye üç metin koşulu ile uygulanır: görüntüyü oluşturmak için kullanılan metin.prompt; aynı metin.prompt’ın kısaltılmış bir sürümü; ve boş bir prompt.

Bu işlemlerden döndürülen terslenmiş gürültü ile, görüntüler aynı koşulla ve sınıflandırıcı-özgür rehberlik (CFG) olmadan yeniden oluşturulur.

Çeşitli metriklerde farklı prompt ayarları ile DDIM tersleme puanları.

Görüldüğü gibi, metin uzunluğu arttıkça, çeşitli metriklerdeki puanlar iyileşir. Kullanılan metrikler Zirve Sinyal-Gürültü Oranı (PSNR); L2 uzaklık; Yapısal Benzerlik İndeksi (SSIM); ve Öğrenilmiş Algısal Görüntü Parçası Benzerliği (LPIPS).

Görüntü Bilincinde

Esasen Sıkı Tersleme, bir difüzyon modelinin gerçek görüntüleri düzenleme şeklini değiştirir, yalnızca metne değil, görüntüye de koşullandırma işlemini uygulayarak.

Normalde, bir görüntüyü bir difüzyon modelinin gürültü uzayına terslemek, orijinal görüntüyü yeniden oluşturmak için gereken başlangıç gürültüsünü tahmin etmek gerekir. Standart yöntemler, bu işlemi yönlendirmek için bir metin.prompt kullanır; ancak kusurlu bir prompt hatalara yol açabilir, ayrıntıları kaybedebilir veya yapıları değiştirebilir.

Sıkı Tersleme, bunun yerine IP-Adapter’ı kullanarak görsel bilgileri modele besler, böylece görüntüyü daha yüksek doğrulukla yeniden oluşturur, kaynak görüntülerini koşullandırma tokenlerine dönüştürür ve bunları tersleme işlem hattına sokar.

Bu parametreler düzenlenebilir: kaynak görüntüsünün etkisini artırarak, yeniden oluşturmayı neredeyse mükemmel hale getirebilirsiniz, ancak azaltarak daha yaratıcı değişikliklere izin verebilirsiniz. Bu, Sıkı Terslemenin hem ince değişiklikler için (örneğin, bir gömleğin rengini değiştirme) hem de daha önemli düzenlemeler için (örneğin, nesneleri değiştirme) faydalı olmasını sağlar – diğer tersleme yöntemlerinin ortak yan etkileri olmadan, such as fine details loss or unexpected background content aberrations.

Yazarlar şöyle diyor:

‘Sıkı Terslemenin, önceki tersleme yöntemleriyle (örneğin, Edit Friendly DDPM, ReNoise) entegre edilebileceğini ve bu yöntemleri, [yerli difüzyon çekirdeğini IP-Adapter değiştirilmiş modelle değiştirerek] tutarlı bir şekilde geliştirdiğini not ediyoruz.’

Veri ve Testler

Araştırmacılar, TI’nin gerçek dünya kaynak görüntülerini yeniden oluşturma ve düzenleme yeteneğini değerlendirdiler. Tüm deneyler, Stable Diffusion XL ile bir DDIM zamanlayıcı kullanılarak gerçekleştirildi; ve tüm testler, varsayılan rehberlik ölçeğinde 7.5 ile 50 gürültü azaltma adımı kullanılarak gerçekleştirildi.

Görüntü koşullandırması için IP-Adapter-plus sdxl vit-h kullanıldı. Az adımda testler için araştırmacılar, SDXL-Turbo ile bir Euler zamanlayıcı kullandı ve ayrıca FLUX.1-dev ile deneyler gerçekleştirdiler, bu durumda modeli PuLID-Flux ile ve RF-Inversion ile 28 adımda koşullandırdılar.

PulID, yalnızca insan yüzleri içeren durumlarda kullanıldı, çünkü bu, PulID’nin eğitim aldığı alandı – ve insan yüzlerini oluşturmak için özel bir alt sistem kullanılması dikkat çekicidir, çünkü bu görev için temel bir modelin ağırlıklarına güvenmek yeterli olmayabilir.

Yeniden oluşturma testleri, nitel ve nicel değerlendirme için gerçekleştirildi. Aşağıdaki görüntüde, DDIM tersleme için nitel örnekler görüyoruz:

DDIM tersleme için nitel sonuçlar. Her satır, ayrıntılı bir görüntü ve onun yeniden oluşturulmuş sürümlerini gösterir, her adım daha precisa koşullar kullanarak tersleme ve gürültü azaltma işlemlerini gerçekleştirir. Koşullandırma daha doğru hale geldikçe, yeniden oluşturma kalitesi iyileşir. Sağdaki sütun, en iyi sonuçları gösterir, orijinal görüntü itself kullanılarak koşullandırma yapılır ve en yüksek doğruluk elde edilir. CFG hiçbir aşamada kullanılmadı. Kaynak belgesine daha iyi çözünürlük ve ayrıntı için başvurunuz.

Makale şöyle diyor:

‘Bu örnekler, koşullandırma işleminin görüntüye koşullandırılmasının, özellikle ayrıntılı bölgelerde yeniden oluşturmayı önemli ölçüde iyileştirdiğini vurgulamaktadır.

‘Örneğin, üçüncü örnekte, yöntemimiz sağ boksörün sırtındaki dövmeyi başarılı bir şekilde yeniden oluşturur. Ayrıca, boksörün bacak pozisyonu daha doğru bir şekilde korunur ve bacaktaki dövme görünür hale gelir.’

DDIM tersleme için daha fazla nitel sonuç. Tanımlayıcı koşullar, DDIM terslemesini geliştirir, özellikle karmaşık görüntülerde metin koşullarından daha iyi performans gösterir.

Yazarlar ayrıca, TI’yi mevcut sistemlere bir eklenti modu olarak test ettiler, değiştirilmiş sürümlerini bazline performanslarıyla karşılaştırdılar.

Test edilen sistemler, yukarıda bahsedilen DDIM Tersleme ve RF-Tersleme idi; ve ayrıca ReNoise test edildi, bu makaledeki bazı yazarlarla ortaklık paylaşıyor. DDIM sonuçlarının %100 yeniden oluşturma elde etmede hiçbir zorluğu olmadığından, araştırmacılar yalnızca düzenlenebilirliğe odaklandı.

(Nitel sonuç görüntüleri, burada yeniden üretmek için zor bir şekilde düzenlenmiştir, bu nedenle okuyucuyu daha iyi bir çözünürlük ve netlik için kaynak PDF’ye başvurmasına davet ediyoruz)

Sol, SDXL ile Sıkı Terslemenin nitel yeniden oluşturma sonuçları. Sağ, FLUX ile yeniden oluşturma. Yayınlanan çalışmadaki bu sonuçların düzeni, burada yeniden üretmeyi zorlaştırıyor, bu nedenle kaynak PDF’ye başvurmanızı öneririz.

Yazarlar şöyle diyor:

‘Gösterildiği gibi, Sıkı Tersleme, mevcut yöntemlerle tutarlı bir şekilde yeniden oluşturmayı geliştirir. Örneğin, [şekilde], methodumuz soldaki örnekte elrailini ve sağdaki örnekte mavi gömlekli adamı doğru bir şekilde yeniden oluşturur.’

Araştırmacılar ayrıca sistemi nicel olarak test ettiler. Önceki çalışmalara paralel olarak, validasyon kümesi MS-COCO kullandılar ve sonuçların (aşağıda gösterilen) tüm metriklerdeki yöntemlerin performansını iyileştirdiğini belirttiler.

Sıkı Tersleme ile ve olmadan sistemlerin performansını karşılaştıran metrikler.

Sonra, yazarlar sistemi, prompt2prompt; Edit Friendly DDPM; LED-ITS++; ve RF-Tersleme karşılaştırarak fotoğrafları düzenleme yeteneğini test ettiler.

Aşağıda, makaledeki nitel sonuçların bir seçimi verilmiştir (ve okuyucuyu daha iyi bir çözünürlük ve netlik için kaynak PDF’ye başvurmasına davet ediyoruz).

SDXL ve FLUX için nitel sonuçların seçimi. Kaynak PDF’ye başvurunuz.

Yazarlar, Sıkı Terslemenin mevcut tersleme tekniklerine kıyasla tutarlı bir şekilde daha iyi bir dengeleme sağladığını, yeniden oluşturma ve düzenlenebilirlik arasında daha iyi bir dengeleme sağladığını iddia ediyorlar. Standart yöntemler, DDIM tersleme ve ReNoise, bir görüntüyü iyi bir şekilde yeniden oluşturabilir, ancak düzenleme uygulandığında ince ayrıntıları koruma konusunda sık sık mücadele ederler.

Bununla birlikte, Sıkı Tersleme, görüntüye koşullandırma yaparak modelin çıktısını orijinaline daha yakın bir şekilde hizalar, istenmeyen bozulmaları önler. Yazarlar, diğer yöntemlerin, görünüşte doğru yeniden oluşturmalar üretse bile, düzenleme uygulandığında sıklıkla bozulmalar veya yapısal tutarsızlıklar ortaya çıkardığını ve Sıkı Terslemenin bu sorunları hafiflettiğini iddia ediyorlar.

Son olarak, nicel sonuçlar, MagicBrush benchmark’u kullanarak ve DDIM tersleme ve LEDITS++ ile đoğru CLIP Sim ile ölçüldü.

Sıkı Terslemenin MagicBrush benchmark’u ile karşılaştırılması.

Yazarlar şöyle diyor:

‘Her iki grafikte de, görüntü korunması ve hedef düzenlemeyle uyumu arasındaki ticaret açıkça gözlemlenir. Sıkı Tersleme, bu ticarette daha iyi bir kontrol sağlar ve hem görüntü korunmasını hem de düzenlemeyle uyumu daha iyi bir şekilde sağlar.’

‘Not, bir görüntüye ve bir metin.prompt’a 0.3’den büyük bir CLIP benzerliği, görüntüye ve metin.prompt’a makul bir uyumu gösterir.’

SONUÇ

Sıkı Tersleme, LDM tabanlı görüntü sentezinin en zorlu zorluklarından birini ‘kırma’ anlamına gelmese de, çeşitli zorlu yardımcı yöntemleri birleşik bir yönteme entegre eder.

Her ne kadar sadakat ve düzenlenebilirlik arasındaki gerilim bu yöntemle ortadan kalkmasa da, önemli ölçüde azaltılır. Bu çalışmanın ele aldığı temel zorluğun, kendi şartlarında ele alındığında nihayetinde çözülemez olabileceği (gelecek sistemlerde LDM tabanlı mimarilerin ötesine bakmak yerine) düşünüldüğünde, Sıkı Tersleme, durumun sanatının hoş bir artımlı iyileştirmesini temsil eder.

İlk olarak 28 Şubat 2025 Cuma günü yayınlandı