Son birkaç yıl içinde, ayar tabanlı difüzyon modelleri, geniş bir yelpazede görüntü kişiselleştirme ve özelleştirme görevlerinde dikkat çekici ilerleme kaydetmiştir. Ancak, potansiyellerine rağmen, mevcut ayar tabanlı difüzyon modelleri, stil tutarlı görseller üretilmesi ve oluşturulması konusunda bir dizi karmaşık zorlukla karşı karşıya kalıyorlar ve bunun arkasında üç neden olabilir. İlk olarak, stil kavramı hala geniş çapta tanımlanmamış ve belirsizdir ve atmosfer, yapı, tasarım, malzeme, renk ve daha fazlasını içeren bir dizi unsurdan oluşur. İkinci olarak, tersineme dayalı yöntemler stil bozulmasına eğilimlidir, bu da ince detayların sık sık kaybına neden olur. Son olarak, adaptör tabanlı yaklaşımlar, metin kontrolü ve stil yoğunluğu arasında denge sağlamak için her référence görüntüsü için sık sık ağırlık ayarlaması gerektirir.

Dahası, stil transferi veya stil görüntüleme yaklaşımının çoğunun birincil amacı, référence görüntüsünden veya référence görüntü alt kümesinden belirli bir stili hedef içerik görüntüsüne uygulamaktır. Ancak, stilin geniş aantal özniteliği, araştırmacıların stilize edilmiş veri kümelerini toplamasını, stili doğru bir şekilde temsil etmesini ve transferin başarısını değerlendirmesini zorlaştırır. Önceden, difüzyon süreci temelinde fine-tuning yapan modeller ve çerçeveler, ortak bir stile sahip görüntü veri kümelerini fine-tune eder, bu da hem zaman alıcı hem de gerçek dünya görevlerinde sınırlı genelleme ile birlikte gelir, çünkü aynı veya neredeyse aynı stile sahip görüntü alt kümelerini toplamak zordur.

Bu makalede, InstantStyle adlı bir çerçeveyi ele alacağız, bu çerçeve, görüntü oluşturma ve özelleştirme için mevcut ayar tabanlı difüzyon modellerinin karşılaştığı sorunları ele almak amacıyla tasarlanmıştır. InstantStyle çerçevesinin iki temel stratejisini tartışacağız:

1. Referans görüntülerden stil ve içeriği öznitelik alanında ayırmak için basit ancak etkili bir yaklaşım, aynı öznitelik alanında bulunan özniteliklerin birbirine eklenebileceği veya çıkarılabileceği varsayımı temelinde.
2. Stil sızıntılarını önlemek için référence görüntü özelliklerini yalnızca stil spesifik bloklara enjekte etmek ve fine-tuning için hantal ağırlıkların kullanımını kasıtlı olarak tránh etmek, genellikle daha fazla parametreli tasarımları karakterize eder.

Bu makale, InstantStyle çerçevesini derinlemesine ele almayı amaçlar ve mekanizmasını, metodolojisini, mimarisini ve diğer çerçevelerle karşılaştırmasını keşfedeceğiz. Ayrıca, InstantStyle çerçevesinin nasıl dikkat çekici görsel stil化 sonuçları gösterdiğini ve metinsel öğelerin kontrolü ile stil yoğunluğu arasında optimal bir denge sağladığını tartışacağız. Şimdi başlayalım.

InstantStyle: Metin Görselleştirme’de Stil Koruma

Difüzyon tabanlı metin-görsel üretici AI çerçeveleri, özellikle tutarlı görüntü oluşturma görevlerinde dikkat çekici başarı elde etti. Ancak, recent başarı ve performans artışı rağmen, stil transferi hala araştırmacılar için zor bir görev olarak kalıyor, çünkü stilin belirsiz ve tanımlanmamış doğası nedeniyle, stilin çeşitli unsurları arasında atmosfer, yapı, tasarım, malzeme, renk ve daha fazlası bulunur. Bununla birlikte, stilize edilmiş görüntü oluşturmanın veya stil transferinin birincil amacı, référence görüntüsünden veya référence görüntü alt kümesinden belirli bir stili hedef içerik görüntüsüne uygulamaktır.

Ancak, stilin geniş aantal özniteliği, araştırmacıların stilize edilmiş veri kümelerini toplamasını, stili doğru bir şekilde temsil etmesini ve transferin başarısını değerlendirmesini zorlaştırır. Önceden, difüzyon süreci temelinde fine-tuning yapan modeller ve çerçeveler, ortak bir stile sahip görüntü veri kümelerini fine-tune eder, bu da hem zaman alıcı hem de gerçek dünya görevlerinde sınırlı genelleme ile birlikte gelir, çünkü aynı veya neredeyse aynı stile sahip görüntü alt kümelerini toplamak zordur.

Mevcut yaklaşımın karşılaştığı zorluklarla birlikte, araştırmacılar stil transferi veya stilize edilmiş görüntü oluşturma için fine-tuning yaklaşımalarına ilgi gösterdiler ve bu çerçeveler iki farklı gruba ayrılabiliyor:

• Adaptörsüz Yaklaşımlar: Adaptörsüz yaklaşımlar ve çerçeveler, difüzyon süreci içinde self-attention gücünü kullanır ve paylaşılan bir dikkat işlemi uygulayarak, référence stil görüntülerinden anahtarlar ve değerler gibi temel öznitelikleri doğrudan çıkarabilir.

• Adaptörlü Yaklaşımlar: Adaptörlü yaklaşımlar ve çerçeveler, référence stil görüntülerinden ayrıntılı görüntü temsilini çıkarmak için tasarlanmış bir hafif modeli içerir. Çerçeve daha sonra bu temsilileri difüzyon sürecine becoming olarak entegre eder ve sonuç görüntü référence görüntüsünün istenen stil özellikleriyle uyumlu olmasını sağlar.

Ancak, vaatlerine rağmen, ayar-free yöntemler birkaç zorlukla karşılaşabilir. İlk olarak, adaptörsüz yaklaşım, self-attention katmanları içinde anahtar ve değerlerin değişimini gerektirir ve référence stil görüntülerinden türetilen anahtar ve değer matrislerini önceden yakalar. Doğal görüntülerde uygulandığında, adaptörsüz yaklaşım, DDIM veya Gürültü Difüzyon İmplicit Modeller gibi tekniklerle görüntü geri dönüştürme işlemini gerektirir. Ancak, DDIM veya diğer geri dönüştürme yaklaşımlarının kullanılması, renk ve doku gibi ince detayların kaybına neden olabilir, bu da stil bilgisinin üretilen görüntülerde azalmasına yol açar. Ayrıca, bu yaklaşımların eklediği ek adım, zaman alıcı bir işlemdir ve pratik uygulamalarda önemli dezavantajlar oluşturabilir. Diğer yandan, adaptörlü yöntemlerin birincil zorluğu, içerik sızıntısı ve stil yoğunluğu arasında dengeyi sağlamakta yatmaktadır.

Bu sınırlamaları ele almak için, InstantStyle çerçevesi, mevcut adaptörlü yöntemlere dayanan bir novel ayar-free mekanizması olarak tanıtıldı ve diğer dikkat tabanlı enjeksiyon yöntemleriyle sorunsuz bir şekilde entegre edilebiliyor. Ayrıca, InstantStyle çerçevesi, içerik ve stili etkili bir şekilde ayırmak için iki basit ancak etkili yol sunuyor ve bu da daha iyi bir stil göçü için ek yöntemlere veya eşleştirilmiş veri kümelerine ihtiyaç duymadan gerçekleştiriliyor.

Dahası, önceki adaptörlü çerçeveler, CLIP tabanlı yöntemlerde bir görüntü özellik çıkarma aracı olarak yaygın olarak kullanıldı ve bazı çerçeveler, özellik alanında özellik ayrışmasını uygulama olasılığını keşfetti. CLIP tabanlı yöntemlerde, görüntüler ve metinler paylaşılan bir özellik alanında bulunurlar, bu da metinle ilgili özellikleri çıkarmayı kolaylaştırır. InstantStyle çerçevesi, bu basit stratejileri uygulayarak, içerik sızıntısını önemli ölçüde azaltabiliyor ve böylece ağırlık ayarlamasına gerek kalmıyor.

Özetle, InstantStyle çerçevesi, référence görüntülerden içerik ve stili etkili bir şekilde ayırmak için iki basit ancak etkili mekanizma kullanıyor. InstantStyle çerçevesi, model bağımsızdır ve ayar-free bir yaklaşım olarak, stil transferi görevlerinde dikkat çekici bir performans gösteriyor ve aşağı akış görevleri için büyük bir potansiyele sahiptir.

Instant-Style: Metodoloji ve Mimari

Önceki yaklaşım tarafından gösterildiği gibi, ayar-free difüzyon modellerinde stil koşullarının enjeksiyonunda bir denge vardır. Görüntü koşulu yoğunluğu çok yüksekse, içerik sızıntısına neden olabilir, ancak görüntü koşulu yoğunluğu çok düşükse, stil yeterince belirgin olmayabilir. Bu gözlemdeki birincil neden, bir görüntüde stil ve içerik birbirine bağlıdır ve stilin belirsiz öznitelikleri nedeniyle, stili ve içeriği ayırmak zordur. Bu nedenle, her référence görüntüsü için dikkatli bir şekilde ağırlıklar ayarlanır, metin kontrolü ve stil yoğunluğu arasında denge sağlamak için.

Instant-Style çerçevesi, en basit yaklaşımı kullanarak benzer bir performansı elde ediyor. Stil özniteliklerinin belirsizliğine kıyasla, içerik doğal metinle temsil edilebilir, bu da Instant-Style çerçevesinin CLIP’ten metin kodlayıcısını kullanarak içerik metninin özelliklerini çıkarmasını sağlıyor. Aynı zamanda, Instant-Style çerçevesi, référence görüntüsünün özelliklerini çıkarmak için CLIP görüntü kodlayıcısını uyguluyor. CLIP’in global özelliklerinin karakterizasyonundan yararlanarak ve içerik metin özelliklerini görüntü özelliklerinden çıkararak, Instant-Style çerçevesi stili ve içeriği açık bir şekilde ayırmayı başarmış oluyor.

Instant-Style: Deneyler ve Sonuçlar

Instant-Style çerçevesi, Stable Diffusion XL çerçevesi üzerinde uygulanıyor ve IR-adapter’ı olarak bilinen bir önceden eğitilmiş adapter kullanarak metodolojisini doğruluyor ve yalnızca stil blokları için görüntü özelliklerini susturuyor. Instant-Style modeli ayrıca, IR-adapter’ı 4 milyon büyük ölçekli metin-görüntü eşleştirilmiş veri kümesinden baştan eğiterek, yalnızca stil bloklarını güncelliyor.

Genelleme yetenekleri ve dayanıklılığı test etmek için, Instant-Style çerçevesi, çeşitli stiller ve içeriklerle birlikte bir dizi stil transferi deneyi gerçekleştiriyor ve sonuçlar aşağıdaki görüntülerde görülebilir. Tek bir référence görüntüsü ve değişen.prompt’lar ile, Instant-Style çerçevesi yüksek kaliteli, tutarlı stil görüntü oluşturuyor.

Dahası, model yalnızca stil bloklarına görüntü bilgisini enjekte ettiğinden, içerik sızıntısı sorununu önemli ölçüde azaltabiliyor ve bu nedenle ağırlık ayarlamasına gerek kalmıyor.

Instant-Style çerçevesi ayrıca, ControlNet mimarisini kullanarak uzaysal kontrol ile görüntü tabanlı stil化 gerçekleştiriyor ve sonuçlar aşağıdaki görüntüde gösteriliyor.

Önceki state-of-the-art yöntemlerle karşılaştırıldığında, Instant-Style çerçevesi en iyi görsel etkileri gösteriyor.

Son Düşünceler

Bu makalede, Instant-Style adlı bir çerçeveyi ele aldık, bu çerçeve, référence görüntülerden içerik ve stili etkili bir şekilde ayırmak için iki basit ancak etkili strateji kullanıyor. InstantStyle çerçevesi, model bağımsızdır ve ayar-free bir yaklaşım olarak, stil transferi görevlerinde dikkat çekici bir performans gösteriyor ve aşağı akış görevleri için büyük bir potansiyele sahiptir. Instant-Style çerçevesi, stil ve içerik arasında optimal bir denge sağlıyor ve stil yoğunluğu ile metin kontrolü arasında bir denge kuruyor.