Stable Diffusion Web Kullanıcı Arayüzü veya SD-WebUI, Gradio kütüphanesini kullanarak tarayıcı arayüzü sağlayan Stable Diffusion modelleri için kapsamlı bir projedir. Bugün, AI portreleri ve görüntüleri oluşturmak için son kullanıcıların oluşturmasına olanak tanıyan EasyPhoto adlı yenilikçi bir WebUI eklentisi hakkında konuşacağız. EasyPhoto WebUI eklentisi, çeşitli şablonlar kullanarak AI portreleri oluşturur ve farklı fotoğraf stillerini ve çoklu değişiklikleri destekler. Ayrıca, EasyPhoto’nun yeteneklerini daha da artırmak için kullanıcılar, daha tatmin edici, doğru ve çeşitli sonuçlar için SDXL modelini kullanarak görüntüler oluşturabilir. Başlayalım.

EasyPhoto ve Stable Diffusion’a Giriş

Stable Diffusion çerçevesi, geliştiricilerin girdi metin açıklamalarına dayalı gerçekçi görüntüler oluşturmak için kullandığı popüler ve güçlü bir difüzyon tabanlı oluşturma çerçevesidir. Yetenekleri sayesinde, Stable Diffusion çerçevesi, görüntü outpainting, görüntü inpainting ve görüntü-görüntü çevirisi dahil olmak üzere geniş bir uygulama yelpazesi sunar. Stable Diffusion Web UI veya SD-WebUI, bu çerçeveden en popüler ve iyi bilinen uygulamalardan biridir. Gradio kütüphanesine dayalı bir tarayıcı arayüzü sunar ve Stable Diffusion modelleri için etkileşimli ve kullanıcı dostu bir arayüz sağlar. Görüntü oluşturmasında kontrolü ve kullanılabilirliği daha da artırmak için, SD-WebUI, birçok Stable Diffusion uygulamasını entegre eder.

SD-WebUI çerçevesinin sunduğu sağladığı kolaylık sayesinde, EasyPhoto çerçevesi geliştiricileri, EasyPhoto’yu tam bir uygulama yerine bir web eklentisi olarak yaratmaya karar verdi. Mevcut yöntemlerin genellikle kimlik kaybına veya görüntülere gerçekçi olmayan özellikler eklemesine kıyasla, EasyPhoto çerçevesi, Stable Diffusion modellerinin görüntü-görüntü yeteneklerini kullanarak doğru ve gerçekçi görüntüler oluşturur. Kullanıcılar, EasyPhoto çerçevesini WebUI içinde bir uzantı olarak kolayca kurabilir, böylece daha geniş bir kullanıcı kitlesine ulaşabilir. EasyPhoto çerçevesi, kullanıcıların kimlik rehberli, yüksek kaliteli ve gerçekçi AI portreleri oluşturmasına olanak tanır ve bu portreler, girdi kimliğiyle yakın bir benzerlik gösterir.

İlk olarak EasyPhoto, kullanıcıdan yüz için bir LoRA (Düşük Dereceli Uyarlama) modelini çevrimiçi eğitmek üzere birkaç fotoğraf yükleyerek dijital bir benzerini oluşturmasını ister. LoRA, düşük dereceli uyarlama sayesinde difüzyon modelini hızla ince ayarlar ve taban modelin belirli kullanıcının kimlik bilgilerini öğrenmesini sağlar. Eğitilmiş modeller daha sonra çıkarım için temel Stable Diffusion modeliyle birleştirilir. Çıkarım sırasında model, şablondaki yüz bölgelerini yeniden boyar; girdi ve çıktı görüntülerinin benzerliği çeşitli ControlNet birimleriyle doğrulanır.

EasyPhoto, sınırdaki görsel bozulmalar ve kimlik kaybı gibi sorunları gidermek için iki aşamalı bir difüzyon süreci kullanır. Böylece görsel tutarsızlıkları azaltırken kullanıcının kimliğini korur. Çıkarım hattı yalnızca portre üretimiyle sınırlı değildir; kullanıcının kimliğiyle ilişkili başka görüntüler de oluşturabilir. Belirli bir kimlik için LoRA modeli eğitildikten sonra çok çeşitli AI görüntüleri üretilebilir; sanal giysi denemeleri bunun uygulamalarından biridir.

Özetle, EasyPhoto çerçevesi

1. Üretilen görüntülerde yüzün aslına uygunluğunu korumak için birden fazla LoRA modelini entegre ederek yenilikçi bir yaklaşım önerir.
2. LoRA modellerini yüz kimliği ödülleri için optimize etmek amacıyla çeşitli pekiştirme öğrenme yöntemlerini kullanır.
3. Yüksek estetik ve benzeme ile AI fotoğrafları oluşturmak amacıyla iki aşamalı bir difüzyon tabanlı süreç önerir.

EasyPhoto: Mimarisi ve Eğitimi

Aşağıdaki şekil, EasyPhoto AI çerçevesinin eğitim sürecini gösterir.

Görüldüğü gibi, çerçeve önce kullanıcıdan eğitim görüntülerini girmesini ister, ardından yüz algılama gerçekleştirir. Yüz algılandığında, çerçeve, yüz bölgesine odaklanan belirli bir oran kullanarak girdi görüntüsünü kırpma işlemini gerçekleştirir. Ardından, çerçeve, cilt güzelleştirme ve görsel belirginlik algılama modelini kullanarak temiz ve net bir yüz eğitimi görüntüsü elde eder. Bu iki model, yüzün görsel kalitesini artırmada ve arka plan bilgilerinin kaldırılmasında kritik bir rol oynar, böylece eğitim görüntüsü ağırlıklı olarak yüzü içerir. Son olarak, çerçeve, bu işlenen görüntüleri ve girdi promtlarını kullanarak LoRA modelini eğitir, böylece model, kullanıcıya özgü yüz özelliklerini daha etkili ve doğru bir şekilde anlamlandırır.

Ayrıca, eğitim aşamasında, çerçeve, kritik bir doğrulama adımını içerir, burada çerçeve, kullanıcı girdi görüntüsü ile eğitilen LoRA modeli tarafından oluşturulan doğrulama görüntüsü arasındaki yüz kimliği açığını hesaplar. Doğrulama adımı, LoRA modellerinin birleşmesini sağlamakta temel bir süreçtir ve nihayetinde eğitilen LoRA çerçevesinin kullanıcıların dijital doppelganger’ine dönüşmesini sağlar. Ayrıca, optimal yüz kimliği puanına sahip doğrulama görüntüsü, yüz kimliği görüntüsü olarak seçilir ve bu görüntü,üretilen sonuçların benzerliğini artırmak için kullanılır.

Devam ederek, birleştirme işlemine dayanarak, çerçeve, LoRA modellerini olasılık tahmini ile eğitir, ancak yüz kimliği benzerliğini korumak ikincil bir hedef olarak belirler. Bu sorunu çözmek için, EasyPhoto çerçevesi, aşağı akış hedefini doğrudan optimize etmek amacıyla pekiştirme öğrenme tekniklerini kullanır.Sonuç olarak, LoRA modelleri tarafından öğrenilen yüz özellikleri, benzerliklerin artmasına yol açar ve şablonlar arasında genellemeyi gösterir.

Çıkarım Süreci

Aşağıdaki şekil, EasyPhoto çerçevesindeki bir kullanıcı kimliği için çıkarım sürecini gösterir ve üç bölüme ayrılmıştır.

• Yüz Ön İşleme için ControlNet referansını ve ön işlenmiş girdi görüntüsünü elde etmek.

• İlk Difüzyon kullanıcı girdisine benzeyen kaba sonuçlar oluşturmak için.

• İkinci Difüzyon sınırdaki görsel bozulmaları düzeltmek ve görüntüleri daha gerçekçi hale getirmek için.

Girdi olarak, çerçeve, eğitim doğrulama sırasında optimal yüz kimliği puanına sahip yüz kimliği görüntüsünü (face_id) ve çıkarım şablonunu alır. Çıktı, kullanıcıya benzeyen, yüksek ayrıntılı, doğru ve gerçekçi bir portredir. Bu süreçleri ayrıntılı olarak inceleyelim.

Yüz Ön İşleme

Bir çıkarım şablonuna dayalı AI portresini bilinçli akıl yürütme olmadan oluşturmak için, SD modelini kullanarak çıkarım şablonundaki yüz bölgesini boyamak mümkündür. Ayrıca, ControlNet çerçevesini bu sürece eklemek, kullanıcı kimliğini koruma yanı sıra oluşturulan görüntüler arasındaki benzerliği de artırır. Ancak, ControlNet’i doğrudan bölgesel boyama için kullanmak aşağıdaki sorunlara neden olabilir:

• Girdi ve Oluşturulan Görüntü Arasındaki Tutarsızlık: Şablon görüntüsündeki ana noktaların, yüz kimliği görüntüsündeki ana noktalarla uyumlu olmadığı açıktır, bu nedenle yüz kimliği görüntüsünü referans olarak kullanarak ControlNet’i kullanmak, çıktı için bazı tutarsızlıklara yol açabilir.

• Boyama Bölgesindeki Hatalar: Bir bölgeyi maskelemek ve ardından yeni bir yüzle boyamak, özellikle boyama sınırında dikkat çekici hatalara yol açabilir, bu da oluşturulan görüntünün gerçekçiliğini olumsuz etkiler.
• ControlNet Tarafından Kimlik Kaybı: Eğitim süreci ControlNet çerçevesini kullanmadığından, çıkarım aşamasında ControlNet’i kullanmak, eğitilen LoRA modellerinin girdi kullanıcı kimliğini koruma yeteneğini etkileyebilir.

Yukarıda belirtilen sorunları çözmek için, EasyPhoto çerçevesi üç prosedür önerir.

• Hizala ve Yapıştır: Yüz yapıştırma algoritmasını kullanarak, EasyPhoto çerçevesi, yüz kimliği ve şablon arasındaki yüz özellikleri arasındaki uyumsuzluğu gidermeyi amaçlar. İlk olarak, model yüz kimliği ve şablon görüntülerinin yüz özelliklerini hesaplar, ardından yüz özelliklerini hizalamak için kullanılan affine dönüşüm matrisini belirler. Sonuçlanan görüntü, yüz kimliği görüntüsünün aynı özelliklerine sahiptir ve şablon görüntüsüyle uyumludur.

• Yüz Birleştirme: Yüz Birleştirme, maskeli boyama sonucu oluşan sınırdaki görsel bozulmaları düzeltmek için kullanılan yeni bir yaklaşımdır ve ControlNet çerçevesini kullanır. Bu yöntem, EasyPhoto çerçevesinin harmonik kenarları korumasını sağlar ve böylece görüntü oluşturma sürecini yönlendirir. Yüz birleştirme algoritması, ayrıca şablonu ve kullanıcı görüntüsünü (gerçek kullanıcı görüntüsü) birleştirir, bu da birleştirilen görüntünün kenar sınırlarının daha iyi stabilizasyonuna yol açar ve ilk difüzyon aşamasında daha iyi bir çıktı sağlar.
• ControlNet Kılavuzlu Doğrulama: LoRA modelleri ControlNet çerçevesini kullanarak eğitilmediğinden, çıkarım aşamasında kullanmak, LoRA modelinin girdi kullanıcı kimliğini koruma yeteneğini etkileyebilir. EasyPhoto çerçevesinin genellemesini artırmak için, ControlNet çerçevesinin etkisini dikkate alır ve farklı aşamalardan LoRA modellerini entegre eder.

İlk Difüzyon

İlk difüzyon aşaması, şablon görüntüsünü kullanarak kullanıcı girdisine benzeyen bir görüntü oluşturur. Girdi görüntüsü, kullanıcı girdi görüntüsü ve şablon görüntüsünün birleşimidir,ve kalibre edilmiş yüz maskesi, girdi maskesidir. Görüntü oluşturmasını daha da kontrol altına almak için, EasyPhoto çerçevesi, üç ControlNet birimi entegre eder: ilk ControlNet birimi, birleştirilmiş görüntülerin kontrolünü sağlar, ikinci ControlNet birimi, birleştirilmiş görüntünün renklerini kontrol eder ve son ControlNet birimi, değiştirilen görüntünün gerçek zamanlı çoklu insan poz kontrolüdür (openpose) ve hem şablon görüntüsünün yüz yapısını hem de kullanıcı yüz kimliğini içerir.

İkinci Difüzyon

İkinci difüzyon aşamasında, yüz sınırındaki görsel bozulmalar iyileştirilir ve kullanıcıya, görüntüdeki belirli bir bölgeyi maskeleme esnekliği verilir, bu da o belirli alanda oluşturmanın etkinliğini artırır. Bu aşama, ilk difüzyon aşamasından elde edilen çıktı görüntüsünü, kullanıcı görüntüsü (roop) veya kullanıcı görüntüsünün sonucu ile birleştirir, böylece ikinci difüzyon aşaması için girdi görüntüsünü oluşturur. Genel olarak, ikinci difüzyon aşaması, oluşturulan görüntünün genel kalitesini ve ayrıntılarını artırma konusunda kritik bir rol oynar.

Çoklu Kullanıcı Kimlikleri

EasyPhoto’nun öne çıkan özelliklerinden biri, çoklu kullanıcı kimliklerini desteklemesidir ve aşağıdaki şekil, EasyPhoto çerçevesindeki çoklu kullanıcı kimlikleri için çıkarım sürecinin pipeline’ını gösterir.

Çoklu kullanıcı kimliği oluşturmayı desteklemek için, EasyPhoto çerçevesi önce çıkarım şablonunda yüz algılama gerçekleştirir. Bu çıkarım şablonları, her biri yalnızca bir yüz içeren ve geri kalanının beyaz olarak maskelenmiş birçok maske olarak bölünür, böylece çoklu kullanıcı kimliği oluşturması, bireysel kullanıcı kimliklerinin oluşturulmasına dönüştürülür. Çerçeve, kullanıcı kimliği görüntülerini oluşturduktan sonra, bu görüntüleri çıkarım şablonuna entegre eder, böylece şablon görüntülerini oluşturulan görüntülerle sorunsuz bir şekilde birleştirmeyi sağlar ve sonunda yüksek kaliteli bir görüntü oluşturur.

Deneyler ve Sonuçlar

EasyPhoto çerçevesini anladıktan sonra, şimdi EasyPhoto çerçevesinin performansını keşfetme zamanı.

Üstteki görüntü, EasyPhoto eklentisi tarafından oluşturulmuştur ve görüntü oluşturması için Style tabanlı SD modelini kullanır. Görüldüğü gibi, oluşturulan görüntüler gerçekçi ve oldukça doğru.

Eklenen üstteki görüntü, EasyPhoto çerçevesi tarafından Comic Style tabanlı SD modeli kullanılarak oluşturulmuştur. Görüldüğü gibi, comic fotoğrafları ve gerçekçi fotoğraflar oldukça gerçekçi ve kullanıcı girdilerine veya gereksinimlerine dayalı olarak yakın bir benzerlik gösterir.

Aşağıdaki eklenen görüntü, EasyPhoto çerçevesi tarafından Çoklu Kişi şablonu kullanılarak oluşturulmuştur. Açıkça görüldüğü gibi, oluşturulan görüntüler net, doğru ve orijinal görüntüye benzeyen bir kaliteye sahiptir.

EasyPhoto ile kullanıcılar, çeşitli AI portreleri oluşturabilir, korunan şablonları kullanarak çoklu kullanıcı kimliklerini oluşturabilir veya SD modelini kullanarak çıkarım şablonları oluşturabilir. Eklenen görüntüler, EasyPhoto çerçevesinin çeşitli ve yüksek kaliteli AI resimleri oluşturma yeteneğini gösterir.

Sonuç

Bu makalede, son kullanıcıların AI portreleri ve görüntüleri oluşturmasını sağlayan yeni bir WebUI eklentisi olan EasyPhoto’yu ele aldık. EasyPhoto WebUI eklentisi, rastgele şablonlar kullanarak AI portreleri oluşturur ve mevcut uygulamaları, farklı fotoğraf stillerini ve çoklu değişiklikleri destekler. Ayrıca, EasyPhoto’nun yeteneklerini daha da artırmak için, kullanıcılar SDXL modelini kullanarak daha tatmin edici, doğru ve çeşitli görüntüler oluşturabilir. EasyPhoto çerçevesi, Stable Diffusion taban modelini önceden eğitilmiş bir LoRA modeli ile birleştirerek yüksek kaliteli görüntüler üretir.

Görüntü oluşturucularına ilgi duyuyorsanız, en iyi AI portre oluşturucularının ve en iyi AI görüntü oluşturucularının listesini sunuyoruz ve bunlar kullanımı kolay ve teknik uzmanlık gerektirmeyen seçeneklerdir.