Anderson’un Açısı
Stable Diffusion nasıl kitlesel bir tüketici ürününe dönüşebilir?

Öne çıkan noktalarAna akım bir Stable Diffusion uygulaması, karmaşık komut satırı kurulum ve bağımlılık…
Daha fazla göster
- Ana akım bir Stable Diffusion uygulaması, karmaşık komut satırı kurulum ve bağımlılık sorunlarını çözmek zorundadır.
- Ticari geliştiriciler, derin sahte (deepfake) oluşturma ve NSFW içerik filtrelerinden dolayı yasal risklerle karşı karşıyadır.
- Zamansal tutarlılık ve metinsel çevirme (textual inversion) gibi gelişmiş özellikler, tüketici kullanımı için bulut tabanlı işlem gerektirir.
İronik biçimde, Stable Diffusion, dünyayı kasıp kavuran yeni yapay zekâ tabanlı görüntü sentezleme sistemi, henüz ne istikrarlı ne de gerçekten yaygınlaşmış durumda.
Sistemin bütün yetenekleri, Discord’daki çeşitli tartışmalarda en yeni bilgileri ve teorileri hararetle paylaşan az sayıdaki geliştiricinin sürekli değişen çalışmalarına dağılmış durumda. Oluşturdukları veya değiştirdikleri paketlerin kurulum işlemlerinin çoğu “tak çalıştır” olmaktan çok uzak.
Bunun yerine genellikle komut satırı üzerinden veya BAT dosyalarıyla GIT, Conda, Python, Miniconda ve başka gelişmiş yazılım geliştirme araçlarını kullanarak kurulum yapmak gerekiyor. Sıradan tüketiciler arasında nadir görülen bu yazılım paketlerinin kurulumu, antivirüs ve kötü amaçlı yazılımdan koruma sağlayıcıları tarafından sıklıkla sistemin ele geçirildiğinin işareti olarak algılanıyor.

Standart bir Stable Diffusion kurulumu için gereken aşamaların yalnızca küçük bir bölümü. Bu dağıtımların çoğu, kullanıcının bilgisayarındaki sürümlerle çakışabilecek belirli Python sürümleri de gerektiriyor. Docker tabanlı kurulumlarla ve bir ölçüde Conda ortamlarıyla bu sorun aşılabiliyor.
Stable Diffusion’ın hem SFW hem NSFW topluluklarındaki mesaj dizileri, işlevleri geliştirmek veya sık görülen bağımlılık hatalarını ve diğer sorunları çözmek için Python betiklerini ve standart kurulumları değiştirmeye yönelik ipuçlarıyla dolu.
Bu da metin istemlerinden olağanüstü görüntüler oluşturmaya ilgi duyan sıradan tüketiciyi, sayıları artan ücretli web API’lerinin insafına bırakıyor. Bunların çoğu, jeton satın almayı zorunlu tutmadan önce yalnızca çok az ücretsiz görüntü üretimine izin veriyor.
Üstelik bu web tabanlı hizmetlerin neredeyse tamamı, Stable Diffusion’ı OpenAI’ın sansürlü DALL-E 2 hizmetinden ayıran NSFW içeriği üretmeyi reddediyor. Bu içeriklerin önemli bir bölümü, savaş gibi pornografik olmayan genel ilgi konularıyla da ilgili olabiliyor.
Stable Diffusion için bir Photoshop
Twitter’daki #stablediffusion etiketini her gün dolduran fantastik, müstehcen veya başka dünyalardan gelmiş gibi görünen görüntülerden etkilenen geniş kitlelerin beklediği şey, Stable Diffusion için bir Photoshop: Stability.ai mimarisinin en iyi ve güçlü işlevlerini, SD geliştirici topluluğunda ortaya çıkan yaratıcı yeniliklerle birleştiren, farklı platformlara kurulabilen bir uygulama. Üstelik açılır komut satırı pencereleri, anlaşılması güç ve sürekli değişen kurulum ve güncelleme işlemleri ya da eksik özellikler olmadan.
Bugün daha yetenekli kurulumların çoğunda, ayrı bir komut satırı penceresinin yanında, adresi bir localhost bağlantı noktasını gösteren, değişen ölçülerde şık bir web sayfası bulunuyor:

Komut satırıyla çalışan FaceSwap ve BAT dosyalarıyla çalışan DeepFaceLab gibi sentez uygulamalarına benzer biçimde, Stable Diffusion’ın “prepack” kurulumu komut satırı kökenini belli ediyor. Arayüze bir localhost bağlantı noktası üzerinden erişiliyor (yukarıdaki görselin üst kısmına bakın); bu arayüz, komut satırına dayanan Stable Diffusion işlevleriyle iletişim kuruyor.
Kuşkusuz daha kullanışlı bir uygulama yolda. Patreon üzerinden sunulan, indirilebilir ve bütünleşik birkaç uygulama şimdiden var; GRisk ve NMKD bunlara örnek (aşağıdaki görsele bakın). Ancak hiçbiri, daha gelişmiş fakat daha az erişilebilir Stable Diffusion uygulamalarının sunduğu işlevlerin tamamını henüz birleştirmiyor.

Patreon üzerinden sunulan erken Stable Diffusion paketleri, yalnızca kısmen tam bir uygulamaya dönüştürülmüş durumda. NMKD, komut satırı çıktısını doğrudan grafik arayüze entegre eden ilk paket.
Bu olağanüstü açık kaynak ürünün daha özenli ve bütünleşik bir uygulamasının nasıl görünebileceğine ve hangi zorluklarla karşılaşabileceğine bakalım.
İyi finanse edilmiş ticari bir Stable Diffusion uygulamasının hukuki meseleleri
NSFW etkeni
Stable Diffusion’ın kaynak kodu, son derece serbest bir lisansla yayımlandı. Bu lisans, kaynak kodu kapsamlı biçimde kullanan ticari yeniden uygulamaları ve türev çalışmaları yasaklamıyor.
Yukarıda anılan ve sayıları artan Patreon tabanlı Stable Diffusion paketleri ile Figma, Krita, Photoshop, GIMP ve Blender gibi uygulamalar için geliştirilen çok sayıda eklenti göz önüne alındığında, iyi finanse edilmiş bir yazılım şirketinin çok daha gelişmiş ve güçlü bir Stable Diffusion uygulaması geliştirmemesi için pratik bir neden bulunmuyor. Piyasa açısından bakıldığında, bu tür girişimlerin birkaçının şimdiden oldukça ilerlemiş olduğunu düşünmek için her türlü neden var.
Bu çabalar hemen bir ikilemle karşılaşıyor: Uygulama, çoğu Stable Diffusion web API’si gibi, sistemin yerleşik NSFW filtresini, yani bir kod parçasını, kapatmaya izin verecek mi?
NSFW anahtarını gizlemek
Stability.ai’ın Stable Diffusion için açık lisansı, sistemin kullanılamayacağı ve geniş yorumlanabilecek bir kullanım listesi içeriyor. Bu liste pornografik içeriği ve deepfake’leri de kapsayabilir. Ancak bir sağlayıcının bu kullanımı etkili biçimde yasaklamasının tek yolu, NSFW filtresini Python dosyasındaki bir parametre yerine içeriği görülemeyen bir yürütülebilir dosyaya derlemek ya da NSFW yönergesini içeren Python veya DLL dosyası için sağlama toplamı karşılaştırmasını zorunlu kılmak olurdu. Böylece kullanıcı ayarı değiştirirse görüntü oluşturulamazdı.
Bu, uygulamayı DALL-E 2’nin bugün olduğu gibi işlevleri kısıtlanmış hâle getirerek ticari çekiciliğini azaltırdı. Ayrıca bu bileşenlerin, ister özgün Python çalışma zamanı öğeleri ister Topaz’ın yapay zekâ ile görüntü iyileştirme araçlarında şu anda kullanılan derlenmiş DLL dosyaları olsun, tersine derlenmiş ve değiştirilmiş sürümleri kaçınılmaz olarak torrent ve hacker topluluklarında ortaya çıkabilirdi. Engelleyici öğeleri değiştirmek ve sağlama toplamı gerekliliklerini devre dışı bırakmak, sınırlamaları aşmaya yeterdi.
Sonunda sağlayıcı, mevcut Stable Diffusion dağıtımlarının çoğunun ilk açılışında görülen Stability.ai’ın kötüye kullanım uyarısını tekrarlamakla yetinebilir.
Ancak bugün bu tür gayriresmî sorumluluk uyarıları kullanan küçük açık kaynak geliştiricilerinin kaybedeceği şeyler, Stable Diffusion’ı eksiksiz ve erişilebilir kılmak için ciddi zaman ve para yatırmış bir yazılım şirketininkinden çok daha az. Bu nedenle şirketlerin meseleyi daha derinlemesine değerlendirmesi gerekiyor.
Deepfake sorumluluğu
Daha önce belirttiğimiz gibi, geliştirilmekte olan Stable Diffusion modellerinin eğitildiği 4,2 milyar görüntünün bir bölümünü oluşturan LAION-aesthetics veritabanında çok sayıda ünlü fotoğrafı bulunuyor. Bu, kullanıcıların ünlülerin deepfake pornografisi dahil olmak üzere deepfake içerikler oluşturmasını sağlıyor.

Önceki makalemizden: Jennifer Connelly’nin kırk yıllık kariyerindeki dört dönemin Stable Diffusion ile üretilmiş görüntüleri.
Bu, gerçek kişileri göstermeyen ve genellikle yasal olan “soyut” pornografi üretiminden ayrı ve daha tartışmalı bir mesele. Elbette bu tür görüntüler de eğitim materyallerindeki çok sayıda gerçek fotoğraftan çıkarılıyor.
Giderek daha fazla ABD eyaleti ve ülke deepfake pornografisine karşı yasalar hazırladığı veya yürürlüğe koyduğu için, Stable Diffusion’ın ünlü pornografisi üretebilmesi, tamamen sansürlenmemiş, yani pornografik materyal üretebilen ticari bir uygulamanın bile algılanan ünlü yüzlerini filtrelemesini gerektirebilir.
Bir yöntem, kullanıcı istemlerinde kabul edilmeyecek, ünlü adları ve bağlantılı kurgu karakterleri içeren yerleşik bir yasaklı terimler listesi sunmak olabilir. Kaynak veriler başka dilleri de içerdiğinden, bu ayarların yalnızca İngilizcede değil, birden fazla dilde uygulanması gerekebilir. Bir başka yaklaşım, Clarifai gibi şirketlerin geliştirdiği ünlü tanıma sistemlerini dahil etmek olabilir.
Yazılım üreticileri, bu işlevi yasa dışı kılabilecek yeni mevzuatı beklerken, tam bağımsız Stable Diffusion uygulamasının ünlü yüzleri üretmesini engellemeye yardımcı olacak bu yöntemleri, belki de başlangıçta kapalı olacak şekilde, sunmak zorunda kalabilir.
Elbette ilgili kişiler bu işlevleri de tersine derleyip etkisizleştirebilir. Ancak tersine mühendislik aşırı kolaylaştırılmadığı sürece, yazılım üreticisi bunun yetkisiz bir sabotaj olduğunu ileri sürebilir.
Dahil edilebilecek özellikler
Herhangi bir Stable Diffusion dağıtımındaki temel işlevlerin, iyi finanse edilmiş ticari bir uygulamada da bulunması beklenir. Bunlar arasında metin istemlerinden uygun görüntüler üretmek (metinden görüntüye); eskizleri veya başka görüntüleri yeni görüntüler için kılavuz olarak kullanmak (görüntüden görüntüye); sistemin ne kadar yaratıcı davranacağını ayarlamak; işlem süresi ile kalite arasında tercih yapmak ve görüntüleri/istemleri isteğe bağlı otomatik arşivlemek gibi diğer temel özellikler vardır. Ayrıca RealESRGAN ile isteğe bağlı standart büyütme ve en azından GFPGAN veya CodeFormer ile temel yüz düzeltme de beklenir.
Bu, oldukça temel bir kurulum. Şimdi geliştirilmekte veya genişletilmekte olan ve tam donanımlı, geleneksel bir Stable Diffusion uygulamasına eklenebilecek daha ileri özelliklere bakalım.
Stokastik dondurma
Önceki başarılı görüntü üretiminin seed değerini yeniden kullansanız bile, sonraki üretim için istemin veya kaynak görüntünün ya da her ikisinin herhangi bir bölümü değiştiğinde, Stable Diffusion’a aynı dönüşümü tam olarak tekrarlatmak son derece zordur.
Stable Diffusion dönüşümlerini gerçek videoya zaman içinde tutarlı biçimde uygulamak için EbSynth kullanmak istiyorsanız bu sorun yaratır. Ancak teknik, baş ve omuzları gösteren basit çekimlerde çok etkili olabilir:

Hareket sınırlı olduğunda EbSynth, Stable Diffusion dönüşümlerini gerçekçi videoya aktarmak için etkili bir araç olabilir. Kaynak: https://streamable.com/u0pgzd
EbSynth, az sayıdaki değiştirilmiş anahtar kareyi, görüntü dosyaları dizisine dönüştürülmüş bir videoya genelleyerek çalışır. Bu görüntüler daha sonra yeniden video olarak birleştirilebilir.

EbSynth sitesindeki bu örnekte, videodan alınan az sayıda kare sanatsal biçimde boyanmış. EbSynth bu kareleri stil kılavuzu olarak kullanarak videonun tamamını benzer biçimde değiştiriyor ve boyanmış stile uyduruyor. Kaynak: https://www.youtube.com/embed/eghGQtQhY38
Aşağıdaki örnekte soldaki gerçek sarışın yoga eğitmeni neredeyse hiç hareket etmese de, Stable Diffusion tutarlı bir yüzü korumakta zorlanıyor. Anahtar kare olarak dönüştürülen üç görüntü, aynı sayısal seed değerini kullansalar bile tamamen aynı değil.

Üç dönüşümde de aynı istem ve seed kullanıldığı, kaynak kareler arasında çok az fark bulunduğu hâlde, vücut kaslarının boyutu ve şekli değişiyor. Daha önemlisi yüz tutarsızlaşıyor; bu da olası bir EbSynth videosunda zamansal tutarlılığı engelliyor.
Aşağıdaki EbSynth/SD videosu, kullanıcının parmaklarını sırasıyla yürüyen bir pantolona ve ördeğe dönüştürerek oldukça yaratıcı bir sonuç verse de, pantolonun tutarsızlığı sorunu açıkça gösteriyor. Kaynak kareler birbirine benzese ve seed değişmese bile, Stable Diffusion farklı anahtar kareler arasında tutarlılığı koruyamıyor.

Stable Diffusion ve EbSynth yardımıyla bir erkeğin parmakları yürüyen bir adama ve ördeğe dönüşüyor. Kaynak: https://old.reddit.com/r/StableDiffusion/comments/x92itm/proof_of_concept_using_img2img_ebsynth_to_animate/
Videoyu oluşturan kullanıcı şöyle belirtiyor: İkisinden tartışmasız daha başarılı olan, ancak daha az çarpıcı ve özgün görünen ördek dönüşümü için yalnızca bir dönüştürülmüş anahtar kare gerekmiş. Buna karşılık yürüyen pantolon için 50 Stable Diffusion görüntüsü üretilmiş; bu da zamansal tutarsızlığı daha görünür kılmış. Kullanıcı, 50 anahtar karenin her birinde tutarlılık yakalamak için beş deneme gerektiğini de söylüyor.
Dolayısıyla gerçekten kapsamlı bir Stable Diffusion uygulamasının, özellikleri anahtar kareler arasında mümkün olduğunca koruyan bir işlev sunması büyük avantaj olurdu.
Bir seçenek, uygulamanın kullanıcıya her karedeki dönüşümün stokastik kodlamasını dondurma imkânı vermesi. Bugün bu ancak kaynak kodu elle değiştirerek yapılabiliyor. Aşağıdaki örnekte görüldüğü gibi, bu zamansal tutarlılığa yardımcı oluyor, ancak sorunu kesinlikle tamamen çözmüyor:

Bir Reddit kullanıcısı, kendi web kamerası görüntüsünü farklı ünlülere dönüştürmüş. Bunu yalnızca her Stable Diffusion uygulamasının koruyabildiği seed değerini sabit tutarak değil, her dönüşümde stochastic_encode() parametresinin aynı olmasını sağlayarak yapmış. Kod değiştirilerek elde edilen bu özellik, kolayca kullanıcıya sunulan bir açma-kapama seçeneğine dönüşebilir. Ancak tüm zamansal sorunları çözmediği açık. Kaynak: https://old.reddit.com/r/StableDiffusion/comments/wyeoqq/turning_img2img_into_vid2vid/
Bulut tabanlı metinsel tersine çevirme
Zaman içinde tutarlı karakter ve nesneler elde etmenin daha iyi bir yolu, bunları bir Metinsel Tersine Çevirme dosyasına işlemektir. Yalnızca beş etiketli görüntüyle birkaç saat içinde eğitilebilen bu 5 KB’lık dosya, özel bir * istemiyle çağrılabilir. Böylece, örneğin bir anlatıda kullanılacak yeni karakterlerin görünümü tutarlı kalabilir.

Uygun etiketlerle ilişkilendirilmiş görüntüler, Metinsel Tersine Çevirme yoluyla ayrı varlıklara dönüştürülebilir; özel belirteç sözcüklerle belirsizlik olmadan, doğru bağlam ve stilde çağrılabilir. Kaynak: https://huggingface.co/docs/diffusers/training/text_inversion
Metinsel Tersine Çevirme dosyaları, Stable Diffusion’ın kullandığı çok büyük ve tamamen eğitilmiş modele eklenir. Çağrı/istem sürecine dahil edilerek, modelin ürettiği sahnelere katılabilir ve modelin nesneler, stiller, ortamlar ve etkileşimler hakkındaki dev bilgi birikiminden yararlanabilirler.
Ancak Metinsel Tersine Çevirme eğitimi uzun sürmese de çok fazla VRAM gerektirir; mevcut çeşitli eğitimlerde 12, 20 ve hatta 40 GB’dan söz ediliyor.
Sıradan kullanıcıların çoğu bu GPU kapasitesine sahip olmayacağından, işlemi üstlenen bulut hizmetleri şimdiden ortaya çıkıyor. Hugging Face sürümü bunlardan biri. Stable Diffusion için Metinsel Tersine Çevirme üretebilen Google Colab uygulamaları bulunsa da, VRAM ve süre gereksinimleri Colab’ın ücretsiz katmanını kullananlar için işi zorlaştırabilir.
Gelecekteki tam donanımlı ve iyi finanse edilmiş, bilgisayara kurulan bir Stable Diffusion uygulaması açısından, bu ağır işi şirketin bulut sunucularına aktarmak açık bir gelir elde etme stratejisi gibi görünüyor. Bunun için düşük ücretli veya ücretsiz uygulamanın bu tür ücretli işlevler içermesi gerekir; önümüzdeki 6–9 ay içinde bu teknolojiden doğabilecek pek çok uygulamada bunun gerçekleşmesi muhtemel.
Ayrıca sağlanan görüntü ve metinlerin oldukça karmaşık etiketleme ve biçimlendirme süreci, bütünleşik bir ortamda otomatikleştirilebilir. Stable Diffusion’ın geniş dünyalarını keşfedebilen ve onlarla etkileşebilen benzersiz öğeler yaratmak, hem sıradan meraklılar hem genç kullanıcılar için son derece bağımlılık yaratıcı olabilir.
Esnek istem ağırlıkları
Bugün birçok uygulama, kullanıcının uzun bir metin isteminin bir bölümüne daha fazla ağırlık vermesine izin veriyor. Ancak yöntemler oldukça farklı ve çoğu zaman hantal veya sezgisel olmaktan uzak.
Örneğin çok popüler olan AUTOMATIC1111’in Stable Diffusion sürümünde, bir istem sözcüğünün değeri bir veya birden fazla yuvarlak paranteze alınarak azaltılabiliyor; ek vurgu için köşeli parantez kullanılabiliyor.

Stable Diffusion’ın bu istem ağırlığı sürümünde köşeli ve/veya yuvarlak parantezler kahvaltınızı dönüştürebilir, ancak iki durumda da sonuç bir kolesterol kâbusu.
Diğer Stable Diffusion sürümleri vurgu için ünlem işaretleri kullanıyor. En esnek olanlarıysa grafik arayüz üzerinden istemdeki her sözcüğe ağırlık atamaya izin veriyor.
Sistem ayrıca negatif istem ağırlıklarını da desteklemeli; yalnızca korku hayranları için değil, Stable Diffusion’ın gizli uzayında, sınırlı dil kullanımımızın ortaya çıkarabildiğinden daha az ürkütücü ve daha öğretici sırlar bulunabileceği için.
Görüntü dışına genişletme
Stable Diffusion’ın büyük yankı uyandırarak açık kaynak hâline gelmesinden kısa süre sonra OpenAI, duyurduğu “outpainting” işleviyle DALL-E 2’nin kaybettiği ilginin bir bölümünü geri almaya çalıştı, ancak büyük ölçüde başarısız oldu. Bu işlev, görüntüyü anlamsal mantığı ve görsel tutarlılığı koruyarak sınırlarının ötesine genişletiyor.
Doğal olarak, o zamandan beri bu işlev Stable Diffusion için çeşitli biçimlerde uygulandı; ayrıca Krita’ya da eklendi. Photoshop tarzı kapsamlı bir Stable Diffusion sürümünde kesinlikle bulunmalı.

Döşeme tabanlı genişletme, istemler, mevcut görüntü ve anlamsal mantık izin verdiği sürece standart 512×512 çıktıyı neredeyse sonsuza kadar büyütebilir. Kaynak: https://github.com/lkwq007/stablediffusion-infinity
Stable Diffusion 512×512 piksellik görüntülerle eğitildiği için ve başka çeşitli nedenlerle, istem açıkça “başa vurgu” gibi ifadeler içerse bile insanların başlarını veya başka önemli vücut parçalarını sık sık kadraj dışında bırakıyor.

Stable Diffusion’ın tipik “baş kesme” örnekleri; ancak görüntü dışına genişletme George’u yeniden resme dahil edebilir.
Yukarıdaki hareketli görseldeki türden bir genişletme uygulaması, yalnızca Unix kitaplıklarına dayansa da Windows’ta da uygulanabilir olmalı. Ayrıca bu sorun için tek tıklamayla veya tek istemle çalışan bir çözüm sunmalı.
Bugün bazı kullanıcılar, başı kadraj dışında kalan görüntülerin tuvalini yukarı doğru genişletiyor, baş bölgesini kabaca dolduruyor ve hatalı çıktıyı tamamlamak için img2img kullanıyor.
Bağlamı anlayan etkili maskeleme
Maskeleme Stable Diffusion’da kullanılan sürüme veya dala bağlı olarak çok değişken sonuçlar verebiliyor. Tutarlı bir maske çizmek mümkün olduğunda bile, belirtilen bölge çoğu zaman resmin genel bağlamını dikkate almayan içerikle yeniden dolduruluyor.
Bir keresinde bir yüz görüntüsündeki korneaları maskeledim ve maskeli alanı yeniden oluşturmak için “mavi gözler” istemini verdim. Sonuç, sanki kesilip çıkarılmış iki insan gözünün içinden uzaktaki tuhaf görünümlü bir kurdun resmine bakıyormuşum gibiydi. Frank Sinatra olmadığı için şanslı sayılırım.
Görüntüyü ilk oluşturan gürültüyü belirleyerek de anlamsal düzenleme yapılabiliyor. Böylece kullanıcı, görüntünün geri kalanına dokunmadan belirli yapısal öğeleri hedefleyebiliyor:

Görüntüyü ilk oluşturan gürültüyü ve hedef bölgeye katkı veren parçalarını belirleyerek, geleneksel maskeleme kullanmadan ve komşu içeriği değiştirmeden bir öğe düzenlenebiliyor. Kaynak: https://old.reddit.com/r/StableDiffusion/comments/xboy90/a_better_way_of_doing_img2img_by_finding_the/
Bu yöntem K-Diffusion örnekleyicisine dayanıyor.
Anatomik hatalar için anlamsal filtreler
Daha önce belirttiğimiz gibi, Stable Diffusion sık sık fazladan veya eksik uzuvlar üretebiliyor. Bunun başlıca nedeni, eğitimde kullanılan görüntülerdeki veri sorunları ve bunlara eşlik eden etiketlerin yetersizliği.

Okuldaki grup fotoğrafında dilini çıkaran yaramaz çocuk gibi, Stable Diffusion’ın biyolojik gariplikleri de her zaman hemen fark edilmiyor. Fazladan elleri veya erimiş uzuvları fark etmeden önce son yapay zekâ şaheserinizi Instagram’da paylaşmış olabilirsiniz.
Bu hataları düzeltmek o kadar zor ki, tam donanımlı bir Stable Diffusion uygulamasının anatomik tanıma sistemi içermesi yararlı olurdu. Sistem, anlamsal bölütlemeyle gelen görüntüde ciddi anatomik kusurlar olup olmadığını hesaplayabilir, yukarıdaki örnekte olduğu gibi kusurlu çıktıyı kullanıcıya göstermeden atıp yenisini oluşturabilirdi.

Elbette tanrıça Kali’yi veya Doktor Ahtapot’u oluşturmak, hatta uzuvları hatalı bir resmin etkilenmemiş bölümünü kurtarmak isteyebilirsiniz. Bu nedenle özellik isteğe bağlı bir anahtar olmalı.
Kullanıcılar telemetriyi kabul ederse, bu tür başarısız sonuçlar gelecekteki modellerin anatomik mantığı daha iyi anlamasına yardımcı olabilecek ortak bir federatif öğrenme çalışmasına anonim olarak aktarılabilir.
LAION tabanlı otomatik yüz iyileştirme
Stable Diffusion’ın gelecekte çözebileceği üç konuya önceki bakışımda belirttiğim gibi, ilk oluşturulan görüntülerde yüzleri “iyileştirmeye” çalışmak yalnızca herhangi bir GFPGAN sürümüne bırakılmamalı.
GFPGAN’ın iyileştirmeleri son derece tekdüze; sık sık tasvir edilen kişinin kimliğini zayıflatıyor. Üstelik yalnızca, resmin diğer kısımlarından daha fazla işlem süresi veya dikkat almadığı için zaten kötü üretilmiş olan bir yüz üzerinde çalışıyor.
Bu nedenle profesyonel düzeyde bir Stable Diffusion programı, YOLO gibi standart ve nispeten hafif bir kitaplıkla yüzü tanımalı, mevcut GPU gücünün tamamıyla yeniden oluşturmalı ve iyileştirilmiş yüzü tam bağlamlı orijinal çıktıya harmanlamalı ya da elle yeniden birleştirmek için ayrı kaydetmeli. Bugün bu işlem oldukça fazla el emeği gerektiriyor.

Stable Diffusion bir ünlünün yeterli sayıda görüntüsüyle eğitildiyse, GPU kapasitesinin tamamını sonraki işlemde yalnızca yüzü yeniden oluşturmaya ayırmak mümkün. Bu genellikle belirgin bir iyileşme sağlıyor; üstelik GFPGAN’dan farklı olarak yalnızca üretilmiş pikselleri düzeltmek yerine LAION eğitim verilerindeki bilgilerden yararlanıyor.
Uygulama içi LAION aramaları
Kullanıcılar, LAION veritabanında kavram, kişi ve tema aramanın Stable Diffusion’ı daha iyi kullanmalarına yardımcı olabileceğini fark ettikten sonra, haveibeentrained.com dahil çeşitli çevrimiçi LAION arama araçları oluşturuldu.

haveibeentrained.com’un arama işlevi, kullanıcıların Stable Diffusion’ı besleyen görüntüleri incelemesini ve sistemden üretmesini isteyebilecekleri nesnelerin, kişilerin veya fikirlerin eğitimde bulunmuş olma ihtimalini araştırmasını sağlıyor. Bu sistemler, ünlülerin nasıl kümelendiği ya da mevcut fikirden çıkan “sonraki fikir” gibi komşu varlıkları keşfetmek için de yararlı. Kaynak: https://haveibeentrained.com/?search_text=bowl%20of%20fruit
Bu web veritabanları çoğu zaman görüntülere eşlik eden bazı etiketleri gösterse de model eğitimi sırasında gerçekleşen genelleme süreci nedeniyle, belirli bir görüntüyü yalnızca etiketini istem olarak kullanarak çağırabilmek pek olası değil.
Ayrıca doğal dil işlemede durak sözcüklerin çıkarılması, kök bulma ve lemmalaştırma uygulamaları nedeniyle, görüntülenen ifadelerin çoğu Stable Diffusion eğitimine girmeden önce parçalanmış veya atlanmış durumda.
Yine de bu arayüzlerde estetik grupların birbirine bağlanma biçimi, son kullanıcıya Stable Diffusion’ın mantığı, hatta kişiliği hakkında çok şey öğretebilir ve daha iyi görüntüler üretmesine yardımcı olabilir.
Sonuç
Stable Diffusion’ın tam bir yerel masaüstü uygulamasında görmek istediğim başka pek çok özellik var. Bunlardan biri, standart Stable Diffusion sürecini tersine çevirerek, sistemin kaynak görüntü veya oluşturulmuş çıktıyla doğal olarak ilişkilendireceği sözcük ve ifadeleri elde etmeyi sağlayan yerleşik CLIP tabanlı görüntü analizi.
Ayrıca gerçek döşeme tabanlı büyütme de hoş bir ek olurdu; çünkü ESRGAN neredeyse GFPGAN kadar kaba bir araç. Neyse ki GOBIG’in txt2imghd uygulamasını entegre etme planları, bunu dağıtımlar genelinde hızla gerçeğe dönüştürüyor. Masaüstü sürümü için de açık bir tercih gibi görünüyor.
Discord topluluklarından gelen yerleşik istem sözlükleri ve kullanılabilecek sanatçı ile stil listeleri gibi diğer popüler talepler daha az ilgimi çekiyor. Ancak uygulama içi bir not defteri veya özelleştirilebilir ifade sözlüğü mantıklı bir ek olurdu.
Benzer şekilde, CogVideo ve başka projelerin harekete geçirdiği, Stable Diffusion’da insan merkezli animasyon üretimi hâlâ son derece başlangıç aşamasında. Gerçek insan hareketiyle ilgili zamansal öncüller üzerine daha temel araştırmalara bağımlı.
Şimdilik Stable Diffusion videoları tamamen psikedelik; ancak EbSynth ve diğer nispeten yeni metinden videoya girişimler aracılığıyla deepfake kuklacılığında yakın gelecekleri daha parlak olabilir. Runway’in son tanıtım videosunda sentezlenmiş veya değiştirilmiş insan bulunmadığını da belirtmek gerekir.
Bir başka yararlı işlev, Photoshop ile zahmetsiz görüntü aktarımı olurdu. Bu, Cinema4D’nin doku düzenleyicisinde ve benzer araçlarda uzun zamandır var. Görüntüler böylece uygulamalar arasında kolayca taşınabilir ve her uygulama en iyi yaptığı dönüşüm için kullanılabilir.
Son olarak ve belki de en önemlisi, tam bir masaüstü Stable Diffusion programı yalnızca sistemi çalıştıran temel modelin sürümleri olan kontrol noktaları arasında kolayca geçiş yapmamalı. Önceki resmi model sürümleriyle çalışan, ancak sonraki sürümlerde bozulabilecek özel Metinsel Tersine Çevirme dosyalarını da güncelleyebilmeli. Resmi Discord’daki geliştiriciler bunun mümkün olduğunu belirtmişti.
İronik biçimde, Stable Diffusion için böylesine güçlü ve bütünleşik bir araçlar sistemi kurmaya en uygun kuruluş olan Adobe, kendisini İçerik Özgünlüğü Girişimi’ne o kadar güçlü biçimde bağladı ki, bu şirket açısından halkla ilişkilerde geri adım gibi görünebilir. Bunun istisnası, Stable Diffusion’ın üretken gücünü OpenAI’ın DALL-E 2’de yaptığı kadar sınırlayıp, onu geniş stok fotoğraf koleksiyonunun doğal bir evrimi olarak konumlandırması olurdu.
İlk yayımlanma: 15 Eylül 2022.












