Stable Diffusion’ın Nasıl Bir Ana Akım Tüketici Ürünü Olabileceği

Ironik olarak, Stable Diffusion, dünya tarafından fırtına gibi alınan yeni AI görüntü sentezleme çerçevesi, aslında ne稳il ne de真的 “diffused” – en azından henüz değil.

Sistemlerin tüm khảlarını kapsayan bir dizi değişken ve sürekli değişen teklif, bir avuç geliştiricinin Discord’da çeşitli sohbetlerde en son bilgileri ve teorileri paylaşmasıyla ortaya çıkıyor ve bunların çoğunun kurulum prosedürleri çok uzak不是 “plug and play”.

Bunun yerine, genellikle komut satırı veya BAT-driven kurulumu gerektirir ve bu, GIT, Conda, Python, Miniconda ve diğer geliştirme çerçevelerini içerir – bunlar, genel tüketiciler arasında nadir bulunan yazılımlardır ve kurulumları sık sık antivirüs ve antimalware yazılımları tarafından tehlike olarak işaretlenir.

Standart Stable Diffusion kurulumunun gerektirdiği aşamaların sadece küçük bir seçimi. Dağıtımların çoğu ayrıca, kullanıcı makinesinde kurulu olan sürümlerle çakışebilecek belirli Python sürümlerini gerektirir – ancak bu, Docker tabanlı kurulumlar ve Conda ortamlarının kullanımı ile bir ölçüde bertaraf edilebilir.

Stable Diffusion topluluğunun SFW ve NSFW kanallarındaki mesajlar, Python betiklerini hackleme ve standart kurulumları iyileştirme veya çeşitli hataları çözme ile ilgili ipuçları ve püf noktalarıyla dolu.

Bu, ortalama tüketicinin, metin.promt’larından harika görüntüler oluşturmak istemesine rağmen, büyük ölçüde para kazandıran API web arayüzlerinin insafına kalmasına neden oluyor – bunların çoğu, sınırlı sayıda ücretsiz görüntü oluşturma sunuyor ve daha fazlasını satın almak için token satın alma gerektiriyor.

Ayrıca, bu web tabanlı tekliflerin çoğu, Stable Diffusion’u OpenAI’nin DALL-E 2’sinin sansürlediği hizmetlerden ayıran NSFW içeriğini (çoğu savaş gibi genel ilgi konularına ilişkin olabilecek) çıkarmayı reddediyor.

Stable Diffusion için ‘Photoshop’

Daha geniş dünya, #stablediffusion etiketinin günlük olarak doldurduğu, muhteşem, çıplak veya diğer dünya görüntülerine hayran kalıyor – ve aslında beklenen şey, ‘Stable Diffusion için Photoshop’ – Stability.ai’nin mimarisinin en iyi ve en güçlü özelliklerini, SD geliştirme topluluğunun çeşitli zeki yeniliklerini bir araya getiren, herhangi bir CLI penceresi, belirsiz ve değişen kurulum ve güncelleme rutinleri veya eksik özellikler olmadan, cross-platform kurulumu olan bir uygulama.

Şu anda, daha yetenekli kurulumların çoğunda, genellikle bir web sayfası ve bir komut satırı penceresi var ve URL, bir localhost bağlantı noktası.

FaceSwap ve DeepFaceLab gibi CLI-driven sentez uygulamalarına benzer şekilde, Stable Diffusion’un ‘prepack’ kurulumu, komut satırı köklerini gösteriyor ve arabirimi bir localhost bağlantı noktası (yukarıdaki resmin üst kısmına bakın) aracılığıyla erişiliyor ve bu, CLI tabanlı Stable Diffusion işlevselliği ile iletişim kuruyor.

Kuşkusuz, daha akıcı bir uygulama geliyor. Zaten Patreon tabanlı integral uygulamalar mevcut, GRisk ve NMKD gibi (aşağıdaki resme bakın) – ancak hiçbiri, bazı daha gelişmiş ve daha az erişilebilir Stable Diffusion uygulamalarının sunduğu özelliklerin tam kapsamını entegre etmedi.

Stable Diffusion’un erken, Patreon tabanlı paketleri, hafifçe ‘uygulama haline getirildi’. NMKD, CLI çıktısını GUI’ye doğrudan entegre eden ilk paket.

Şimdi, bu mucizevi açık kaynak harikasının daha da cilalı ve entegre bir uygulaması nasıl görünebilir ve hangi zorluklarla karşılaşabileceğini görelim.

Tamamen Finansmanlı Ticari Stable Diffusion Uygulaması için Yasal Konular

NSFW Faktörü

Stable Diffusion kaynak kodu, ticari yeniden uygulamaları ve türetilmiş eserlerin yapılmasına engel olmayan son derece esnek bir lisans altında yayınlandı.

Bu, Patreon tabanlı Stable Diffusion yapılarını ve Figma, Krita, Photoshop, GIMP ve Blender (ve diğerleri) için geliştirilen çok sayıda uygulama eklentisi ile birlikte, bir yazılım şirketi tarafından Stable Diffusion’u daha da geliştirilip, erişilebilir hale getirilmesinin önünde pratik bir engel yok.

Burada, böyle bir çabanın hemen karşılaştığı sorun, Stable Diffusion’un yerleşik NSFW filtresini (bir kod parçası) açıp açmama kararı.

‘NSFW Switch’ini Gizleme

Stability.ai’nin Stable Diffusion için açık kaynak lisansı, không kullanılabileceği uygulamalar için geniş bir liste içeriyor (muhtemelen pornografik içerik ve deepfakeleri içerir), ancak bir satıcı böyle bir kullanımı etkili bir şekilde yasaklayabilmesi için, NSFW filtresini bir Python dosyası yerine opak bir yürütülebilir dosya olarak derlemeli veya Python dosyası veya DLL’deki NSFW direktifini bir kontrol özeti karşılaştırması ile zorlaştırmalıdır.

Bu, uygulamayı, şu anda DALL-E 2’nin olduğu gibi, “hadım edilmiş” bir hale getirecektir ve ticari çekiciliğini azaltacaktır. Ayrıca, şüphesiz, bu kısıtlamaları bertaraf etmek için “doktorlanmış” bileşenler (orijinal Python çalışma zamanı öğeleri veya derlenen DLL dosyaları) ortaya çıkacaktır.

Sonuç olarak, bir satıcı, Stability.ai’nin birçok güncel Stable Diffusion dağıtımı için karakterize ettiği kötüye kullanım uyarısını tekrarlayabilir.

Ancak, küçük açık kaynak geliştiricilerin bu şekilde casual disclaimers kullanmaları, bir yazılım şirketinin Stable Diffusion’u tam özellikli ve erişilebilir hale getirmek için önemli zaman ve para yatırımının yanında çok daha fazla şey anlamına gelecektir.

Deepfake Sorumluluğu

Önceden de belirttiğimiz gibi, Stable Diffusion’un sürekli modellerinin eğitildiği 4.2 milyar görüntüden oluşan LAION-aesthetics veritabanı, birçok ünlünün görüntülerini içeriyor ve böylece kullanıcıların deepfake üretebilmesini sağlıyor.

Önceki makalemizden, Jennifer Connelly’nin kariyerinin dört on yılında dört aşaması, Stable Diffusion tarafından çıkarıldı.

Bu, genellikle “soyut” pornografi (gerçek insanları temsil etmeyen) oluşturulmasıyla ilgili ayrı ve daha tartışmalı bir konudur.

Çünkü birçok ABD eyaleti ve ülke, deepfake pornografi karşıtı yasalar geliştiriyor veya çıkarmış durumda, Stable Diffusion’un deepfake üretebilmesi, uygulamanın sansürlenmediği takdirde (yani pornografik materyal üretebiliyorsa) ünlü yüzlerini filtreleme yeteneğine sahip olması gerekebilir.

Bir yöntem, kullanıcı promt’larında kabul edilmeyecek ünlülerin adları ve bunlarla ilişkili kurgusal karakterlerle ilgili özel bir “kara liste” sağlamaktır.

Bu, yazılım üreticilerinin böyle bir işlevi entegre etmeleri gerekebilir, belki de varsayılan olarak devre dışı bırakılmış olarak, deepfake oluşturmasını önlemek için.

Bir kez daha, böyle bir işlevi decompile etmek ve tersine çevirmek mümkün olacak, ancak yazılım üreticisi, bu tür ters mühendisliğin yapılmaması gerektiğini iddia edebilir.

Dahil Edilebilecek Özellikler

Herhangi bir Stable Diffusion dağıtımı için beklenen temel işlevsellik, herhangi bir iyi finanse edilen ticari uygulamada da bulunması gereken özellikler arasında yer alır. Bunlar, metin promt’larından uygun görüntüler oluşturmayı (metin-görüntü); çizimler veya diğer görüntülerden yeni oluşturulan görüntülere rehberlik etmeyi (görüntü-görüntü); sistemin ne kadar “hayalci” olacağını ayarlamayı; render zamanı ile kalite arasında bir ticaret yapmayı ve diğer “temel” özellikleri içerir.

Stokastik Donma

Stable Diffusion, bir dönüşümü tekrar etmesi çok zor, çünkü herhangi bir promt veya kaynak görüntü (veya her ikisi) değiştirilirse.

Bu, EbSynth kullanarak Stable Diffusion’un dönüşümlerini gerçek videoya uygulamayı düşünenler için bir sorun.

Sınırlı hareket, EbSynth’i gerçekçi videoya dönüştürmek için etkili bir yol haline getirebilir. Kaynak: https://streamable.com/u0pgzd

Stable Diffusion, bir dizi görüntü dosyasından oluşan bir videoyu render ederek çalışır ve daha sonra bu görüntüleri yeniden birleştirebilir.

EbSynth sitesinden bir örnek, bir videoya küçük bir grup çerçeve boyanmış. EbSynth, bu çerçeveleri stillerini videoya uygulamak için kullanır.

Örnekte, Stable Diffusion’un aynı promt ve tohum ile üç ayrı dönüşümde, çok az değişim gösteren kaynak çerçevelerine rağmen, yüz tutarlı değildir.

Stable Diffusion, aynı promt ve tohum ile üç ayrı dönüşümde, çok az değişim gösteren kaynak çerçevelerine rağmen, yüz tutarlı değildir.

Bu, bir Stable Diffusion uygulamasının, her bir çerçevenin stokastik kodunu “dondurmasına” izin vererek, karakteristikleri mümkün olduğunca koruyabilmesi için büyük bir avantaj olacaktır.

Bir olasılık, uygulamanın, her bir çerçevenin dönüşümünü için stokastik kodunu “dondurmasına” izin vermesidir.

Bir Reddit kullanıcısı, webcam görüntüsünü ünlü insanlara dönüştürdü, ancak yalnızca tohumu koruyarak değil, aynı zamanda her bir dönüşüm için stokastik kodunu aynı tutarak.

Bulut Tabanlı Metinsel Dönüşüm

Bir karakterin veya nesnenin tutarlı bir şekilde oluşturulabilmesi için daha iyi bir çözüm, bir Metinsel Dönüşüm oluşturmaktır – bu, yalnızca beş adet etiketlenmiş görüntü temelinde birkaç saat içinde eğitilebilen 5KB’lik bir dosyadır.

Metinsel Dönüşümler, Stable Diffusion’un kullandığı büyük ve tam olarak eğitilmiş modelin ek dosyalarıdır ve özel bir ‘*’ promt ile çağrılabilir.

Görüntüler, uygun etiketler ile Metinsel Dönüşüme dönüştürülebilir ve özel token kelimeleri ile çağrılabilir.

Metinsel Dönüşümler, büyük modelin enormous veritabanından yararlanabilir ve modelin enorme bilgi birikiminden faydalanabilir.

Ancak, bir Metinsel Dönüşüm oluşturmak için yüksek miktarda VRAM gerekir – genellikle 12, 20 veya hatta 40GB.

Bulut hizmetleri, bu işlemi gerçekleştirmek için ortaya çıkıyor.

Bir Stable Diffusion uygulaması için, bu ağır işlemi şirketin bulut sunucularına geçirmek, bir monetizasyon stratejisi olabilir.

Ayrıca, görüntülerin ve metinlerin otomatik olarak etiketlenmesi ve biçimlendirilmesi, entegre bir ortamda otomatikleştirilebilir.

Esnek Promt Ağırlıkları

Birçok güncel uygulama, kullanıcıya bir metin promt’ının bir bölümüne daha fazla önem verme olanağı sağlar, ancak bu işlevsellik, uygulamadan uygulamaya oldukça farklıdır.

Örneğin, AUTOMATIC1111 tarafından geliştirilen Stable Diffusion çatalı, bir promt kelimesini vurgulamak için kare parantezleri veya parantezleri kullanır.

Kare parantezler ve/veya parantezler, bu Stable Diffusion promt ağırlıklarında kahvaltınızı dönüştürebilir, ancak her şekilde bir kolesterol kabusu.

Diğer uygulamalar, vurgulamak için ünlem işareti veya diğer semboller kullanır.

Sistem, ayrıca negatif promt ağırlıkları da dahil olmak üzere, her promt kelimesine ağırlık atama olanağı sağlamalıdır.

Outpainting

OpenAI, Stable Diffusion’un açık kaynaklı olmasının ardından, DALL-E 2 için “outpainting”i duyurdu – bu, bir görüntüyü sınırlarının ötesine uzatabilir.

Tabii ki, bu özellik, çeşitli formlarda Stable Diffusion için de uygulanmıştır.

Tile-based augmentation, bir görüntüyü sınırlarının ötesine uzatabilir.

Stable Diffusion, genellikle insan konularının başlarını (veya diğer önemli vücut parçalarını) keser.

Stable Diffusion’un “kesme” sorununa örnekler; outpainting, George’u yeniden resme koyabilir.

Outpainting, bu sorunu çözmek için bir çözüm olabilir.

Baglam Anlayan Etkili Maskleme

Maskleme, Stable Diffusion’da çok fazla sorun yaratabilir.

Örneğin, göz bebeklerini maskeleyip “mavi gözler” promt’u verdim, ancak sonuç, bir wolf resmiydi.

Semantik düzenleme, gürültüyü belirleyerek de mümkündür.

Gürültüyü belirleyerek, bir görüntüdeki belirli bir alanı değiştirebilirsiniz.

Fizyolojik Hatalar için Semantik Filtreler

Stable Diffusion, genellikle ek veya eksik uzuvlar oluşturur.

Bu, bir görüntüdeki anatomik hataları tespit etmek için bir sistem olabilir.

Stable Diffusion’un biyolojik hataları, her zaman hemen görünmeyebilir.

Bu tür hataları düzeltmek çok zor olabilir, bu nedenle bir Stable Diffusion uygulamasında, anatomik hataları tespit eden ve yeni bir render oluşturan bir sistem olabilir.

LAION Tabanlı Otomatik Yüz İyileştirme

GFPGAN, yüzleri iyileştirmek için kullanılır, ancak bu genellikle yüzün orijinal görünümünü bozar.

Bir Stable Diffusion uygulaması, yüzleri iyileştirmek için daha gelişmiş bir sistem olabilir.

Stable Diffusion, bir yüzü iyileştirebilir, ancak bu genellikle yüzün orijinal görünümünü bozar.

Uygulama İçi LAION Aramaları

Kullanıcılar, LAION veritabanını aramak için online araçlar geliştirdiler.

Bu, Stable Diffusion’un nasıl çalıştığını anlamak için faydalı olabilir.

Have I Been Trained, LAION veritabanını aramak için bir araç.

Stable Diffusion’un nasıl çalıştığını anlamak için faydalı olabilir.

Sonuç

Stable Diffusion, birçok olanak sunuyor, ancak bazı sınırlamaları da var.

Stable Diffusion, gelecekte daha da gelişebilir ve daha fazla olanak sunabilir.

Stable Diffusion, gelecekte daha da önemli bir rol oynayabilir.

Stable Diffusion, gelecekte daha da önemli bir araç olabilir.