İncelenmiş Stable Diffusion Modellerinden Eğitim Verilerini Çıkarmak

ABD’den yapılan yeni bir araştırmada, incelenmiş modellerden önemli eğitim veri kümelerini çıkarmak için bir yöntem sunulmaktadır.

Bu, bir sanatçının stilinin kopyalandığı veya telifli görsellerin kamu figürleri, telifli karakterler veya diğer içerikler için generatif modelleri eğitmek amacıyla kullanıldığı durumlarda yasal kanıtlar sağlayabilir.

Yeni makaleden: orijinal eğitim görselleri üst sırada, çıkarılan görseller alt sırada görülmektedir. Kaynak: https://arxiv.org/pdf/2410.03039

Bu tür modeller, ağırlıklı olarak civit.ai’nin devasa kullanıcı tarafından katkıda bulunulan arşivleri aracılığıyla ve daha az ölçüde Hugging Face deposu platformu aracılığıyla internet üzerinde yaygın olarak ve ücretsiz olarak mevcuttur.

Araştırmacılar tarafından geliştirilen yeni model FineXtract olarak adlandırılmaktadır ve yazarlar, bu görevde devlet sanatını başardıklarını iddia etmektedirler.

Makale gözlemlemektedir:

‘[Çerçevelik] kamu tarafından erişilebilen DM fine-tuned kontrol noktalarından fine-tuning verilerini çıkarma zorluğunu etkili bir şekilde ele alır. Ön eğitimli DM dağıtımlarından fine-tuning veri dağıtımlarına geçişi kullanarak, FineXtract, üretim sürecini fine-tuned veri dağıtımının yüksek olasılıklı bölgelerine doğru yönlendirir ve başarılı veri çıkarmayı sağlar.’

En sağda, eğitimde kullanılan orijinal görsel. İkincisi sağdan, FineXtract aracılığıyla çıkarılan görsel. Diğer sütunlar alternatif, önceki yöntemleri temsil etmektedir. Kaynak makale için daha iyi bir çözünürlük için lütfen kaynak makaleye başvurun.

Neden Önemlidir

Metin-Resim generatif sistemler için Stable Diffusion ve Flux gibi orijinal eğitilmiş modeller, son kullanıcılar tarafından indirilebilir ve DreamBooth uygulaması gibi teknikler kullanılarak ince ayar yapılabilir.

Daha da kolay bir şekilde, kullanıcı, neredeyse tam olarak ince ayarlanmış bir model kadar etkili olan çok daha küçük bir LoRA modeli oluşturabilir.

Civitai sitesinde ücretsiz olarak indirilebilen eğitilmiş bir LORA örneği. Bu tür bir model, birkaç dakika ila birkaç saat arasında yerel olarak kurulmuş açık kaynaklı yazılımlar kullanarak veya bazı daha esnek API tabanlı eğitim sistemleri aracılığıyla çevrimiçi olarak eğitim yapan meraklılar tarafından oluşturulabilir. Kaynak: civitai.com Source: civitai.com

2022’den bu yana, sadece 5-50 adet etiketli görsel sağlayarak ve kontrol noktasını (veya LoRA’yı) yerel olarak, Kohya ss gibi açık kaynaklı bir çerçeve kullanarak veya çevrimiçi hizmetler aracılığıyla eğitmek suretiyle, kimlik özgürlüğüne özgü ince ayarlanmış kontrol noktaları ve LoRA’lar oluşturmak çok kolay hale geldi.

Bu kolay deepfake yöntemi, son birkaç yıldır medyada ün kazanmıştır. Birçok sanatçı da eserlerinin generatif modellere aktarıldığını ve stilinin kopyalandığını görmüştür. Bu konular etrafındaki tartışma son 18 ay içinde ivme kazandı.

Kullanıcıların gerçek sanatçıların çalışmalarını taklit eden AI sistemleri oluşturabilmesi, son iki yıl içinde büyük bir tartışma ve çeşitli kampanyalara neden oldu. Kaynak: https://www.technologyreview.com/2022/09/16/1059598/this-artist-is-dominating-ai-generated-art-and-hes-not-happy-about-it/

İnce ayarlanmış bir kontrol noktasında veya bir LoRA’da hangi görsellerin kullanıldığını kanıtlamak zordur, çünkü genelleme süreci, küçük eğitim veri kümelerinden kimliği “soyutlar” ve eğitim verisinden örnekler üretmeyecektir (ancak aşırı uyarlama durumunda, eğitimi başarısız olarak düşünülebilir).

Bu, FineXtract’in devreye girdiği yerdir. Kullanıcı tarafından indirilen “şablon” difüzyon modelinin durumunu, ince ayarlanmış modele sonraki oluşturulan modelin durumuna karşılaştırarak, araştırmacılar eğitim verilerinin yüksek doğrulukta yeniden yapılandırılmasını başarmışlardır.

FineXtract, ince ayarlanmış bir modelden sadece %20’lik bir veri kümesini yeniden oluşturabiliyor olsa da, bu, bir kullanıcı tarafından telifli veya korunan materyalin generatif model oluşturmak için kullanıldığının kanıtları sunmak için genellikle gerekli olandan daha fazladır. Sağlanan örneklerin çoğunda, çıkarılan görsel bilinen kaynak materyale çok yakındır.

Etiketler gerekli olsa da, bu önemli bir engel değildir, çünkü:

Temel anahtar kelimeler genellikle, rastgele bir.prompt’tan 1000 iterasyon üzerinden L2-PGD saldırısı kullanarak ince ayarlanmış modelden kör olarak çıkarılabilir.

Kullanıcılar genellikle eğitim veri kümelerini, “kara kutu” tarzı eğitilmiş modelle birlikte sunmazlar. Araştırma için yazarlar, veri kümelerini gerçekten sağlayan makine öğrenimi meraklıları ile işbirliği yaptı.

Yeni makale Görünmeyenleri Açığa Çıkarma: Kişiselleştirilmiş Difüzyon Modellerini Eğitim Verilerini Açığa Çıkarmaya Yönlendirme olarak adlandırılmaktadır ve Carnegie Mellon ve Purdue üniversitelerinden üç araştırmacının eseridir.

Yöntem

“Saldırgan” (bu durumda, FineXtract sistemi), orijinal ve ince ayarlanmış model boyunca tahmin edilen veri dağıtımlarını karşılaştırır, yazarlar tarafından “model rehberliği” olarak adlandırılan bir süreçte.

Araştırmacıların yeni makalesinde geliştirilen “model rehberliği” aracılığıyla, ince ayar özellikleri haritalanabilir ve eğitim verisi çıkarılabilir.

Yazarlar açıklamaktadır:

‘İnce ayar过程inde, [difüzyon modelleri] öğrenilen dağılımını, ön eğitimli DM’lerin [dağılımından] ince ayarlanmış veri [dağılımına] doğru ilerletir.

‘Bu nedenle, ince ayarlanmış [difüzyon modellerinin] öğrenilen dağılımını parametreli olarak yaklaşık olarak hesaplarız.’

Bu şekilde, çekirdek ve ince ayarlanmış modeller arasındaki farkın toplamı, rehberlik sürecini sağlar.

Yazarlar ayrıca yorumlamaktadır:

‘Model rehberliği ile, “sahte-“[gürültü azaltıcı] simüle edebiliriz, bu da örnek alma sürecini ince ayarlanmış veri dağılımının yüksek olasılıklı bölgesine yönlendirmek için kullanılabilir.’

Rehberlik, kısmen 2023 outing Difüzyon Modellerinden Kavramları Silme benzeri bir zamanla değişen gürültüleme sürecine dayanır.

Elde edilen gürültü azaltma tahmini ayrıca muhtemel bir Sınıflandırıcı-Olmayan Rehberlik (CFG) ölçeği sağlar. Bu önemlidir, çünkü CFG, resim kalitesi ve metin.promptına sadakat üzerinde önemli bir etkiye sahiptir.

Çıkarılan görsellerin doğruluğunu artırmak için FineXtract, 2023 işbirliğinden Difüzyon Modellerinden Eğitim Verilerini Çıkarma yöntemini kullanır. Kullanılan yöntem, her bir üretilen görsel çiftinin benzerliğini, Özyönetimli Tanımlayıcı (SSCD) puanı tarafından tanımlanan bir eşiğe dayanarak hesaplamaktır.

Bu şekilde, kümeleme algoritması, FineXtract’in eğitim verilerine uygun olan çıkarılan görsellerin alt kümesini tanımlamalarına yardımcı olur.

Bu durumda, araştırmacılar, verilerini gerçekten sağlayan kullanıcılarla işbirliği yaptı. Makul bir şekilde söylenebilir ki, böyle bir veri olmadan, orijinalde gerçekten hangi görselin kullanıldığının kanıtlanması imkansız olurdu. Ancak, artık web’deki canlı görsellere veya yayınlanmış veri kümelerindeki görsellere karşı yüklenen görselleri yalnızca görsel içeriğine dayanarak eşleştirmek nispeten kolaydır.

Veri ve Testler

FineXtract’i test etmek için yazarlar, projenin kapsamında iki en yaygın fine-tuning senaryosunda, sanatsal stiller ve nitelik odaklı üretim (sonuncusu temel olarak yüz tabanlı konuları içermektedir) için few-shot fine-tuned modeller üzerinde deneyler gerçekleştirdiler.

WikiArt veri kümesinden her biri 10 görselle 20 sanatçı ve DreamBooth veri kümesinden her biri 5-6 görselle 30 konu rastgele seçtiler ve bu ilgili senaryoları ele aldılar.

DreamBooth ve LoRA, hedeflenen fine-tuning yöntemleri olarak kullanıldı ve testler için Stable Diffusion V1/.4 kullanıldı.

İki ölçek, üretilen görseller için kullanıldı: SSCD altında Ortalama Benzerlik (AS) ve Ortalama Çıkarma Başarı Oranı (A-ESR) – bu, önceki çalışmalarla büyük ölçüde uyumlu bir ölçüttür ve 0.7 puanı, eğitim verilerinin tamamen başarılı bir şekilde çıkarılmasını belirtmek için minimum olarak kabul edilir.

Önceki yaklaşımlar, doğrudan metin-görsel üretim veya CFG kullanmıştı, bu nedenle araştırmacılar FineXtract’i bu iki yöntem ile karşılaştırdı.

FineXtract ile önceki iki popüler yöntemlerin karşılaştırması sonuçları.

Yazarlar yorumlamaktadır:

‘Sonuçlar, FineXtract’in önceki yöntemlere göre önemli bir avantajını göstermektedir, AS’de yaklaşık 0.02 ila 0.05’lik bir iyileşme ve çoğu durumda A-ESR’nin ikiye katlanması ile.’

Yöntemin yeni verilere genellemesini test etmek için araştırmacılar, Stable Diffusion (V1.4), Stable Diffusion XL ve AltDiffusion kullanarak bir başka test gerçekleştirdiler.

Çeşitli difüzyon modelleri üzerinde FineXtract. WikiArt bileşeni için test, WikiArt’taki dört sınıfa odaklandı.

Görüldüğü gibi, FineXtract bu daha geniş testte de önceki yöntemlere göre bir iyileşme sağlayabilmiştir.

FineXtract ve önceki yaklaşımların çıkarılan sonuçlarının nitel bir karşılaştırması. Kaynak makale için daha iyi bir çözünürlük için lütfen kaynak makaleye başvurun.

Yazarlar gözlemlemektedir ki, bir fine-tuned model için kullanılan görsel sayısının artmasıyla, kümeleme algoritmasının etkili kalabilmesi için daha uzun bir süre boyunca çalıştırılması gerekir.

Araştırmacılar ayrıca, bu tür bir çıkarmanın önlenmesine yönelik çeşitli yöntemlerin geliştirildiğini ve bu nedenle FineXtract’i Cutout ve RandAugment yöntemleriyle geliştirilmiş verilerle test etti.

FineXtract’in, Cutout ve RandAugment tarafından korunan görseller üzerindeki performansı.

Yazarlar, bu iki koruma sisteminin eğitim veri kaynaklarını gizleme konusunda oldukça iyi performans gösterdiğini kabul etseler de, bu korumanın çıktı kalitesinde bir düşüşe neden olduğunu ve korumanın amacını ortadan kaldırdığını belirtmektedir:

Stable Diffusion V1.4 altında, savunma önlemleriyle fine-tuned edilen görüntüler – bu, görüntü kalitesinde önemli bir düşüşe neden olur. Kaynak makale için daha iyi bir çözünürlük için lütfen kaynak makaleye başvurun.

Makale sonuç olarak şunları belirtmektedir:

‘Deneylerimiz, yöntemin çeşitli veri kümeleri ve gerçek dünya kontrol noktaları boyunca sağlamlığını göstermektedir ve veri sızıntısı risklerini vurgulamakta ve telif ihlalleri için güçlü kanıtlar sunmaktadır.’

SONUÇ

2024, şirketlerin “temiz” eğitim verilerine olan ilgisinin önemli ölçüde arttığı yıl oldu; bu, AI’nin insanları değiştirmeye yönelik medyanın sürekli kapsamı ve bu şirketlerin kendi çıkarları için generatif modelleri yasal olarak korumak istemesi karşısında gerçekleşti.

Kendi eğitim verinizin temiz olduğunu iddia etmek kolaydır, ancak benzer teknolojilerle temiz olmadığını kanıtlamak da giderek daha kolay hale gelmektedir – bu, Runway ML, Stability.ai ve MidJourney (dâhil olmak üzere diğerleri) gibi şirketlerin yakın zamanda keşfettiği gibi.

FineXtract gibi projeler, AI’nin “vahşi batı” döneminin mutlak sona ermelerinin habercileri olarak görülebilir; burada, eğitilmiş bir gizil uzayın görünürde gizemli doğası bile hesaba katılabilir.

* Kolaylık olması açısından, artık “ince ayar ve LoRA”yı gerektiğinde varsayacağız.

İlk olarak 7 Ekim 2024 Pazartesi günü yayımlandı