AI Model Censorship Çalışmaları İyi Çalışmıyor, Araştırma Açığa Çıkarıyor

AI görüntü oluşturucularını sansürleme girişimleri, yasaklanmış içeriklerin (örneğin pornografi, şiddet veya telif hakkı içeren stiller) eğitimli modellerden silinmesiyle başarısız oluyor: yeni bir çalışma, mevcut kavram silme yöntemlerinin ‘yasaklanmış’ özniteliklerin ilgili olmayan görsellere sızmalarına izin verdiğini ve ayrıca ‘silinmiş’ içeriğin yakından ilgili sürümlerinin görünmeye devam etmesini engellemediğini buldu.

Temel AI modellerini üreten şirketler, modellerinin kötüye kullanımını engelleyemezlerse, dava edilmek ve/veya kapatılmak riskiyle karşı karşıya kalırlar. Buna karşılık, yalnızca API aracılığıyla modellerini sunan satıcılar, Adobe’nin Firefly oluşturucu motoru gibi, modellerinin neler üretebileceği konusunda endişe duymazlar, çünkü hem kullanıcıların promt’ları hem de oluşan çıktı denetlenir ve arındırılır:

Adobe’nin Firefly sistemi, Photoshop gibi araçlarda kullanılır ve bazen bir oluşturucu isteğini hemen reddeder, hiçbir şey yaratılmadan önce promt’u engeller. Bazen de görüntüyü oluşturur, ancak sonra sonucu gözden geçirir ve engeller. Bu tür orta-süreli ret, ChatGPT’de de olabilir, model bir yanıt başlatır, ancak sonra politikayı ihlal ettiğini tanımladığında yanıtı keser – ve bu süreçte bazen aborted görüntüyü geçici olarak görebilirsiniz.

API tarzı filtreleri bu türde genellikle yerel olarak kurulan modellerde, vision-language modelleri (VLMs) dahil, kullanıcılar tarafından devre dışı bırakılabilir. Bu modelleri, kullanıcılar yerel olarak özel veri üzerinde eğitebilir.

Bu tür işlemleri devre dışı bırakmak genellikle basittir ve Python’da bir fonksiyon çağrısını yorumlamayı içerir (ancak bu tür hileler genellikle çerçeve güncellemelerinden sonra tekrar edilmeli veya yeniden icat edilmelidir).

İş açısından, bu bir sorun olabileceği anlaşılabilir, çünkü API yaklaşımı, şirketin kullanıcı akışını kontrol etmesini en üst düzeye çıkarır. Ancak, kullanıcıların bakış açısına göre, API yalnızca modellerinin maliyeti ve yanlış veya aşırı sansürleme riski, onları açık kaynak alternatiflerinin yerel kurulumlarını indirmeye ve özelleştirmeye yönlendirecektir – en azından, FOSS lisansı elverişli olduğunda.

Son olarak, self-censorship içermeyen önemli bir model, Stable Diffusion V1.5’tir, yaklaşık üç yıl önce yayınlandı. Daha sonra, eğitim kümelerinin CSAM verilerini içerdiği ortaya çıktı ve erişiminin yasaklanması için artan çağrılar yapıldı ve 2024’te Hugging Face deposundan kaldırıldı.

Kes!

Kırgınlar, bir şirketin yerel olarak kurulabilen oluşturucu AI modellerini sansürleme konusundaki ilgisinin, yalnızca yasal sorumluluk endişelerine dayandığını iddia ediyorlar, yani modellerinin yasadışı veya uygunsuz içerik oluşturmasına izin vermeleri halinde.

Gerçekten de, bazı ‘yerel dostu’ açık kaynak modeller, sansürden kurtulmak o kadar zor değil (örneğin, Stable Diffusion 1.5 ve DeepSeek R1).

Öte yandan, Black Forest Lab’ın Flux Kontext model serisinin yakın zamanda piyasaya sürülmesi, şirketin tüm Kontext serisini sansürlemeye yönelik önemli bir taahhütüyle karakterize edildi. Bu, dikkatli veri küratörlüğü ve eğitimden sonra hedeflenen ince ayar ile gerçekleştirildi ve NSFW veya yasaklanmış içeriğe karşı kalan herhangi bir kalıntı eğilimini ortadan kaldırmak için tasarlandı.

Burası, son 2-3 yıldır araştırma sahnesinin odaklandığı yer: veri küratörlüğü不足 olan modellerin hậu-facto düzeltilmesi üzerine bir vurgu ile.

Bu tür teklifler arasında Unified Concept Editing in Diffusion Models (UCE); Reliable and Efficient Concept Erasure of Text-to-Image Diffusion Models (RECE); Mass Concept Erasure in Diffusion Models (MACE); ve concept-Semi-Permeable structure is injected as a Membrane (SPM) yer alıyor:

2024 makalesi ‘Unified Concept Editing in Diffusion Models’, metin-görsel modellerinde birden fazla kavramın verimli bir şekilde düzenlenmesini sağlayan kapalı-form düzenleme sunuyor. Ancak bu yöntem incelemeye dayanabilir mi?

Aslında bu, verimli bir yaklaşım (hiper-ölçek koleksiyonlar gibi LAION çok fazla manuel küratörlük için çok büyüktür), ancak kesinlikle etkili bir yöntem değildir: bir ABD çalışması, bu düzenleme prosedürlerinin hiçbiri – post-eğitim AI modeli değişikliğinin durumunu temsil eden – gerçekten iyi çalışmıyor.

Yazarlar, bu Kavram Silme Tekniklerinin (CET’ler) genellikle kolayca atlanabileceğini ve hatta etkili olduklarında bile önemli yan etkileri olduğunu buldu:

Metin-görsel modeller üzerindeki kavram silme etkileri. Her sütun, silinecek kavram ile birlikte bir promt ve düzenleme öncesi ve sonrası oluşturulan çıktıları gösterir. Hiyerarşiler, kavramlar arasındaki ebeveyn-çocuk ilişkilerini gösterir. Örnekler, kavram silme işleminin ortak yan etkilerini vurgular, bunlar arasında alt kavramların silinmemesi, komşu kavramların bastırılması, yeniden ifade etme yoluyla kaçınma ve silinen özelliklerin ilgili olmayan nesnelere aktarılması yer alır.

Yazarlar, lider güncel kavram silme tekniklerinin bile kompozisyonel promtleri (örneğin, kırmızı araba veya küçük ahşap sandalye) engelleyemediğini; genellikle bir üst kavramı sildikten sonra bile alt sınıfların geçişine izin verdiğini (örneğin, araba veya otobüs gibi araç gibi bir üst kavramı sildikten sonra bile görünmeye devam ediyor); ve yeni sorunlar gibi özelliklerin sızmasına neden olduğunu (örneğin, mavi kanepeyi silmek, modelin mavi sandalye gibi ilgili olmayan nesneler oluşturmasına neden olabilir).

Testlerin %80’inde, geniş bir kavram gibi araç silmek, modelin araç örnekleri gibi daha spesifik araç örneklerini oluşturmasını engellemeyecekti.

Düzenleme, makaleye göre, ayrıca dikkat haritalarını (görselin neresine odaklanacağına karar veren modelin parçalarını) da saçaklıyor, çıktı kalitesini zayıflatıyor.

İlginç bir şekilde, makale, ilişkili eğitilmiş kavramları birer birer silmenin, hepsini aynı anda silmekten daha iyi çalıştığını buldu – ancak bu, incelenen düzenleme yöntemlerinin tüm eksikliklerini ortadan kaldırmadı:

Aşağıdaki resim, ardışık ve aynı anda silme stratejilerini karşılaştırıyor. Tüm ‘teddy bear’ varyantları aynı anda silindiğinde, model hala ayı benzeri nesneler oluşturuyor. Varyantları adım adım silmek daha etkili, modelin hedef kavramı daha güvenilir bir şekilde bastırmasına yol açıyor.

Araştırmacılar, bu sorunlara şu anda bir çözüm sunamazlar, ancak gelecekteki araştırma projelerinin kendi ‘sansürlü’ modellerinin beklendiği gibi çalışıp çalışmadığını anlamalarına yardımcı olmak için yeni bir veri kümesi ve benchmark geliştirdiler.

Makale şöyle diyor:

‘Önceki değerlendirmeler yalnızca bir dizi hedef ve korumalı sınıfa dayanıyordu; örneğin, ‘araba’ kavramını sildiğinizde, yalnızca modelin arabalar oluşturma yeteneği test ediliyordu. Concept silme işleminin kavram hiyerarşisi ve bileşiklik yönünü dikkate almadıklarını gösteriyoruz.

‘Kavram hiyerarşisi ve bileşiklik gibi kavramların yan etkilerini daha kapsamlı bir şekilde değerlendirmek için, kompozisyonel varyasyonları ve sistematik olarak kavram kaçırma, komşu kavramlara etkisi ve öznitelik sızma gibi etkileri içeren bir veri kümesi sunduk.

‘Model-agnostik ve kolayca entegre edilebilen benchmark’imiz, yeni Kavram Silme Teknikleri (CET’ler) geliştirmelerine yardımcı olmak için idealdir.’

CET’ler hedef kavram ‘kuş’u siler, ancak ‘kırmızı kuş’ gibi bileşik varyantlarını engellemez. ‘Mavi kanepe’yi sildikten sonra, tüm yöntemler mavi sandalye oluşturma yeteneklerini kaybeder. Başarılı sonuçlar yeşil tick simgesi, başarısızlıklar ise kırmızı çarpı simgesi ile işaretlenmiştir.

Çalışma, bir modelin latent uzayına eğitilen kavramların ne ölçüde iç içe geçtiğini ve entanglementın gerçekten ayrı ve keskin bir kavram silme işlemini kolaylaştırmayacağını gösteriyor.

Yeni makale, Diffusion Modellerinden Kavramların Silinmesinin Yan Etkileri olarak adlandırıldı ve Maryland Üniversitesi’nden dört araştırmacıdan geldi.

Yöntem ve Veri

Yazarlar, önceki çalışmaların kavramları diffusion modellerinden silmek iddialarını yeterli şekilde kanıtlamadığını düşünüyor ve diyor ki:

‘Silme iddiaları daha güçlü ve kapsamlı bir değerlendirmeye ihtiyaç duyar. Örneğin, ‘araç’ kavramını sildiğinizde, ‘araba’ ve ‘küçük kırmızı araba’ gibi alt kavramlar ve bileşik kavramlar da silinmelidir.

‘Ancak, bu kavram hiyerarşisi ve bileşiklik yönü mevcut değerlendirmede dikkate alınmıyor, yalnızca tek bir silinen kavramın doğruluğu üzerine odaklanılıyor. EraseBench yazarları, CET’lerin görsel olarak benzer ve yeniden ifade edilmiş kavramlar (örneğin, ‘kedi’ ve ‘kitten’) üzerindeki etkilerini değerlendirir, ancak kavram hiyerarşisi ve bileşikliği konusunda eksiktirler.’

Araştırmacılar, gelecekteki projeler için benchmark verileri sağlamak amacıyla Yan Etki Değerlendirmesi (SEE) veri kümesini oluşturdular – kavram silme yöntemlerinin nasıl çalıştığını test etmek için tasarlanmış büyük bir metin promt koleksiyonu.

Prompt’lar, bir nesnenin boyutu, rengi ve malzemesi gibi özellikleriyle tanımlanmış basit bir şablonu takip ediyor – örneğin, küçük kırmızı ahşap araba.

Nesneler MS-COCO veri kümesinden alındı ve üst sınıflar gibi araç ve alt sınıflar gibi araba veya otobüs ile birlikte özelliklerinin kombinasyonlarının oluşturduğu hiyerarşiye göre düzenlendi. Bu yapı, kavram silme işleminin farklı semantik seviyelerde, geniş kategorilerden spesifik varyantlara kadar test edilmesine olanak tanır.

Her promt, bir evet/hayır sorusu ile eşleştirildi, örneğin Resimde bir araba var mı? ve ayrıca görüntü sınıflandırma modelleri için bir sınıf etiketi olarak kullanıldı:

SEE veri kümesindeki promt kombinasyonları, boyut, renk ve malzeme özelliklerini değiştirerek oluşturuldu.

Her kavram silme yönteminin nasıl çalıştığını ölçmek için yazarlar, iki puanlama yöntemi geliştirdi: Hedef doğruluğu, silinen kavramların oluşturulan görsellerde hala görünür olup olmadığını izler; ve Koruma doğruluğu, modelin silinmesi amaçlanmayan materyali oluşturmaya devam edip etmediğini izler.

İki skor arasındaki denge, yöntemin yasaklanmış kavramı başarılı bir şekilde kaldırıp kaldıramadığını ve modelin daha geniş çıktısını bozup bozmadığını ortaya koymayı amaçlar.

Yazarlar, kavram silme işlemini üç başarısızlık modunda değerlendirdi: ilk olarak, bir kavramı silmenin (örneğin, araba) yakındaki veya ilişkisiz kavramları bozup bozmadığını ölçen bir test; ikinci olarak, bir üst kavramı (araç) sildikten sonra alt kavramları (kırmızı araba) kullanarak kavram silme işleminin atlanıp atlanmadığını test eden bir test.

Son olarak, silinen bir kavramın özelliklerinin (kanepe gibi) diğer nesnelere (saksı gibi) sızıp sızmadığını kontrol eden bir test yapıldı. Sonuçta elde edilen veri kümesi, 5056 kompozisyonel promt içeriyor

Testler

Önceki çerçeveler, daha önce belirtilen UCE, RECE, MACE ve SPM idi. Araştırmacılar, orijinal projelerden varsayılan ayarları benimsedi ve tüm modelleri 48GB VRAM ile bir NVIDIA RTX 6000 GPU’sunda ince ayarladı.

Stable Diffusion 1.4, literatürde en çok kullanılan modellerden biri, tüm testler için kullanıldı – belki de en eski SD modellerinin kavramsal kısıtlamaları yoktu ve bu nedenle bu özel araştırma bağlamında boş bir sayfa sunuyorlardı.

SEE veri kümesindeki her bir promt, hem düzenlenmemiş hem de düzenlenmiş model sürümleri aracılığıyla çalıştırıldı, her promt için sabit rastgele tohumlar kullanarak dört görüntü oluşturuldu, böylece silme etkilerinin birden fazla çıktı boyunca tutarlı olup olmadığını test etmek mümkün oldu. Her düzenlenmiş model, toplam 20.224 görüntü üretti.

Korunan kavramların varlığı, metin-görsel silme prosedürleri için önceki yöntemlere göre BLIP, QWEN 2.5 VL ve Florence-2base VQA modelleri kullanılarak değerlendirildi.

Yakındaki Kavramlara Etki

İlk test, bir kavramı silmenin yakındaki kavramları etkileyip etkilemediğini ölçtü. Örneğin, araba kavramını sildikten sonra, model kırmızı araba veya büyük araba gibi kavramları oluşturmamalıdır, ancak otobüs veya kamyon gibi ilgili kavramları ve çatal gibi ilişkisiz kavramları oluşturmaya devam etmelidir.

Analiz, CLIP gömme benzerliği ve öznitelik tabanlı düzenleme mesafesini kullanarak, her kavramın silinen hedefe ne kadar yakın olduğunu tahmin etmek için kullanıldı, böylece bozulmanın ne kadar weit yayıldığını量ify etmek mümkün oldu:

Hedef doğruluğu (solda) ve koruma doğruluğu (sağda) semantik benzerlik (üstte) ve bileşik mesafe (altta) karşılaştırması. İdeal bir kavram silme yöntemi, tüm mesafelerde düşük hedef doğruluğu ve yüksek koruma doğruluğu göstermelidir, ancak sonuçlar, mevcut tekniklerin temiz bir şekilde genelleşmediğini, daha yakın kavramların ya yetersiz bir şekilde silindiğini ya da orantısız bir şekilde bozulduğunu gösterir.

Bu sonuçlardan, yazarlar diyor ki:

‘Tüm CET’ler, silme işleminden sonra bile, kompozisyonel veya semantik olarak uzak varyantlarını oluşturmaya devam ediyor, bu ideal olarak gerçekleşmemelidir. UCE’nin, diğer CET yöntemlerine kıyasla [koruma kümesi] üzerinde daha yüksek doğruluk elde ettiği, semantik olarak ilgili kavramlar üzerinde minimal istenmeyen etkiye işaret ediyor.

‘Öte yandan, SPM en düşük doğruluğa ulaşıyor, bu da düzenleme stratejisinin kavram benzerliğine daha duyarlı olduğunu gösteriyor.’

Test edilen dört yöntemden, RECE hedef kavramı engellemek konusunda en etkiliydi. Ancak, yukarıdaki resmin sol tarafında gösterildiği gibi, tüm yöntemler kompozisyonel varyantları engellemekte başarısız oldu. kuş kavramını sildikten sonra, model hala kırmızı kuş gibi görseller oluşturdu, bu da kavramın kısmen intact kaldığını gösteriyor.

mavi kanepe kavramını sildikten sonra, model mavi sandalye oluşturmayı da engelledi, bu da yakındaki kavramlara zarar verdiğini gösteriyor.

RECE, kompozisyonel varyantları diğerlerinden daha iyi ele aldı, ancak UCE ilgili kavramları koruma konusunda daha iyi bir iş çıkardı.

Silinme Kaçırma

Silinme kaçırma testi, bir üst kavramın silinmesinden sonra, modelin hala alt kavramları oluşturup oluşturamadığını değerlendirdi. Örneğin, araç kavramını sildikten sonra, test, modelin bisiklet veya kırmızı araba gibi çıktılar üretebilir olup olmadığını kontrol etti.

Prompt’lar, hem doğrudan alt sınıfları hem de kompozisyonel varyantları hedef aldı, böylece kavram silme işleminin gerçekten tüm hiyerarşiyi mi yoksa daha spesifik tanımlamalar yoluyla mı atlatıldığını belirlemek için:

Stable Diffusion v1.4’te, silinen üst sınıfların alt sınıfları ve kompozisyonel varyantları aracılığıyla atlatılması, daha yüksek doğruluk daha fazla atlatmayı gösterir.

Düzenlenmemiş model, tüm üst sınıflarda yüksek doğruluk korudu, bu da gerçekten hiçbir hedef kavramı kaldırmadığını doğruladı. CET’ler arasında, MACE’de en az atlatma görüldü ve test edilen kategorilerin yarısından fazlasında en düşük alt sınıf doğruluğuna ulaşıldı. RECE de özellikle aksesuar, spor ve elektronik gruplarında iyi performans gösterdi.

Öte yandan, UCE ve SPM daha yüksek alt sınıf doğruluğuna sahipti, bu da silinen kavramların ilgili veya iç içe geçmiş promt’lar aracılığıyla daha kolay atlatılabileceğini gösterdi.

Yazarlar not ediyor:

‘Tüm CET’ler, hedef üst kavram (‘yiyecek’) gibi kavramları başarılı bir şekilde bastırır. Ancak, ‘yiyecek’ hiyerarşisinin öznitelik tabanlı çocukları ile promtlandıklarında (örneğin, ‘büyük pizza’), tüm yöntemler yiyecek öğeleri oluşturur.

‘Benzer şekilde, ‘araç’ kategorisinde, tüm modeller bisiklet üretmeye devam eder,尽管 ‘araç’ silinmiştir.’

Öznitelik Sızması

Üçüncü test, öznitelik sızması, silinen bir kavramın özelliklerinin diğer nesnelere aktarılıp aktarılmadığını kontrol etti.

Örneğin, kanepe kavramını sildikten sonra, model kanepe oluşturmayı bırakmalı ve silinen özelliklerini (örneğin, renk veya malzeme) diğer nesnelere aktarmamalıdır. Bu, modelin aynı promt’ta bulunan nesneleri oluştururken silinen özelliklerin yanlışlıkla ortaya çıkıp çıkmadığını kontrol ederek ölçüldü:

Kavram silme işleminden sonra öznitelik token’ları için dikkat haritaları. Sol: ‘bank’ kavramını sildikten sonra, ‘ahşap’ token’ı kuşa kayar, ahşap kuşlar oluşturur. Sağ: ‘kanepe’ kavramını sildikten sonra, kanepe oluşturma yeteneği kaybolmaz, ancak ‘büyük’ token’ı yanlışlıkla hamura atanır.

RECE, hedef öznitelikleri silme konusunda en etkili yöntemdi, ancak korunan promt’larda en fazla öznitelik sızmasına neden oldu, hatta düzenlenmemiş modeli bile geride bıraktı. UCE, diğer yöntemlerden daha az öznitelik sızmasına neden oldu.

Sonuçlar, yazarlara göre, güçlü silme ile yanlış yönlendirilmiş öznitelik aktarımı riski arasında bir trade-off gerektiğini gösteriyor.

Sonuç

Modelin latent uzayı, eğitim sırasında düzenli bir şekilde doldurulmaz, türetilen kavramlar eğitimli gömme ve konteynırları olarak birbirine bağlıdır: birbirinden ayrılmış net sınırlar ile değil, birbirine geçerek, silme işlemini zorlaştırır – bir pound eti çıkarmaya çalışmak gibi, kan kaybı olmadan.

Akıllı ve gelişen sistemlerde, temel olaylar – örneğin, parmağınızı yakmak ve sonra ateşi saygı ile tedavi etmek – daha sonra oluşturdukları davranışlar ve ilişkiler ile bağlantılıdır, bu da bir modeli, merkezi, potansiyel olarak ‘yasaklanmış’ bir kavramın sonuçlarıyla birlikte, ancak kavramın kendisinden yoksun bırakarak üretmeyi zorlaştırır.

* Yazarların inline alıntılarını hyperlink’e dönüştürmem.

İlk olarak 22 Ağustos 2025 Cuma günü yayınlandı