Görüntü sentezi denetim sistemlerini aşabilecek anlamsız dil

Columbia Üniversitesi’nin yeni araştırması, DALL-E 2, Imagen ve Parti gibi görüntü sentezi modellerinin zararlı veya tartışmalı görüntüler üretmesini engelleyen güvenlik önlemlerinin, uydurma sözcükler içeren bir tür hasmane saldırıya açık olduğunu gösteriyor.

Yazar, görüntü sentezi sistemindeki içerik denetimi önlemlerini aşabilecek iki yaklaşım geliştirdi. Bunların farklı mimarilerde bile dikkat çekici ölçüde tutarlı çalıştığını saptadı. Bu, zayıflığın yalnızca belirli bir sisteme özgü olmadığını ve metinden görüntü sentezinin en temel ilkelerinden bazılarıyla ilişkili olabileceğini gösteriyor.

İki yaklaşımın ilki ve daha güçlüsü macaronic prompting olarak adlandırılıyor. Macaronic terimi başlangıçta Esperanto veya Unwinese gibi birden fazla dilin karışımını ifade eder. Kültürel olarak en yaygın örnek belki de Urduca-İngilizce karışımıdır. Pakistan’da yaygın olan bu dil karıştırma biçimi, İngilizce isimlerle Urduca ekleri oldukça serbest biçimde birleştirir.

DALL-E 2’de bileşimsel macaronic prompting. Kaynak: https://arxiv.org/pdf/2208.04135.pdf

Yukarıdaki bazı örneklerde anlamlı sözcüklerin parçaları, İngilizce bir iskele olarak kullanılarak birbirine yapıştırılmıştır. Makaledeki başka örneklerde ise tek bir istem içinde birden fazla dil kullanılır.

Sistem, eğitildiği web kaynaklarının görece az seçilip denetlenmesi nedeniyle anlamsal olarak anlamlı yanıtlar verir. Bu kaynaklar çoğu zaman, özellikle görüntü sentezi için tasarlanmamış veri kümelerinden gelen çok dilli etiketler içerir. Hangi dilde olursa olsun, alınan her sözcük bir token olur; sözcük parçaları da alt sözcükler veya kısmi tokenlar hâline gelir. Doğal dil işlemede (NLP) bu tür kök bulma, dönüşüm işlemlerinde ortaya çıkabilecek uzun türemiş sözcüklerin kökenini ayırt etmeye yardımcı olur. Ancak aynı zamanda yaratıcı istemlerin yararlanabileceği dev bir sözcüksel Lego seti oluşturur.

Tek dildeki kaynaşmış sözcükler de dolaylı veya sıradan düzyazıdan farklı dil aracılığıyla görüntü elde etmede etkilidir. DALL-E 2 ve DALL-E Mini (Craiyon) gibi farklı mimarilerde çoğu zaman çok benzer sonuçlar alınabilir.

İkinci yaklaşım olan evocative prompting yönteminde, birleştirilen bazı sözcüklerin tonu, gösterilen daha çocuksu bir okul çocuğu Latincesini andırır: Monty Python’ın Life of Brian (1979).

Şaka değil: sahte Latince, DALL-E 2’den anlamlı bir yanıt almayı çoğu zaman başarıyor.

Yazar şöyle diyor:

“Bu yönteme ilişkin açık bir kaygı, yasaklı istem listelerine dayanan içerik filtrelerinin aşılmasıdır. İlke olarak macaronic prompting; zararlı, saldırgan, yasa dışı veya başka biçimde hassas içerik üretmek amacıyla bu filtreleri aşmanın kolay ve görünüşte güvenilir bir yolunu sunabilir. Şiddet, nefret, ırkçılık, cinsiyetçilik veya pornografi içeren görüntüler ile fikrî mülkiyeti ihlal eden ya da gerçek kişileri betimleyen görüntüler de buna dâhil olabilir.

“Hizmet olarak görüntü üretimi sunan şirketler, içerik politikaları doğrultusunda bu tür çıktıları önlemek için büyük özen göstermiştir. Dolayısıyla macaronic prompting, ticari görüntü üretiminde kullanılan güvenlik protokollerine yönelik bir tehdit olarak sistematik biçimde araştırılmalıdır.”

Yazar, bu açığa karşı birkaç çözüm öneriyor ve bunlardan bazılarının aşırı kısıtlayıcı bulunabileceğini kabul ediyor.

İlk olası çözüm en pahalısı: eğitimde kullanılan kaynak görüntüleri, daha fazla insan ve daha az algoritma denetimiyle daha dikkatli seçip kontrol etmek. Ancak makale, bunun görüntü sentezi sisteminin tek başlarına zararsız olabilecek iki görüntü kavramını saldırgan bir biçimde birleştirmesini engellemeyeceğini kabul ediyor.

İkinci öneri, görüntü sentezi sistemlerinin gerçek çıktılarını bir filtreden geçirerek sorunlu çağrışımları kullanıcıya sunulmadan önce durdurmasıdır. DALL-E 2 şu anda böyle bir filtre kullanıyor olabilir; ancak OpenAI, içerik denetiminin tam olarak nasıl çalıştığını açıklamadı.

Son olarak yazar, yalnızca kontrol edilip onaylanan sözcüklerin kavramları çağırmasına ve görüntülemesine izin veren bir sözlük izin listesi olasılığını değerlendiriyor. Bunun sistemin yararını aşırı ölçüde kısıtlayabileceğini de kabul ediyor.

Araştırmacı istemleri oluştururken yalnızca beş dilde — İngilizce, Almanca, Fransızca, İspanyolca ve İtalyanca — deney yaptı. Yine de dil sayısı artırıldığında bu tür hasmane saldırıların daha anlaşılmaz ve önlenmesi daha zor hâle gelebileceğine inanıyor. DALL-E 2 gibi çok büyük ölçekli modeller birden fazla dilde eğitiliyor; çünkü hafif filtrelenmiş veya ham girdiyi kullanmak, seçme ve denetlemenin dev maliyetini üstlenmekten daha kolay ve ek boyutluluk sistemin yararını artırabilir.

Makalenin başlığı Adversarial Attacks on Image Generation With Made-Up Words ve yazarı Columbia Üniversitesi’nden Raphaël Millière.

DALL-E 2’de anlaşılmaz dil

DALL-E 2’nin yazılı dili betimlemeye çalışırken ürettiği anlamsız metin hakkında daha önce bir öneri ortaya atılmıştı: Bu metin kendi başına bir “gizli sözlük” olabilir. Ancak bu gizemli dile ilişkin önceki araştırma, belirli görüntüleri çağırabilen uydurma karakter dizileri geliştirmek için bir yöntem sunmadı.

Makale, önceki çalışma hakkında şöyle diyor:

“Bu çalışma, belirli görüntüler oluşturan uydurma dizileri bulmak için güvenilir bir yöntem sunmuyor. DALL-E 2’nin görüntülere eklediği anlamsız metnin çoğu, yazıya geçirilip istem olarak kullanıldığında belirli görsel kavramlarla güvenilir biçimde ilişkilendirilemiyor. Bu durum, yaklaşımın zararlı veya saldırgan içerik denetimini aşmanın bir yolu olarak uygulanabilirliğini sınırlıyor. Bu nedenle metin yönlendirmeli görüntü üretim modellerinin kötüye kullanımı açısından özellikle kaygı verici bir risk oluşturmuyor.”

Buna karşılık yazarın iki yöntemi, anlamsız metnin ilgili ve anlamlı görüntüleri nasıl çağırabileceğini açıklarken, bugün istem mühendisliğine dönüşmekte olan geleneksel kuralları aşıyor.

Yazar örnek olarak, çalışmanın kapsadığı beş dilde kuş sözcüğünü ele alıyor: Almancada Vögel, İtalyancada uccelli, Fransızcada oiseaux ve İspanyolcada pájaros.

Bayt çifti kodlama (BPE) tokenlaştırması, CLIP uygulamasında kullanılıyor. Bu uygulama DALL-E 2’ye entegre edildiği için sözcükler aksan işareti olmayan İngilizceye tokenlaştırılıyor ve yaratıcı biçimde birleştirilerek bize anlamsız gelen uydurma sözcükler oluşturulabiliyor. Ancak bunlar DALL-E 2 için yapıştırılmış anlamlarını koruyor ve sistemin algıladığı amacı ifade etmesine olanak tanıyor:

Yukarıdaki örnekte kuş anlamına gelen iki yabancı sözcük anlamsız bir dizi oluşturacak biçimde yapıştırılıyor. Alt sözcüklerin kısmi ağırlığı sayesinde anlam korunuyor.

Yazar, alt sözcük bölümleme sınırlarına bağlı kalmadan da anlamlı sonuçlar alınabildiğini vurguluyor. Muhtemelen çalışmanın ana inceleme konusu DALL-E 2, alt sözcük sınırlarının anlamlarını yok etmeden bulanıklaşmasına izin verecek kadar iyi genelleme yapmış durumda.

Geliştirilen yaklaşımları daha ayrıntılı göstermek için makale, aşağıdaki token sözcük listesini kullanarak çeşitli alanlarda macaronic prompting örnekleri sunuyor. Anlamsız melez sözcükler en sağda yer alıyor.

Yazar, aşağıdaki DALL-E 2 örneklerinin yalnızca en iyi sonuçlar arasından seçilmediğini belirtiyor:

Ortak dil

Makale, bu örneklerin birçoğunun hem DALL-E 2 hem de DALL-E Mini’de (artık Craiyon) eşit derecede iyi ya da en azından çok benzer çalıştığını gözlemliyor. Bu şaşırtıcı; çünkü DALL-E 2 bir difüzyon modeli, DALL-E Mini ise değil. İki sistem farklı veri kümelerinde eğitiliyor ve DALL-E Mini, DALL-E 2’nin tercih ettiği CLIP yerine BART tokenlaştırıcısını kullanıyor.

DALL-E Mini sonuçları, aynı anlamsız girdinin DALL-E 2’deki sonuçlarını gösteren önceki görüntüyle dikkat çekici ölçüde benzer.

Yukarıdaki ilk görüntülerde görüldüğü gibi macaronic prompting, daha karmaşık sahneler üretmek üzere sözdizimsel olarak doğru cümlelere de dönüştürülebilir. Ancak bu, kavramları birleştirmek için İngilizcenin iskele olarak kullanılmasını gerektirir. Böylece yöntemin görüntü sentezi çerçevesindeki standart sansür sistemlerine takılma olasılığı artar.

Makale, bir görüntü sentezi sisteminden ilgili içeriği almak üzere sözcükleri birbirine yapıştırma anlamındaki sözcüksel melezleştirmenin tek bir dilde de yapılabileceğini belirtiyor. Bunun için kaynaşmış sözcükler kullanılabilir.

Çağrışımlı istemler

Makalede ele alınan evocative prompting, kesin olarak alt sözcüklere, alt tokenlara veya kısmen ortak etiketlere dayanmayan sözcüklerle sistemden daha geniş bir yanıt çağırmaya dayanıyor.

Bir türü sahte Latincedir. Bu yöntem, başka kullanımlarının yanı sıra DALL-E 2’ye ilaç kavramını çağırması açıkça söylenmeden bile hayalî ilaç görüntüleri üretebilir:

Evocative prompting, olası coğrafi yerlere genel olarak çağrışım yapan anlamsız istemlerle de özellikle iyi çalışıyor ve DALL-E 2 ile DALL-E Mini’nin farklı mimarilerinde oldukça güvenilir sonuç veriyor:

DALL-E 2 ve DALL-E Mini’ye verilen bu istemlerdeki sözcükler gerçek adları çağrıştırıyor, ancak kendi başlarına tamamen anlamsız. Buna rağmen sistemler sözcüklerin havasını yakalamış.

Macaronic ve evocative prompting arasında bir miktar örtüşme var gibi görünüyor. Makale şöyle diyor:

“Eğitim verileri, model boyutu ve mimarisi arasındaki farklar, farklı modellerin voiscellpajaraux ve eidelucertlagarzard gibi istemleri, her iki yönteme de yanıt verdikleri kanıtlanmış olsa bile, macaronic veya evocative biçimde işlemesine yol açabilir.”

Makale şöyle sonuçlandırıyor:

“Boyut, mimari, tokenlaştırma süreci ve eğitim verileri dâhil çeşitli model özellikleri metin tabanlı hasmane saldırılara açıklığı etkileyebilse de, bu çalışmada tartışılan ilk bulgular bu saldırıların bazılarının yine de modeller arasında görece güvenilir biçimde çalışabileceğini gösteriyor.”

Bu yöntemlerle gerçek deneyler yapmanın önündeki en büyük engel, hizmeti sağlayan sistem tarafından tespit edilip engellenme riski olabilir. DALL-E 2, her kullanıcı hesabıyla bağlantılı bir telefon numarası gerektiriyor. Bu da mevcut denetim yöntemlerini aşma açısından böyle bir sözcüksel hackleme yönteminin sınırlarını gerçekten denemek için muhtemelen gerekecek kullan-at hesapların sayısını sınırlıyor. Şu anda DALL-E 2’nin başlıca koruması erişimin belirsizliği olmaya devam ediyor.

İlk yayımlanma tarihi: 9 Ağustos 2022.