Deepfake ve Görüntü Sentez Sistemlerinde Kullanılmaya Karşı Görüntüleri Kodlama

Büyüyen anti-deepfake araştırma sektöründeki en iyi bilinen araştırma hattı, video ve görüntü içeriğindeki yapayları veya deepfake edilmiş, sentezlenmiş veya başka bir şekilde tahrif edilmiş veya "düzenlenmiş" yüzlerin diğer sözde ayırt edici özelliklerini tanıyabilen sistemleri içerir.

Bu tür yaklaşımlar, aşağıdakiler de dahil olmak üzere çeşitli taktikler kullanır: derinlik algılama, video düzenliliği bozulması, monitör aydınlatmasındaki farklılıklar (potansiyel olarak derin sahte canlı görüntülü aramalarda), biyometrik özellikler, dış yüz bölgeleriVe hatta gizli güçler insan bilinçaltı sisteminden.

Bu ve benzeri yöntemlerin ortak noktası, konuşlandırıldıkları zaman, savaştıkları merkezi mekanizmaların, web'den kazınmış binlerce veya yüzbinlerce görüntü üzerinde başarılı bir şekilde eğitilmiş olmalarıdır - otomatik kodlayıcı sistemlerin bunlardan yararlanabileceği görüntüler. temel özellikleri kolayca türetebilir ve video çekimlerine veya sentezlenmiş görüntülere doğru bir şekilde yanlış bir kimlik uygulayabilen modeller oluşturabilir - hatta gerçek zamanda.

Kısacası, bu tür sistemler aktif hale geldiğinde, at çoktan kaçmıştır.

Deepfake/Sentez Mimarilerine Düşman Olan Görseller

daha fazla önleyici Deepfake ve görüntü sentezi tehdidine karşı tutum, bu sektörde daha az bilinen bir araştırma dizisi, tüm bu kaynak fotoğrafları oluşturmanın doğasında var olan olasılıkları içeriyor düşmanca AI görüntü sentez sistemlerine doğru, genellikle algılanamaz veya zar zor algılanabilir şekillerde.

Örnekleri arasında Sahte Etiketleyici, ABD ve Asya'daki çeşitli kurumların mesajları resimlere kodlayan bir 2021 önerisi; bu kodlamalar genelleştirme sürecine dirençlidir ve görüntüler web'den alındıktan ve en ünlüsü thispersondoesnotexist.com tarafından somutlaştırılan türde bir Üretken Düşman Ağı'na (GAN) eğitildikten sonra bile daha sonra kurtarılabilir ve onun çok sayıda türev.

FakeTagger, bir GAN'ı eğitirken genelleme sürecinden sağ çıkabilen bilgileri kodlayarak, belirli bir görüntünün sistemin üretici yeteneklerine katkıda bulunup bulunmadığının bilinmesini mümkün kılar. Kaynak: https://arxiv.org/pdf/2009.09869.pdf

ICCV 2021 için benzer şekilde başka bir uluslararası çaba başlatıldı üretken modeller için yapay parmak izleriStyleGAN2 gibi bir görüntü sentezi GAN'ının çıktısından yeniden kurtarılabilir "parmak izleri" üreten (aşağıdaki resme bakın).

Çeşitli aşırı manipülasyonlar, kırpma ve yüz değiştirme altında bile ProGAN'dan geçirilen parmak izleri kurtarılabilir durumda. Kaynak: https://arxiv.org/pdf/2007.08457.pdf

Bu konseptin diğer yinelemeleri şunları içerir: 2018 projesi IBM'den ve bir dijital filigran düzeni aynı yıl Japonya'dan.

Daha yenilikçi bir 2021 girişim Nanjing Havacılık ve Uzay Bilimleri Üniversitesi'nden bilim adamları, eğitim görüntülerini yalnızca yetkili sistemlerde etkili bir şekilde eğitecek, ancak genel bir görüntü sentezi eğitim boru hattında kaynak veri olarak kullanılırsa feci bir şekilde başarısız olacak şekilde "şifrelemeyi" amaçladı.

Etkili olarak tüm bu yöntemler steganografi kategorisine girer, ancak her durumda görüntülerdeki benzersiz tanımlama bilgilerinin, bir otomatik kodlayıcının veya GAN mimarisinin böyle bir şeyi atma şansı olmayacak şekilde görüntünün temel bir 'özelliği' olarak kodlanması gerekir. parmak izlerini 'gürültü' veya aykırı ve önemsiz veriler olarak değil, diğer yüz özellikleriyle birlikte kodlayacaktır.

Aynı zamanda, sürecin, sıradan izleyiciler tarafından kusurlu veya düşük kaliteli olarak algılanacak kadar görüntüyü bozmasına veya başka bir şekilde görsel olarak etkilemesine izin verilmemelidir.

TAFİM

Şimdi, yeni bir Alman araştırma çabası (Münih Teknik Üniversitesi ve Sony Europe RDC Stuttgart'tan), işlenmiş görüntüler üzerinde eğitilen derin sahte modellerin veya StyleGAN tipi çerçevelerin sırasıyla kullanılamaz mavi veya beyaz çıktı üreteceği bir görüntü kodlama tekniği önerdi. .

TAFIM'in düşük seviyeli görüntü pertürbasyonları, birkaç olası yüz bozulması/değiştirme türünü ele alır, görüntüler üzerinde eğitilen modelleri bozuk çıktı üretmeye zorlar ve yazarlar tarafından DeepFaceLive'ın gerçek zamanlı derin sahte akışı gibi gerçek zamanlı senaryolarda bile uygulanabilir olduğu rapor edilir. . Kaynak: https://arxiv.org/pdf/2112.09151.pdf

The kâğıtbaşlıklı TAFIM: Yüz Görüntüsü Manipülasyonlarına Karşı Hedefli Düşman Saldırıları, neredeyse algılanamayan bozulmaları görüntülere kodlamak için bir sinir ağı kullanır. Görüntüler eğitilip bir sentez mimarisine genelleştirildikten sonra, ortaya çıkan model, stil karıştırmada veya doğrudan yüz değiştirmede kullanılırsa giriş kimliği için renksiz çıktı üretecektir.

Web'i Yeniden Kodlamak..?

Bununla birlikte, bu durumda, bu popüler konseptin en son sürümünün ayrıntılarını ve mimarisini incelemek için burada değiliz, bunun yerine tüm fikrin uygulanabilirliğini göz önünde bulundurmak için buradayız - özellikle de kamuya açık kullanımla ilgili artan tartışma ışığında- gibi görüntü sentezi çerçevelerine güç sağlamak için kazınmış görüntüler Kararlı Difüzyonve müteakip aşağı akış yasal sonuçları ticari yazılım türetme sonunda (en azından bazı yetki alanlarında) AI sentez mimarilerine girmeye karşı yasal korumaya sahip olduğu kanıtlanabilecek içerikten.

Yukarıda açıklanan türden proaktif, kodlamaya dayalı yaklaşımlar hiç de küçük bir maliyet getirmez. En azından, aşağıdakiler gibi standart web tabanlı işleme kitaplıklarına yeni ve genişletilmiş sıkıştırma yordamları yerleştirmeyi içerirler: ImageMagick, çok büyük boyutlu orijinal kullanıcı görüntülerini hafif paylaşım ve ağ dağıtımı için daha uygun optimize edilmiş sürümlere dönüştürmek ve ayrıca kırpma gibi dönüşümleri etkilemek için görevlendirilmiş birçok sosyal medya yükleme arabirimi dahil olmak üzere çok sayıda yükleme işlemine güç sağlar ve diğer artırmalar.

Bunun ortaya çıkardığı birincil soru şudur: Böyle bir plan 'ileriye dönük' mü uygulanacak yoksa onlarca yıldır 'bozulmamış' olarak mevcut olabilecek tarihsel medyayı ele alan daha geniş ve geriye dönük bir dağıtım mı amaçlanacak?

Netflix gibi platformlar, ters değil daha verimli olabilen veya kullanıcı veya sağlayıcı faydaları sağlayabilecek yeni codec'lerle bir arka kataloğu yeniden kodlama pahasına; aynı şekilde, YouTube'un tarihi içeriğini H.264 codec'ine dönüştürmesi, görünüşe göre Apple TV'yi barındırmak içinLojistik açıdan anıtsal bir görev olan , ölçeğine rağmen engelleyici derecede zor görülmedi.

İronik bir şekilde, internetteki medya içeriğinin büyük bir bölümü eğitime direnen bir biçime yeniden kodlanmaya tabi olsa bile, etkili bilgisayarla görme veri setlerinin sınırlı kadrosu etkilenmeden kalacaktı. Bununla birlikte, filigranlı içerik mimarilerin dönüştürücü süreçlerine müdahale edeceğinden, muhtemelen bunları yukarı akış verileri olarak kullanan sistemler çıktı kalitesinde azalmaya başlayacaktır.

Siyasi Çatışma

Politik terimlerle, hükümetlerin yapay zeka geliştirmede geri kalmama kararlılığı ile internette bol miktarda kaynak olarak açıkça mevcut ses, video ve görüntü içeriğinin özel amaçlı kullanımı konusunda kamuoyunun endişelerine taviz verme kararlılığı arasında bariz bir gerilim var. dönüştürücü AI sistemleri için.

Resmi olarak Batılı hükümetler, bilgisayarlı görü araştırma sektörünün kamuya açık medyayı kullanma yeteneği konusunda hoşgörüye eğilimlidirler; özellikle de daha otokratik Asya ülkelerinin bazılarının, geliştirme iş akışlarını şu şekilde şekillendirmek için çok daha fazla hareket alanına sahip olmaları nedeniyle: kendi araştırma çabalarına fayda sağlar - faktörlerden sadece biri Çin'in AI'da küresel lider haline geldiğini öne sürüyor.

2022 yılının Nisan ayında, ABD Temyiz Mahkemesi onayladı LinkedIn'in devam eden protestolarına rağmen, halka açık web verilerinin araştırma amaçları için adil bir oyun olduğu dilek kullanıcı profillerinin bu tür işlemlerden korunması.

Bu nedenle yapay zekaya dayanıklı görüntüler sistem çapında bir standart haline gelmeyecekse, bazı ana eğitim verileri kaynaklarının bu tür sistemleri uygulamasını engelleyecek hiçbir şey yoktur, böylece kendi çıktıları gizli alanda verimsiz hale gelir.

Bu tür şirkete özgü dağıtımlardaki temel faktör, görüntülerin doğuştan dirençli antreman için. Blockchain tabanlı kaynak teknikleri ve aşağıdaki gibi hareketler İçerik Özgünlük Girişimi, bu tür dönüşümleri mümkün kılan mekanizmaları engellemekten çok, görüntünün sahte olduğunu veya 'styleGANned' olduğunu kanıtlamakla ilgilenir.

Rastgele Muayene

Daha sonra bir eğitim veri setine alınmış olabilecek bir kaynak görüntünün gerçek kaynağını ve görünümünü doğrulamak için blockchain yöntemlerini kullanmak için öneriler sunulmuş olsa da, bu tek başına görüntülerin eğitilmesini engellemez veya kanıtlamanın herhangi bir yolunu sağlamaz. Bu tür sistemlerin çıktılarından, görüntülerin eğitim veri setine dahil edilmesi.

Görüntüleri eğitimden hariç tutmaya yönelik bir damgalama yaklaşımında, inceleme için halka açık olan etkili bir veri kümesinin kaynak görüntülerine güvenmemek önemli olacaktır. Cevap olarak sanatçıların haykırışları Kararlı Difüzyon'un çalışmalarını liberal olarak yutması hakkında, web sitesi haveibeentrained.com kullanıcıların görüntüleri yüklemesine ve muhtemelen dahil edilip edilmediklerini kontrol etmesine olanak tanır. LAION5B Kararlı Difüzyona güç veren veri kümesi:

Kelimenin tam anlamıyla yakın zamana kadar bilgisayarla görü araştırmasının poster kızı olan 'Lenna', Stable Diffusion'a kesinlikle katkıda bulunuyor. Kaynak: https://haveibeentrained.com/

Bununla birlikte, örneğin, neredeyse tüm geleneksel deepfake veri kümeleri, internetteki video ve görüntülerden, yalnızca bir tür nöral olarak dirençli filigranlamanın türetilmiş görüntüleri oluşturmak için belirli görüntülerin kullanımını ortaya çıkarabileceği halka açık olmayan veritabanlarına rastgele çekilir. ve video.

Ayrıca, Stable Diffusion kullanıcıları, ince ayar yaparak (ek resim/metin çiftleriyle resmi model kontrol noktasının eğitimine devam ederek) veya belirli bir öğe veya kişi ekleyen Metin Tersine Çevirme yoluyla hiçbirinde görünmeyecek içerik eklemeye başlıyor. LAION'un milyarlarca görüntüsü arasında arama yapın.

Kaynağa Filigran Gömme

Kaynak görüntü filigranlamanın daha da uç potansiyel bir uygulaması, ticari kameraların ham yakalama çıktısına, videosuna veya görüntülerine belirsiz ve açık olmayan bilgilerin dahil edilmesidir. Her ne kadar konsept, ortaya çıkan multimedya korsanlığı 'tehdidine' bir yanıt olarak 2000'li yılların başında denenmiş ve hatta bir miktar güçlü bir şekilde uygulanmış olsa da, bu prensip, medya içeriğini makine öğrenimi eğitimine dirençli veya itici hale getirmek amacıyla da teknik olarak uygulanabilir. sistemler.

1990'ların sonlarına ait bir patent başvurusunda tartışılan bir uygulama, Ayrık Kosinüs Dönüşümleri steganografik 'alt görüntüleri' video ve hareketsiz görüntülere gömmek, rutinin 'fotoğraf ve video kameralar gibi dijital kayıt cihazları için yerleşik bir özellik olarak dahil edilebileceğini' öne sürüyor.

1990'ların sonlarına ait bir patent başvurusunda Lenna, gerektiğinde düzeltilebilecek gizli filigranlarla doludur. Kaynak: https://www.freepatentsonline.com/6983057.pdf

Daha az sofistike bir yaklaşım, görüntülere cihaz düzeyinde açıkça görülebilen filigranlar uygulamaktır - çoğu kullanıcı için çekici olmayan ve kaynak verileri koruyabilen ve bu tür markalama veya ekleme yapabilen sanatçılar ve profesyonel medya uygulayıcıları söz konusu olduğunda gereksiz olan bir özellik. uygun gördükleri şekilde yasaklar (en azından stok imaj şirketleri).

En azından bir kamera şu anda isteğe bağlı logo tabanlı filigran yerleştirmeye izin veriyor. izinsiz kullanım sinyali türetilmiş bir AI modelinde, AI aracılığıyla logo kaldırma oldukça önemsizVe hatta gelişigüzel ticarileştirilmiş.

İlk olarak 25 Eylül 2022'de yayınlandı.