Detektor Deepfake Mengejar Tanah Baru: Model Difusi Laten dan GAN

Opini  

Baru-baru ini, komunitas penelitian deteksi deepfake, yang sejak akhir 2017 telah disibukkan dengan kerangka kerja berbasis autoencoder yang memulai debutnya pada saat itu dengan kekaguman publik (dan kekecewaan), telah mulai mengambil minat forensik pada arsitektur yang kurang stagnan, termasuk model difusi laten seperti DALL-E 2 dan Stable Diffusion, serta output dari Jaringan Adversarial Generatif (GAN). Misalnya, pada Juni, UC Berkeley menerbitkan hasil penelitiannya tentang pengembangan detektor untuk output DALL-E 2 yang saat itu mendominasi.

Apa yang tampaknya mendorong minat yang tumbuh ini adalah lompatan evolusioner tiba-tiba dalam kemampuan dan ketersediaan model difusi laten pada 2022, dengan rilis DALL-E 2 pada musim semi, diikuti pada akhir musim panas oleh pengembangan terbuka Stable Diffusion oleh stability.ai.

GAN juga telah lama dipelajari dalam konteks ini, meskipun kurang intensif, karena sangat sulit untuk menggunakannya untuk merekayasa video yang meyakinkan dan rumit; setidaknya, dibandingkan dengan paket autoencoder yang sudah mapan seperti FaceSwap dan DeepFaceLab – dan sepupu live-streamingnya, DeepFaceLive.

Dalam kedua kasus, faktor pendorong tampaknya adalah prospek dari sprint pengembangan berikutnya untuk video sintesis. Awal Oktober – dan musim konferensi utama 2022 – ditandai dengan serangkaian solusi tiba-tiba dan tak terduga untuk berbagai masalah sintesis video yang telah lama ada: tak lama setelah Facebook merilis sampel dari platform text-to-video mereka, Google Research segera mengalahkan pujian awal itu dengan mengumumkan arsitektur Imagen-to-Video T2V baru, yang dapat menghasilkan footage resolusi tinggi (meskipun hanya melalui jaringan 7-lapisan upscalers).

Jika Anda percaya bahwa hal seperti ini datang dalam tiga, pertimbangkan juga janji misterius stability.ai bahwa ‘video akan datang’ ke Stable Diffusion, tampaknya kemudian tahun ini, sementara co-developer Runway telah membuat janji serupa, meskipun tidak jelas apakah mereka merujuk pada sistem yang sama. Pesan Discord dari CEO Stability Emad Mostaque juga berjanji ‘audio, video [dan] 3d’.

Apa yang tampaknya terjadi adalah bahwa dunia yang terhambat dari deepfake berbasis autoencoder, yang hanya dapat menggantikan bagian tengah wajah, mungkin akan ditinggalkan oleh generasi baru teknologi deepfake berbasis difusi – pendekatan populer, open source dengan potensi untuk memalsukan tidak hanya tubuh secara fotorealistik, tetapi juga adegan secara keseluruhan.

Gambar Bergerak

Dalam kedua kasus, faktor pendorong tampaknya adalah prospek dari sprint pengembangan berikutnya untuk video sintesis. Awal Oktober – dan musim konferensi utama 2022 – ditandai dengan serangkaian solusi tiba-tiba dan tak terduga untuk berbagai masalah sintesis video yang telah lama ada: tak lama setelah Facebook merilis sampel dari platform text-to-video mereka, Google Research segera mengalahkan pujian awal itu dengan mengumumkan arsitektur Imagen-to-Video T2V baru, yang dapat menghasilkan footage resolusi tinggi (meskipun hanya melalui jaringan 7-lapisan upscalers).

Jika Anda percaya bahwa hal seperti ini datang dalam tiga, pertimbangkan juga janji misterius stability.ai bahwa ‘video akan datang’ ke Stable Diffusion, tampaknya kemudian tahun ini, sementara co-developer Runway telah membuat janji serupa, meskipun tidak jelas apakah mereka merujuk pada sistem yang sama. Pesan Discord dari CEO Stability Emad Mostaque juga berjanji ‘audio, video [dan] 3d’.

Apa yang tampaknya terjadi adalah bahwa dunia yang terhambat dari deepfake berbasis autoencoder, yang hanya dapat menggantikan bagian tengah wajah, mungkin akan ditinggalkan oleh generasi baru teknologi deepfake berbasis difusi – pendekatan populer, open source dengan potensi untuk memalsukan tidak hanya tubuh secara fotorealistik, tetapi juga adegan secara keseluruhan.

Blade Runner

Dua makalah terbaru yang masing-masing membahas deteksi deepfake berbasis model difusi laten dan GAN adalah, DE-FAKE: Deteksi dan Atribusi Gambar Palsu yang Dihasilkan oleh Model Difusi Text-to-Image, sebuah kolaborasi antara CISPA Helmholtz Center for Information Security dan Salesforce; dan BLADERUNNER: Tindakan Cepat untuk Mengatasi Wajah StyleGAN yang Dihasilkan oleh AI, dari Adam Dorian Wong di Laboratorium Lincoln MIT.

Sebelum menjelaskan metode barunya, makalah tersebut mengambil waktu untuk meninjau pendekatan sebelumnya untuk menentukan apakah sebuah gambar dihasilkan oleh GAN (makalah tersebut secara khusus membahas keluarga StyleGAN dari NVIDIA ).

Metode ‘Brady Bunch’ – mungkin sebuah referensi yang tidak berarti bagi siapa pun yang tidak menonton TV pada 1970-an, atau yang melewatkan adaptasi film pada 1990-an – mengidentifikasi konten palsu GAN berdasarkan posisi tetap yang ditempati oleh bagian-bagian tertentu dari wajah GAN, karena sifat produksi yang monoton dan berulang.

Metode ‘Brady Bunch’ yang dikemukakan oleh siaran web dari SANS institute pada 2022: generator wajah GAN akan melakukan penempatan seragam yang tidak masuk akal dari fitur wajah tertentu, mengungkapkan asal foto, dalam beberapa kasus. Sumber: https://arxiv.org/ftp/arxiv/papers/2210/2210.06587.pdf

Arsitektur yang diusulkan dalam makalah baru ini bernama (mungkin melawan semua saran SEO) Blade Runner, merujuk pada tes Voight-Kampff yang menentukan apakah antagonis dalam waralaba fiksi ilmiah itu ‘palsu’ atau tidak.

Pipeline ini terdiri dari dua fase, fase pertama adalah analyzer PapersPlease, yang dapat mengevaluasi data yang dikumpulkan dari situs web wajah GAN yang dikenal seperti thispersondoesnotexist.com, atau gambar yang dihasilkan.

Modul kedua adalah detektor AmongUs. Sistem ini dirancang untuk mencari penempatan mata yang terkoordinasi dalam foto, sebuah fitur yang konsisten dari output wajah StyleGAN, yang ditandai dengan skenario ‘Brady Bunch’ yang dijelaskan di atas. AmongUs ditenagai oleh detektor landmark 68-standar.

Anotasi titik wajah melalui Intelligent Behaviour Understanding Group (IBUG), yang kode plotting landmark wajahnya digunakan dalam paket Blade Runner.

Blade Runner, menurut penulis, adalah solusi plug-and-play yang dimaksudkan untuk perusahaan atau organisasi yang tidak memiliki sumber daya untuk mengembangkan solusi deteksi deepfake dalam rumah, dan ‘tindakan sementara untuk membeli waktu untuk tindakan counter yang lebih permanen’.

Penulis juga mengakui bahwa StyleGAN kemungkinan akan berkembang melampaui kelemahan yang diketahui atau saat ini, dan perangkat lunaknya juga perlu berkembang bersamaan.

DE-FAKE

Arsitektur DE-FAKE bertujuan tidak hanya untuk mencapai ‘deteksi universal’ untuk gambar yang dihasilkan oleh model difusi text-to-image, tetapi juga untuk menyediakan metode untuk mengetahui mana model difusi laten (LD) yang menghasilkan gambar.

Kerangka kerja deteksi universal dalam DE-FAKE menangani gambar lokal, kerangka kerja hibrida (hijau), dan gambar dunia terbuka (biru). Sumber: http://export.arxiv.org/pdf/2210.06998

DE-FAKE dimaksudkan untuk menjadi algoritma-agnostik, sebuah tujuan yang lama diinginkan oleh peneliti anti-deepfake berbasis autoencoder, dan, saat ini, cukup dapat dicapai dalam hal sistem LD.

Tim peneliti menggunakan perpustakaan multimodal OpenAI Contrastive Language-Image Pretraining (CLIP) untuk mengekstrak embedding dari gambar LD ‘palsu’ dan melatih klasifikasi pada pola dan kelas yang diamati.

Dalam skenario ‘black box’, di mana potongan PNG yang menyimpan informasi tentang proses pembuatan telah lama dihapus oleh proses unggahan dan untuk alasan lain, peneliti menggunakan kerangka kerja BLIP dari Salesforce untuk ‘mengumpulkan’ gambar untuk struktur semantik yang mungkin dari prompt yang membuatnya.

Peneliti menggunakan Stable Diffusion, Latent Diffusion (itu sendiri merupakan produk diskrit), GLIDE dan DALL-E 2 untuk memopulasi dataset pelatihan dan pengujian dengan menggunakan MSCOCO dan Flickr30k.

Hasil tim peneliti tampaknya akan lebih berguna sebagai benchmark untuk iterasi dan proyek serupa di masa depan, daripada sebagai metrik keberhasilan proyek, mengingat lingkungan yang sangat volatil yang dioperasikannya, dan bahwa sistem yang dilawannya dalam makalah tersebut hampir tiga tahun yang lalu – dari saat adegan sintesis gambar masih sangat muda.

Tim peneliti menggunakan Stable Diffusion, Latent Diffusion, GLIDE, dan DALL-E 2 untuk memopulasi dataset pelatihan dan pengujian dengan menggunakan MSCOCO dan Flickr30k.

Peneliti juga menggunakan kerangka kerja BLIP dari Salesforce untuk ‘mengumpulkan’ gambar untuk struktur semantik yang mungkin dari prompt yang membuatnya.

Hasil peneliti menunjukkan bahwa DE-FAKE dapat mendeteksi gambar palsu yang dihasilkan oleh model difusi text-to-image dengan akurasi yang tinggi.

Pada saat yang sama, Stability telah mengindikasikan bahwa mereka memiliki roadmap yang jelas untuk V2 dan V3 dari sistem tersebut. Mengingat peristiwa-peristiwa utama dalam tiga bulan terakhir, setiap kelesuan korporat dari OpenAI dan pemain lain yang bersaing di ruang sintesis gambar kemungkinan telah menguap, yang berarti kita dapat mengharapkan laju kemajuan yang sama cepat juga di ruang sintesis gambar sumber tertutup.

First published 14th Oktober 2022.