Sudut Anderson

Detektor Deepfake Menjelajahi Ranah Baru: Model Difusi Laten dan GAN

Martin Anderson
Tambahkan Unite.AI ke sumber pilihan Anda di Google
Poin utamaRiset deteksi deepfake mengalihkan fokus ke model difusi laten seperti Stable Diffusion…
Lihat selengkapnya
  • Riset deteksi deepfake mengalihkan fokus ke model difusi laten seperti Stable Diffusion dan DALL-E 2.
  • Blade Runner menawarkan detektor GAN plug-and-play menggunakan pola landmark wajah untuk organisasi dengan sumber daya terbatas.
  • DE-FAKE bertujuan mendeteksi dan mengatribusikan gambar secara universal dari model difusi teks-ke-gambar menggunakan embeddings CLIP.

Opini  

Belakangan ini, komunitas riset deteksi deepfake, yang sejak akhir 2017 hampir sepenuhnya berkutat dengan kerangka berbasis autoencoder yang saat itu memukau (dan meresahkan) publik, mulai menaruh minat forensik pada arsitektur yang lebih dinamis, termasuk model difusi laten seperti DALL-E 2 dan Stable Diffusion, serta keluaran Generative Adversarial Networks (GAN). Misalnya, pada Juni UC Berkeley menerbitkan hasil riset pengembangan detektor untuk keluaran DALL-E 2 yang saat itu dominan.

Minat yang meningkat ini tampaknya didorong oleh lonjakan mendadak kemampuan dan ketersediaan model difusi laten pada 2022: peluncuran DALL-E 2 yang bersumber tertutup dan berakses terbatas pada musim semi, disusul pembukaan kode sumber Stable Diffusion oleh stability.ai yang menghebohkan pada akhir musim panas.

GAN juga telah lama diteliti dalam konteks ini, meski tidak seintensif itu, karena sangat sulit menggunakannya untuk menciptakan ulang manusia dalam video yang meyakinkan dan rumit; setidaknya dibandingkan paket autoencoder yang kini sudah mapan seperti FaceSwap dan DeepFaceLab – serta kerabat siaran langsung dari yang terakhir, DeepFaceLive.

Gambar Bergerak

Dalam kedua kasus, pendorongnya tampaknya adalah prospek percepatan pengembangan sintesis video berikutnya. Awal Oktober – dan musim konferensi besar 2022 – ditandai gelombang solusi mendadak dan tak terduga bagi berbagai kendala sintesis video yang sudah lama ada: baru saja Facebook merilis contoh platform teks-ke-video miliknya, Google Research segera mengalahkan sambutan awal itu dengan mengumumkan arsitektur Imagen-to-Video T2V baru yang mampu menghasilkan rekaman beresolusi tinggi (meski hanya melalui jaringan peningkat resolusi tujuh lapis).

Jika Anda percaya kejadian semacam ini datang bertiga, pertimbangkan pula janji misterius stability.ai bahwa video akan hadir di Stable Diffusion, tampaknya akhir tahun ini. Runway, salah satu pengembang Stable Diffusion, juga membuat janji serupa, meski belum jelas apakah keduanya merujuk pada sistem yang sama. Pesan Discord CEO Stability Emad Mostaque juga menjanjikan «audio, video [dan] 3d».

Dengan kemunculan mendadak beberapa kerangka pembangkitan audio baru (sebagian berbasis difusi laten) serta model difusi baru yang dapat menghasilkan gerakan karakter yang autentik, gagasan bahwa kerangka statis seperti GAN dan model difusi akhirnya akan menjadi pelengkap bagi kerangka animasi eksternal mulai mendapat perhatian nyata.

Singkatnya, dunia deepfake video berbasis autoencoder yang terbatas, yang secara efektif hanya dapat mengganti bagian tengah wajah, tampaknya mungkin tersisih pada waktu yang sama tahun depan oleh generasi teknologi deepfake berbasis difusi – pendekatan populer bersumber terbuka yang berpotensi memalsukan bukan hanya seluruh tubuh, melainkan seluruh adegan secara fotorealistis.

Mungkin karena itu komunitas riset anti-deepfake mulai memandang serius sintesis gambar dan menyadari kegunaannya lebih luas daripada sekadar menghasilkan foto profil LinkedIn palsu; dan jika dalam hal gerakan seiring waktu ruang laten yang sulit dikendalikan itu hanya mampu bertindak sebagai perender tekstur yang sangat baik, hal itu sebenarnya mungkin sudah lebih dari cukup.

Blade Runner

Dua makalah terbaru yang masing-masing membahas deteksi deepfake berbasis difusi laten dan GAN adalah DE-FAKE: Deteksi dan Atribusi Gambar Palsu yang Dihasilkan Model Difusi Teks-ke-Gambar, kolaborasi CISPA Helmholtz Center for Information Security dan Salesforce (CRM ); serta BLADERUNNER: Penanggulangan Cepat terhadap Wajah StyleGAN Sintetis (Buatan AI), karya Adam Dorian Wong dari Lincoln Laboratory MIT.

Sebelum menjelaskan metode barunya, makalah kedua meninjau pendekatan terdahulu untuk menentukan apakah gambar dihasilkan oleh GAN. Makalah ini secara khusus membahas keluarga StyleGAN NVIDIA.

Metode Brady Bunch – mungkin rujukan yang tidak berarti bagi orang yang tidak menonton televisi pada 1970-an atau melewatkan adaptasi film 1990-an – mengidentifikasi konten palsu GAN berdasarkan posisi tetap bagian-bagian tertentu wajah GAN akibat proses produksi yang berulang dan berpola.

Metode Brady Bunch yang dikemukakan dalam siaran web SANS Institute pada 2022: pembangkit wajah berbasis GAN menempatkan fitur wajah tertentu secara terlalu seragam sehingga dalam beberapa kasus mengungkap asal sintetis foto.

Metode Brady Bunch yang dikemukakan dalam siaran web SANS Institute pada 2022: pembangkit wajah berbasis GAN menempatkan fitur wajah tertentu secara terlalu seragam sehingga dalam beberapa kasus mengungkap asal sintetis foto. Sumber: https://arxiv.org/ftp/arxiv/papers/2210/2210.06587.pdf

Petunjuk lain yang berguna adalah ketidakmampuan StyleGAN yang sering terjadi untuk merender beberapa wajah sekaligus bila diperlukan (gambar pertama di bawah), lemahnya keselarasan aksesori (gambar tengah), serta kecenderungan menjadikan garis rambut sebagai awal topi dadakan (gambar ketiga).

Metode ketiga yang disoroti peneliti adalah penumpukan foto (contohnya dapat dilihat dalam artikel kami pada Agustus tentang diagnosis gangguan kesehatan mental berbantuan AI), yang memakai perangkat lunak penggabungan gambar seperti seri CombineZ untuk menggabungkan beberapa gambar menjadi satu, sering kali menampakkan kesamaan struktur dasar yang dapat menandakan sintesis.

Arsitektur yang diusulkan makalah baru ini dinamai (mungkin bertentangan dengan semua saran SEO) Blade Runner, mengacu pada tes Voight-Kampff untuk menentukan apakah antagonis dalam waralaba fiksi ilmiah itu palsu atau bukan.

Alur pemrosesan terdiri atas dua tahap. Yang pertama adalah penganalisis PapersPlease, yang dapat mengevaluasi data hasil pengambilan dari situs wajah GAN terkenal seperti thispersondoesnotexist.com atau generated.photos.

Meski versi kode yang dipangkas dapat diperiksa di GitHub (lihat di bawah), hanya sedikit rincian modul ini tersedia, selain penggunaan OpenCV dan DLIB untuk menandai dan mendeteksi wajah dalam materi yang dikumpulkan.

Modul kedua adalah detektor AmongUs. Sistem ini mencari posisi mata yang terkoordinasi dalam foto, ciri tetap keluaran wajah StyleGAN yang dicontohkan skenario Brady Bunch di atas. AmongUs menggunakan detektor standar dengan 68 titik penanda wajah.

Anotasi titik wajah dari Intelligent Behaviour Understanding Group (IBUG), yang kode pemetaan penanda wajahnya digunakan dalam paket Blade Runner.

Anotasi titik wajah dari Intelligent Behaviour Understanding Group (IBUG), yang kode pemetaan penanda wajahnya digunakan dalam paket Blade Runner.

AmongUs mengandalkan penanda yang telah dilatih berdasarkan koordinat Brady Bunch yang diketahui dari PapersPlease, dan dimaksudkan untuk memeriksa sampel langsung gambar wajah StyleGAN yang tersedia di web.

Menurut penulis, Blade Runner merupakan solusi siap pakai bagi perusahaan atau organisasi yang kekurangan sumber daya untuk mengembangkan sendiri deteksi deepfake semacam ini, sekaligus langkah sementara untuk menyediakan waktu bagi penanggulangan yang lebih permanen.

Faktanya, dalam sektor keamanan yang begitu berubah-ubah dan berkembang cepat ini, tidak banyak solusi penyedia cloud yang dibuat khusus atau siap pakai yang saat ini dapat diandalkan perusahaan dengan sumber daya terbatas.

Walaupun Blade Runner berkinerja buruk pada wajah palsu StyleGAN yang berkacamata, ini merupakan masalah relatif umum pada sistem serupa, yang mengandalkan batas-batas mata sebagai acuan utama tetapi tertutup dalam kasus tersebut.

Versi terbatas Blade Runner telah dirilis sebagai sumber terbuka di GitHub. Ada versi proprieter yang lebih kaya fitur dan dapat memproses beberapa foto, berbeda dari repositori terbuka yang hanya memproses satu foto per operasi. Penulis menyatakan niatnya meningkatkan versi GitHub ke tingkat yang sama jika waktu memungkinkan. Ia juga mengakui StyleGAN kemungkinan akan melampaui kelemahan yang diketahui saat ini, sehingga perangkat lunaknya perlu ikut berkembang.

DE-FAKE

Arsitektur DE-FAKE tidak hanya menargetkan deteksi universal gambar yang dihasilkan model difusi teks-ke-gambar, tetapi juga menyediakan cara untuk mengetahui model mana yang menghasilkan gambar tersebut di antara model difusi laten (LD).

Kerangka deteksi universal DE-FAKE menangani gambar lokal, kerangka hibrida (hijau), dan gambar dunia terbuka (biru).

Kerangka deteksi universal DE-FAKE menangani gambar lokal, kerangka hibrida (hijau), dan gambar dunia terbuka (biru). Sumber: http://export.arxiv.org/pdf/2210.06998

Sejujurnya, saat ini tugas tersebut cukup mudah karena semua model LD populer – baik sumber tertutup maupun terbuka – memiliki ciri pembeda yang jelas.

Selain itu, sebagian besar memiliki kelemahan bersama, seperti kecenderungan memotong kepala, akibat cara yang sewenang-wenang dalam memasukkan gambar web yang tidak persegi ke kumpulan data besar yang mendukung DALL-E 2, Stable Diffusion, dan MidJourney:

Model difusi laten, seperti model visi komputer lainnya, membutuhkan masukan persegi. Namun pengambilan data web massal untuk LAION5B tidak memiliki kemampuan tambahan seperti mengenali dan memusatkan perhatian pada wajah atau objek lain; gambar dipotong cukup kasar alih-alih diberi bidang tambahan, yang akan mempertahankan seluruh gambar asli dengan resolusi lebih rendah. Setelah dipelajari saat pelatihan, pemotongan ini menjadi pola lazim dan sangat sering muncul dalam keluaran sistem seperti Stable Diffusion.

Model difusi laten, seperti model visi komputer lainnya, membutuhkan masukan persegi. Namun pengambilan data web massal untuk LAION5B tidak memiliki kemampuan tambahan seperti mengenali dan memusatkan perhatian pada wajah atau objek lain; gambar dipotong cukup kasar alih-alih diberi bidang tambahan, yang akan mempertahankan seluruh gambar asli dengan resolusi lebih rendah. Setelah dipelajari saat pelatihan, pemotongan ini menjadi pola lazim dan sangat sering muncul dalam keluaran sistem seperti Stable Diffusion. Sumber: https://blog.novelai.net/novelai-improvements-on-stable-diffusion-e10d38db82ac dan Stable Diffusion.

DE-FAKE dirancang agar tidak bergantung pada algoritma tertentu, tujuan lama peneliti anti-deepfake autoencoder yang saat ini cukup mungkin dicapai untuk sistem LD.

Arsitektur ini memakai pustaka multimodal Contrastive Language-Image Pretraining OpenAI (CLIP) – unsur penting Stable Diffusion yang dengan cepat menjadi inti gelombang baru sintesis gambar/video – untuk mengekstrak embedding dari gambar LD palsu dan melatih pengklasifikasi berdasarkan pola dan kelas yang diamati.

Dalam skenario kotak hitam, ketika blok PNG yang menyimpan informasi proses pembuatan sudah dihapus oleh proses unggahan atau sebab lain, peneliti memakai kerangka BLIP Salesforce (juga komponen setidaknya satu distribusi Stable Diffusion) untuk menyelidiki gambar tanpa informasi awal dan memperkirakan struktur semantik prompt pembuatnya.

Peneliti memakai Stable Diffusion, Latent Diffusion (produk tersendiri), GLIDE, dan DALL-E 2 untuk mengisi kumpulan data pelatihan dan pengujian dengan memanfaatkan MSCOCO dan Flickr30k.

Peneliti memakai Stable Diffusion, Latent Diffusion (produk tersendiri), GLIDE, dan DALL-E 2 untuk mengisi kumpulan data pelatihan dan pengujian dengan memanfaatkan MSCOCO dan Flickr30k.

Biasanya kami menelaah hasil eksperimen kerangka baru dengan cukup mendalam. Namun temuan DE-FAKE tampaknya lebih berguna sebagai tolok ukur masa depan bagi iterasi dan proyek serupa daripada ukuran keberhasilan yang bermakna, mengingat lingkungan yang sangat berubah-ubah serta sistem pembanding dalam eksperimen makalah ini yang berusia hampir tiga tahun, dari masa ketika sintesis gambar benar-benar baru berkembang.

Dua gambar paling kiri: kerangka pembanding yang berasal dari 2019, yang sesuai dugaan berkinerja lebih buruk daripada DE-FAKE (dua gambar paling kanan) pada empat sistem LD yang diuji.

Dua gambar paling kiri: kerangka pembanding yang berasal dari 2019, yang sesuai dugaan berkinerja lebih buruk daripada DE-FAKE (dua gambar paling kanan) pada empat sistem LD yang diuji.

Hasil tim sangat positif karena dua alasan: riset terdahulu yang dapat dijadikan pembanding masih sedikit, dan tidak ada yang benar-benar menawarkan perbandingan adil, yakni mencakup masa yang baru dua belas minggu sejak kode Stable Diffusion dibuka.

Kedua, walau sintesis gambar LD berkembang secara eksponensial, keluaran sistem saat ini secara efektif memberi tanda pada dirinya sendiri lewat kelemahan dan keanehan struktur yang sangat mudah diprediksi. Banyak di antaranya kemungkinan akan diperbaiki, setidaknya pada Stable Diffusion, lewat peluncuran checkpoint 1.5 yang berkinerja lebih baik, yaitu model terlatih 4 GB yang menjalankan sistem.

Sementara itu, Stability telah menunjukkan peta jalan yang jelas untuk V2 dan V3. Mengingat berbagai peristiwa besar selama tiga bulan terakhir, kelesuan korporat OpenAI dan pesaing lain di bidang sintesis gambar tampaknya sudah lenyap. Artinya, kita dapat mengharapkan laju kemajuan yang sama cepatnya dalam sintesis gambar bersumber tertutup.

 

Pertama kali diterbitkan pada 14 Oktober 2022.

Penulis tentang pembelajaran mesin, spesialis domain dalam sintesis gambar manusia. Mantan kepala konten riset di Metaphysic.ai, hingga dibubarkannya menjadi Brahma.ai milik DNEG.
Website: martinanderson.ai
Kontak: martin@martinanderson.ai