Inpormasi Jerona Bisa Ngalaan Deepfakes sacara Real-Time

Panaliti anyar ti Italia mendakan yén inpormasi jero anu dicandak tina gambar tiasa janten alat anu mangpaat pikeun ngadeteksi deepfakes - bahkan sacara real-time.

Padahal seuseueurna panalungtikan kana deteksi deepfake salami lima taun katukang parantos konsentrasi idéntifikasi artefak (anu tiasa dikurangan ku téknik anu ditingkatkeun, atanapi salah kaprah pikeun komprési codec video anu goréng), lampu ambien, ciri biometrik, gangguan temporal, Komo naluri manusa, Panaliti anyar mangrupikeun anu munggaran nunjukkeun yén inpormasi jero tiasa janten cipher anu berharga pikeun kontén deepfake.

Conto depth-maps diturunkeun, sarta bédana dina informasi jero perceptual antara gambar nyata jeung palsu. Sumber: https://arxiv.org/pdf/2208.11074.pdf

Kritis, kerangka deteksi dikembangkeun pikeun ulikan anyar beroperasi kacida alusna dina jaringan lightweight kayaning Xception, sarta acceptably ogé dina MobileNet, jeung makalah anyar ngakuan yén latency low tina inferensi ditawarkeun ngaliwatan jaringan misalna bisa ngaktipkeun deteksi deepfake real-time ngalawan trend anyar nuju panipuan deepfake hirup, exemplified ku panganyarna. serangan on Binance.

Ékonomi anu langkung ageung dina waktos inferensi tiasa dihontal sabab sistem henteu peryogi gambar warna pinuh pikeun nangtoskeun bédana antara peta jero palsu sareng nyata, tapi tiasa beroperasi sacara éfisién ngan ukur dina gambar grayscale inpormasi jero.

Panulis nyatakeun: 'Hasil ieu nunjukkeun yén jero dina hal ieu nambihan kontribusi leuwih relevan pikeun klasifikasi ti artefak warna.'

Papanggihan ngagambarkeun bagian tina gelombang anyar panalungtikan deteksi deepfake diarahkeun ngalawan real-time sistem sintésis raray kayaning DeepFaceLive - tempat usaha anu parantos gancangan dina 3-4 sasih terakhir, saatos FBI warning dina Maret ngeunaan résiko real-time video sareng audio deepfakes.

nu keretas judulna DepthFake: strategi dumasar-jero pikeun ngadeteksi pidéo Deepfake, sarta asalna ti lima peneliti di Sapienza Universitas Roma.

Kasus Tepi

Salila latihan, model deepfake basis autoencoder prioritas wewengkon jero raray, kayaning panon, irung jeung sungut. Dina kalolobaan kasus, sakuliah sebaran open source kayaning DeepFaceLab jeung swap beungeut (duanana dicabang tina aslina 2017 Kodeu reddit Saméméh ngahapusna), garis luar raray henteu katetepkeun saé dugi ka tahap anu telat dina latihan, sareng henteu mungkin cocog sareng kualitas sintésis dina daérah raray jero.

Tina ulikan saméméhna, urang ningali visualisasi 'peta saliency' tina raray. Sumber: https://arxiv.org/pdf/2203.01318.pdf

Biasana, ieu henteu penting, sabab kacenderungan urang pikeun fokus heula kana panon sareng prioritas, 'ka luar' dina tingkat perhatian anu ngirangan hartosna yén urang sigana teu kaganggu ku turunna kualitas periferal ieu - khususna upami urang ngobrol langsung ka jalma anu faking identitas sejen, nu micu konvénsi sosial jeung watesan processing henteu hadir nalika urang meunteun 'dirender' footage palsu.

Tapi, kurangna detil atanapi akurasi di daérah margin anu kapangaruhan tina raray anu jero tiasa dideteksi sacara algoritma. Dina Maret, sistem anu konci dina aréa beungeut periferal éta ngumumkeun. Nanging, kumargi peryogi jumlah data latihan anu luhur-rata, éta ngan ukur ditujukeun pikeun selebriti anu sigana bakal nampilkeun dina set data raray populér (sapertos ImageNet) anu gaduh buktina dina visi komputer ayeuna sareng téknik deteksi deepfake.

Gantina, sistem anyar, judulna DepthFake, Bisa beroperasi sacara umum sanajan dina identities teu jelas atawa kanyahoan, ku ngabedakeun kualitas estimasi informasi peta jero dina eusi video nyata jeung palsu.

Bade Jero

Inpormasi peta jero beuki dipanggang kana smartphone, kalebet palaksanaan stereo ditulungan AI anu hususna kapaké pikeun studi visi komputer. Dina ulikan anyar, pangarang ngagunakeun modél FaceDepth Universitas Nasional Irlandia, jaringan encoder / decoder convolutional anu éfisién tiasa ngira-ngira peta jero tina gambar sumber tunggal.

Modél FaceDepth dina aksi. Sumber: https://tinyurl.com/3ctcazma

Salajengna, jalur pipa pikeun kerangka anyar para panalungtik Italia ékstrak patch 224 × 224 piksel tina raray subjek tina gambar RGB asli sareng peta jero anu diturunkeun. Sacara kritis, ieu ngamungkinkeun prosés pikeun nyalin eusi inti tanpa ngarobah ukuranana; ieu penting, sakumaha ukuran standar ukuran ukuran algoritma bakal mangaruhan adversely kualitas wewengkon sasaran.

Nganggo inpormasi ieu, tina sumber anu nyata sareng jero, para panalungtik teras ngalatih jaringan neural convolutional (CNN) anu tiasa ngabédakeun nyata tina instansi palsu, dumasar kana bédana antara kualitas persépsi tina peta jero masing-masing.

Pipa konseptual pikeun DepthFake.

Model FaceDepth dilatih dina data realistis sareng sintétik nganggo fungsi hibrida anu nawiskeun detil anu langkung ageung dina margin luar raray, janten cocog pikeun DepthFake. Éta ngagunakeun conto MobileNet salaku ékstrak fitur, sareng dilatih kalayan gambar input 480 × 640 anu ngaluarkeun peta jero 240 × 320. Unggal peta jero ngagambarkeun saparapat tina opat saluran input dipaké dina discriminator proyék anyar urang.

Peta jerona sacara otomatis diselapkeun kana gambar RGB asli pikeun nyayogikeun jinis gambar RGBD, pinuh ku inpormasi jero, anu tiasa dikaluarkeun ku kaméra smartphone modern.

palatihan

Modél ieu dilatih dina jaringan Xception anu parantos dilatih dina ImageNet, sanaos arsitékturna peryogi sababaraha adaptasi supados tiasa nampung inpormasi jero tambahan bari ngajaga inisialisasi beurat anu leres.

Salaku tambahan, nilai anu teu cocog antara inpormasi jero sareng naon anu diarepkeun ku jaringan peryogi yén panaliti nganormalkeun nilai ka 0-255.

Salila latihan, ukur flipping sareng rotasi anu diterapkeun. Dina sababaraha kasus, rupa-rupa gangguan visual anu sanés bakal disayogikeun kana modél pikeun ngembangkeun inferensi anu kuat, tapi kabutuhan pikeun ngawétkeun inpormasi peta jero anu terbatas sareng rapuh dina poto sumber kapaksa panalungtik pikeun ngadopsi rezim pare-handap.

Sistim ieu Sajaba dilatih dina grayscale 2-kanal basajan, guna nangtukeun sabaraha kompléks gambar sumber diperlukeun pikeun ménta hiji algoritma bisa dipake.

Latihan lumangsung via TensorFlow API dina NVIDIA GTX 1080 kalawan 8GB of VRAM, ngagunakeun ADAMAX optimizer, pikeun 25 epochs, dina ukuran bets 32. Resolusi input dibereskeun dina 224 × 224 salila cropping, sarta beungeut beungeut jeung ékstraksi éta. dilaksanakeun kalawan dlib perpustakaan C++.

Results

Akurasi hasil diuji ngalawan Deepfake, Face2Face, FaceSwap, Tékstur saraf, sareng set data lengkep sareng input RGB sareng RGBD, nganggo FaceForensic ++ kerangka.

Hasil dina akurasi leuwih opat métode deepfake, sarta ngalawan sakabéh dataset unsplit. Hasilna dibagi antara analisa gambar sumber RGB, sareng gambar anu sami sareng peta jero anu disimpulkeun. Hasil anu pangsaéna nyaéta kandel, kalayan persentase inohong di handapeun nunjukkeun dugi ka mana inpormasi peta jero ningkatkeun hasilna.

Dina sagala hal, saluran jero ngaronjatkeun kinerja model dina sakabéh konfigurasi. Xception kéngingkeun hasil anu pangsaéna, kalayan MobileNet anu lincah caket. Dina ieu, panulis komentar:

'[Ieu] metot pikeun dicatet yén MobileNet rada inferior ka Xception jeung outperforms deeper ResNet50. Ieu mangrupikeun hasil anu penting nalika nganggap tujuan pikeun ngirangan waktos inferensi pikeun aplikasi sacara real-time. Sanajan ieu lain kontribusi utama karya ieu, kami tetep nganggap éta hasil encouraging pikeun kamajuan hareup.'

Panaliti ogé nyatet kaunggulan konsisten tina RGBD sareng input grayscale 2 saluran tina RGB sareng input grayscale lempeng, niténan yén konvérsi grayscale tina inferensi jero, anu sacara komputasi murah pisan, ngamungkinkeun modél kéngingkeun hasil anu langkung saé kalayan sumber daya lokal anu terbatas. facilitating ngembangkeun kahareup deteksi deepfake real-time dumasar kana informasi jero.

Mimiti diterbitkeun 24 Agustus 2022.