Informațiile de adâncime pot dezvălui deepfake-uri în timp real

Cercetări recente din Italia au descoperit că informațiile de adâncime obținute din imagini pot fi un instrument util pentru a detecta deepfake-uri, chiar și în timp real.

În timp ce majoritatea cercetărilor privind detectarea deepfake-urilor din ultimii cinci ani s-a concentrat pe identificarea artefactelor (care pot fi mitigate prin tehnici îmbunătățite sau confundate cu compresia slabă a codec-ului video), iluminarea ambientală, trăsăturile biometrice, întreruperea temporală și chiar instinctul uman, noul studiu este primul care sugerează că informațiile de adâncime ar putea fi un cifru valoros pentru conținutul deepfake.

Exemple de hărți de adâncime derivate și diferența de informații de adâncime perceptuale între imagini reale și false. Sursă: https://arxiv.org/pdf/2208.11074.pdf

Critically, cadrele de detectare dezvoltate pentru noul studiu funcționează foarte bine pe o rețea ușoară, cum ar fi Xception, și acceptabil de bine pe MobileNet, și noul articol recunoaște că latența scăzută a inferenței oferită prin astfel de rețele poate permite detectarea deepfake-urilor în timp real împotriva noii tendințe de fraudă deepfake live, exemplificată de recentul atac asupra Binance.

Se poate obține o economie mai mare a timpului de inferență, deoarece sistemul nu are nevoie de imagini cu culori complete pentru a determina diferența dintre hărțile de adâncime reale și false, dar poate funcționa eficient doar cu imagini în tonuri de gri ale informațiilor de adâncime.

Autorii afirmă: ‘Acest rezultat sugerează că adâncimea, în acest caz, adaugă o contribuție mai relevantă la clasificare decât artefactele de culoare.’

Rezultatele reprezintă o parte a noii valuri de cercetare privind detectarea deepfake-urilor, îndreptate împotriva sistemelor de sinteză facială în timp real, cum ar fi DeepFaceLive – un focar de efort care s-a accelerat semnificativ în ultimele 3-4 luni, în urma avertismentului FBI în martie cu privire la riscul de deepfake-uri video și audio în timp real.

Articolul articolul se intitulează DepthFake: o strategie bazată pe adâncime pentru detectarea videourilor Deepfake și provine de la cinci cercetători de la Universitatea Sapienza din Roma.

Cazuri limită

În timpul antrenamentului, modelele de deepfake bazate pe autoencoder prioritizează regiunile interne ale feței, cum ar fi ochii, nasul și gura. În majoritatea cazurilor, în distribuțiile deschise, cum ar fi DeepFaceLab și FaceSwap (ambele forkate din codul original Reddit din 2017, înainte de ștergerea acestuia), contururile externe ale feței nu devin bine definite decât într-un stadiu foarte târziu al antrenamentului și sunt puțin probabil să se potrivească cu calitatea sintezei în zona feței interne.

Dintr-un studiu anterior, vedem o vizualizare a ‘hărților de saliență’ ale feței. Sursă: https://arxiv.org/pdf/2203.01318.pdf

Normal, acest lucru nu este important, deoarece tendința noastră de a ne concentra mai întâi pe ochi și de a prioritiza ‘în exterior’ la niveluri de atenție în scădere înseamnă că suntem puțin probabil să fim deranjați de aceste scăderi ale calității periferice – mai ales dacă vorbim live cu persoana care își asumă o altă identitate, ceea ce declanșează convenții sociale și limitări de procesare care nu sunt prezente atunci când evaluăm ‘renderizarea’ deepfake-urilor.

Cu toate acestea, lipsa de detalii sau de precizie în regiunile marginale ale unei fețe deepfake poate fi detectată algoritmic. În martie, un sistem care se bazează pe regiunea periferică a feței a fost anunțat. Cu toate acestea, deoarece necesită o cantitate mai mare decât medie de date de antrenament, este destinat doar pentru celebrități care sunt probabil să apară în seturi de date faciale populare (cum ar fi ImageNet) care au proveniență în tehnici actuale de vedere computerizată și detectare a deepfake-urilor.

În schimb, noul sistem, intitulat DepthFake, poate funcționa generic chiar și pe identități obscure sau necunoscute, prin diferențierea calității informațiilor de adâncime estimate în conținutul video real și fals.

În adâncime

Informațiile de adâncime sunt din ce în ce mai mult integrate în smartphone-uri, inclusiv implementări stereo asistate de IA care sunt deosebit de utile pentru studii de vedere computerizată. În noul studiu, autorii au utilizat modelul FaceDepth de la Universitatea Națională din Irlanda, o rețea convoluvională de codificare/decodificare care poate estima eficient hărți de adâncime din imagini cu o singură sursă.

Modelul FaceDepth în acțiune. Sursă: https://tinyurl.com/3ctcazma

Următorul, pipeline-ul pentru noul cadru al cercetătorilor italieni extrage un patch de 224×224 de pixeli al feței subiectului din imaginea RGB originală și din harta de adâncime derivată. Critic, acest lucru permite procesului să copieze conținutul de bază fără a-l redimensiona; acest lucru este important, deoarece algoritmii standard de redimensionare a dimensiunii vor afecta negativ calitatea zonelor vizate.

Utilizând aceste informații, atât din surse reale, cât și deepfake, cercetătorii au antrenat apoi o rețea neuronală convoluvională (CNN) capabilă să diferențieze instanțe reale de cele false, pe baza diferențelor dintre calitatea perceptuală a hărților de adâncime respective.

Pipeline conceptual pentru DepthFake.

Modelul FaceDepth este antrenat pe date realiste și sintetice utilizând o funcție hibridă care oferă mai multe detalii la marginile externe ale feței, făcându-l bine potrivit pentru DepthFake. Acesta utilizează o instanță MobileNet ca extractor de caracteristici și a fost antrenat cu imagini de intrare de 480×640, producând hărți de adâncime de 240×320. Fiecare hartă de adâncime reprezintă o pătrime din cele patru canale de intrare utilizate în proiectul discriminator al noului proiect.

Harta de adâncime este încorporată automat în imaginea RGB originală pentru a oferi tipul de imagine RGBD, plină de informații de adâncime, pe care camerele moderne de smartphone pot să le producă.

Antrenament

Modelul a fost antrenat pe o rețea Xception preantrenată pe ImageNet, deși arhitectura a necesitat unele adaptări pentru a putea încorpora informațiile suplimentare de adâncime, menținând în același timp inițializarea corectă a greutăților.

În plus, o nepotrivire în intervalele de valori între informațiile de adâncime și ceea ce rețeaua se așteaptă a necesitat ca cercetătorii să normalizeze valorile la 0-255.

În timpul antrenamentului, s-a aplicat doar fliparea și rotirea. În multe cazuri, diverse alte perturbări vizuale ar fi prezentate modelului pentru a dezvolta o inferență robustă, dar necesitatea de a păstra informațiile limitate și foarte fragile de adâncime din imaginile sursă a forțat cercetătorii să adopte un regim redus.

Sistemul a fost, de asemenea, antrenat pe imagini simple în tonuri de gri cu două canale, pentru a determina cât de complexe trebuie să fie imaginile sursă pentru a obține un algoritm funcțional.

Antrenamentul a avut loc prin intermediul API-ului TensorFlow pe un NVIDIA GTX 1080 cu 8 GB de VRAM, utilizând optimizerul ADAMAX, timp de 25 de epoci, la o dimensiune a lotului de 32. Rezoluția de intrare a fost fixată la 224×224 în timpul decupării, iar detectarea și extragerea feței au fost realizate cu ajutorul bibliotecii C++ dlib.

Rezultate

Acuratețea rezultatelor a fost testată împotriva Deepfake, Face2Face, FaceSwap, Neural Texture și setul de date complet cu intrări RGB și RGBD, utilizând cadrul FaceForensic++.

Rezultatele acurateței peste patru metode de deepfake și împotriva întregului set de date neîmpărțit. Rezultatele sunt împărțite între analiza imaginilor RGB sursă și aceleași imagini cu o hartă de adâncime inferată încorporată. Cele mai bune rezultate sunt în bold, cu cifre de procente sub acestea, demonstrând măsura în care informațiile de adâncime îmbunătățesc rezultatul.

În toate cazurile, canalul de adâncime îmbunătățește performanța modelului în toate configurațiile. Xception obține cele mai bune rezultate, cu MobileNetul agil în urmă. În acest sens, autorii comentează:

‘[Este] interesant de remarcat că MobileNet este puțin inferior lui Xception și depășește rețeaua ResNet50 mai profundă. Acesta este un rezultat notabil atunci când se ia în considerare scopul de a reduce timpii de inferență pentru aplicații în timp real. Deși acesta nu este principala contribuție a acestui studiu, îl considerăm un rezultat încurajator pentru dezvoltările viitoare.’

Cercetătorii notează, de asemenea, un avantaj constant al intrărilor RGBD și ale imaginilor în tonuri de gri cu două canale față de intrările RGB și imaginile în tonuri de gri standard, observând că conversiile în tonuri de gri ale inferențelor de adâncime, care sunt computațional foarte ieftine, permit modelului să obțină rezultate îmbunătățite cu resurse locale foarte limitate, facilitând dezvoltarea viitoare a detectării deepfake-urilor în timp real bazate pe informații de adâncime.

Publicat pentru prima dată pe 24 august 2022.