Informacije o dubini mogu otkriti Deepfake u stvarnom vremenu

Novo istraživanje iz Italije pokazalo je da informacije o dubini dobivene iz slika mogu biti koristan alat za otkrivanje deepfakeova – čak i u stvarnom vremenu.

Dok je većina istraživanja o otkrivanju lažnih lažnih sadržaja tijekom proteklih pet godina usredotočena na identifikacija artefakta (što se može ublažiti poboljšanim tehnikama ili pogrešno zamijeniti za lošu kompresiju video kodeka), ambijentalna rasvjeta, biometrijske osobine, vremenski poremećaj, Pa čak i ljudski instinkt, nova je studija prva koja sugerira da bi dubinske informacije mogle biti vrijedna šifra za deepfake sadržaj.

Primjeri izvedenih karata dubine i razlika u perceptivnoj informaciji o dubini između stvarnih i lažnih slika. Izvor: https://arxiv.org/pdf/2208.11074.pdf

Kritično, okviri detekcije razvijeni za novu studiju rade vrlo dobro na laganoj mreži kao što je Xception, i prihvatljivo dobro MobileNet, a novi dokument priznaje da niska latencija zaključivanja koja se nudi putem takvih mreža može omogućiti otkrivanje deepfakea u stvarnom vremenu protiv novog trenda prema live deepfake prijevarama, primjerom nedavnog napad na Binance.

Može se postići veća ekonomičnost u vremenu zaključivanja jer sustav ne treba slike u punoj boji kako bi odredio razliku između lažnih i stvarnih karata dubine, već može djelovati iznenađujuće učinkovito samo na slikama u sivim tonovima informacija o dubini.

Autori navode: 'Ovaj rezultat sugerira da dubina u ovom slučaju dodaje relevantniji doprinos klasifikaciji nego artefakti u boji.'

Otkrića predstavljaju dio novog vala istraživanja detekcije deepfakea usmjerenog protiv sustava sinteze lica u stvarnom vremenu kao što su DeepFaceLive – mjesto napora koje se značajno ubrzalo u posljednja 3-4 mjeseca, nakon FBI-evih upozorenje u ožujku o riziku dubokih krivotvorenja video i audio zapisa u stvarnom vremenu.

Korištenje električnih romobila ističe papir naslovljen je DepthFake: strategija temeljena na dubini za otkrivanje Deepfake videozapisa, a dolazi od pet istraživača sa Sveučilišta Sapienza u Rimu.

Edge kućišta

Tijekom treninga, deepfake modeli temeljeni na autoenkoderu daju prioritet unutarnjim dijelovima lica, poput očiju, nosa i usta. U većini slučajeva, u distribucijama otvorenog koda kao što su DeepFaceLab i Zamjena lica (oba račvana iz originalne 2017 Reddit kod prije njegovog brisanja), vanjske linije lica ne postaju dobro definirane sve do vrlo kasne faze treninga i malo je vjerojatno da će odgovarati kvaliteti sinteze u unutarnjem području lica.

Iz prethodne studije vidimo vizualizaciju 'mapa istaknutosti' lica. Izvor: https://arxiv.org/pdf/2203.01318.pdf

Obično to nije važno, budući da naša tendencija da se prvo fokusiramo na oči i dajemo prioritete, 'prema van' pri smanjenim razinama pažnje znači da je malo vjerojatno da ćemo biti uznemireni ovim padom periferne kvalitete – posebno ako razgovaramo uživo s osoba koja lažira drugi identitet, što pokreće društvene konvencije i ograničenja obrade nije prisutan kada procjenjujemo 'renderirane' deepfake snimke.

Međutim, nedostatak detalja ili točnosti u zahvaćenim rubnim regijama deepfaked lica može se detektirati algoritamski. U ožujku je uveden sustav koji uključuje tipke na perifernom području lica najavio. Međutim, budući da zahtijeva natprosječnu količinu podataka za obuku, namijenjen je samo slavnim osobama koje će se vjerojatno pojaviti u popularnim skupovima podataka o licu (kao što je ImageNet) koji potječu iz trenutnog računalnog vida i tehnika detekcije deepfakea.

Umjesto toga, novi sustav, pod nazivom DepthFake, može generički djelovati čak i na opskurnim ili nepoznatim identitetima, razlikovanjem kvalitete procijenjenih informacija karte dubine u stvarnom i lažnom videosadržaju.

Ide duboko

Informacije o karti dubine sve se više ubacuju u pametne telefone, uključujući Stereo implementacije potpomognute umjetnom inteligencijom koji su posebno korisni za studije računalnog vida. U novoj studiji autori su koristili model FaceDepth Nacionalnog sveučilišta Irske, konvolucionarnu mrežu kodera/dekodera koja može učinkovito procijeniti karte dubine iz slika iz jednog izvora.

FaceDepth model na djelu. Izvor: https://tinyurl.com/3ctcazma

Zatim, cjevovod za novi okvir talijanskih istraživača izdvaja 224 × 224 piksela mrlju lica subjekta iz izvorne RGB slike i izvedene karte dubine. Kritično, to omogućuje procesu kopiranje osnovnog sadržaja bez promjene veličine; ovo je važno jer će algoritmi za promjenu veličine standardne veličine nepovoljno utjecati na kvalitetu ciljanih područja.

Koristeći te informacije, kako iz stvarnih tako i iz lažnih izvora, istraživači su zatim istrenirali konvolucionarnu neuronsku mrežu (CNN) sposobnu razlikovati stvarne od lažnih instanci, na temelju razlika između perceptivne kvalitete odgovarajućih karata dubine.

Konceptualni cjevovod za DepthFake.

Model FaceDepth trenira se na realističnim i sintetičkim podacima pomoću hibridne funkcije koja nudi više detalja na vanjskim rubovima lica, što ga čini prikladnim za DepthFake. Koristi MobileNet instancu kao ekstraktor značajki i obučen je s ulaznim slikama od 480 × 640 koje izlaze karte dubine od 240 × 320. Svaka karta dubine predstavlja četvrtinu od četiri ulazna kanala korištena u diskriminatoru novog projekta.

Mapa dubine automatski se ugrađuje u izvornu RGB sliku kako bi se dobila vrsta RGBD slike, puna informacija o dubini, kakvu mogu ispisati moderne kamere pametnih telefona.

Trening

Model je uvježban na mreži Xception koja je već bila uvježbana na ImageNet-u, iako je arhitekturi bilo potrebno malo prilagodbe kako bi se prilagodile dodatne informacije o dubini uz održavanje ispravne inicijalizacije težina.

Osim toga, neusklađenost u rasponima vrijednosti između informacija o dubini i onoga što mreža očekuje zahtijevala je da istraživači normaliziraju vrijednosti na 0-255.

Tijekom treninga primjenjivano je samo okretanje i rotacija. U mnogim slučajevima razne druge vizualne perturbacije bile bi predstavljene modelu kako bi se razvio robustan zaključak, ali potreba da se očuvaju ograničene i vrlo krhke informacije o karti dubine ruba na izvornim fotografijama natjerala je istraživače da usvoje režim smanjivanja.

Sustav je dodatno obučen na jednostavnim 2-kanalnim sivim tonovima, kako bi se odredilo koliko složene izvorne slike trebaju biti da bi se dobio izvodljiv algoritam.

Obuka se odvijala putem TensorFlow API-ja na NVIDIA GTX 1080 s 8 GB VRAM-a, korištenjem ADAMAX optimizatora, tijekom 25 epoha, pri veličini serije od 32. Ulazna rezolucija bila je fiksirana na 224 × 224 tijekom izrezivanja, a detekcija lica i izdvajanje bili su ostvareno s dlib C++ biblioteka.

Rezultati

Točnost rezultata testirana je protiv Deepfakea, Face2Face, FaceSwap, Neuralna tekstura, i puni skup podataka s RGB i RGBD ulazima, koristeći FaceForensic++ okvir.

Rezultati o točnosti preko četiri metode deepfake i u odnosu na cijeli nepodijeljeni skup podataka. Rezultati su podijeljeni između analize izvornih RGB slika i istih slika s ugrađenom pretpostavljenom kartom dubine. Najbolji rezultati podebljani su, s postotcima ispod koji pokazuju u kojoj mjeri podaci karte dubine poboljšavaju ishod.

U svim slučajevima dubinski kanal poboljšava performanse modela u svim konfiguracijama. Xception postiže najbolje rezultate, a okretni MobileNet mu je blizu. O tome autori komentiraju:

'[Zanimljivo] je primijetiti da je MobileNet malo inferioran u odnosu na Xception i nadmašuje dublji ResNet50. Ovo je značajan rezultat kada se uzme u obzir cilj smanjenja vremena zaključivanja za aplikacije u stvarnom vremenu. Iako ovo nije glavni doprinos ovog rada, ipak ga smatramo ohrabrujućim rezultatom za budući razvoj.'

Istraživači također primjećuju dosljednu prednost RGBD i 2-kanalnog ulaza u sivim tonovima nad RGB i ravnim ulazom u sivim tonovima, primjećujući da konverzije u sive tonove dubinskih zaključaka, koje su računalno vrlo jeftine, omogućuju modelu dobivanje poboljšanih rezultata s vrlo ograničenim lokalnim resursima, olakšavanje budućeg razvoja detekcije deepfakea u stvarnom vremenu na temelju informacija o dubini.

Prvi put objavljeno 24. kolovoza 2022.