Otkrivanje Deepfake video poziva putem osvjetljenja monitora

Nova suradnja između istraživača iz Agencije za nacionalnu sigurnost (NSA) Sjedinjenih Američkih Država i Kalifornijskog sveučilišta u Berkeleyju nudi novu metodu za otkrivanje deepfake sadržaja u videokontekstu uživo – promatranjem učinka osvjetljenja monitora na izgled osobu s druge strane videopoziva.

Popularni DeepFaceLive korisnik Druuzil Tech & Games isprobava vlastiti model Christiana Balea DeepFaceLaba u sesiji uživo sa svojim pratiteljima, dok se izvori svjetla mijenjaju. Izvor: https://www.youtube.com/watch?v=XPQLDnogLKA

Sustav funkcionira postavljanjem grafičkog elementa na korisnički zaslon koji mijenja uzak raspon svoje boje brže nego što tipični deepfake sustav može odgovoriti – čak i ako, kao implementacija deepfake streaminga u stvarnom vremenu DeepFaceLive (na gornjoj slici), ima određenu sposobnost održavanja prijenosa boja uživo i uzima u obzir ambijentalno osvjetljenje.

Jednaka slika u boji prikazana na monitoru osobe na drugom kraju (tj. potencijalnog prevaranta deepfakea) kruži kroz ograničenu varijaciju promjena nijansi koje su dizajnirane da ne aktiviraju automatsku ravnotežu bijele boje web kamere i druge ad hoc sustavi kompenzacije osvjetljenja, koji bi ugrozili metodu.

Iz rada, ilustracija promjene uvjeta osvjetljenja s monitora ispred korisnika, koji učinkovito djeluje kao difuzno 'područno svjetlo'. Izvor: https://farid.berkeley.edu/downloads/publications/cvpr22a.pdf

Teorija koja stoji iza ovog pristupa je da live deepfake sustavi ne mogu na vrijeme odgovoriti na promjene prikazane u grafičkom prikazu na ekranu, povećavajući 'zaostatak' deepfake efekta na određenim dijelovima spektra boja, otkrivajući njegovu prisutnost.

Kako bi mogao točno izmjeriti reflektirano svjetlo monitora, sustav mora uzeti u obzir, a zatim odbaciti učinak općeg osvjetljenja okoline koji nije povezan sa svjetlom monitora. Zatim je u stanju razlikovati nedostatke u mjerenju nijanse aktivnog osvjetljenja i nijanse lica korisnika, što predstavlja vremenski pomak od razlike od 1-4 okvira između svake:

Ograničavanjem varijacija nijansi u grafici 'detektora' na zaslonu i osiguravanjem da korisnikova web kamera ne dobije upit da automatski prilagodi svoje postavke snimanja pretjeranim promjenama u razinama osvjetljenja monitora, istraživači su uspjeli uočiti tale kašnjenje u prilagodbi sustava deepfake promjenama osvjetljenja.

Rad zaključuje:

'Zbog razumnog povjerenja koje imamo u videopozive uživo i rastuće sveprisutnosti videopoziva u našim osobnim i profesionalnim životima, predlažemo da će tehnike za autentifikaciju video (i audio) poziva samo rasti na važnosti.'

Korištenje električnih romobila ističe učiti naslovljen je Otkrivanje dubokih lažnih videozapisa u stvarnom vremenu pomoću aktivnog osvjetljenja, a dolazi od Candice R. Gerstner, matematičarke primijenjenog istraživanja pri Ministarstvu obrane SAD-a i profesora Hanya Farida s Berkeleyja.

Erozija povjerenja

Istraživačka scena protiv deepfakea značajno se okrenula u posljednjih šest mjeseci, od općeg otkrivanja deepfakea (tj. ciljanja na unaprijed snimljene videozapise i pornografski sadržaj) prema otkrivanju 'živahnosti', kao odgovor na rastući val incidenata korištenja deepfakea u videokonferencijskim pozivima te nedavnom upozorenju FBI-a u sve većoj upotrebi takvih tehnologija u aplikacijama za rad na daljinu.

Čak i kada se ispostavi da videopoziv nije bio lažiran, povećane mogućnosti za videoimitatore vođene umjetnom inteligencijom su počinje stvarati paranoju.

Novi list navodi:

'Stvaranje dubokih krivotvorina u stvarnom vremenu [predstavlja] jedinstvene prijetnje zbog općeg osjećaja povjerenja koji okružuje video ili telefonski poziv uživo i izazova otkrivanja dubokih lažiranja u stvarnom vremenu, dok se poziv odvija.'

Istraživačka zajednica si je odavno postavila cilj pronaći nepogrešive znakove deepfake sadržaja koji se ne mogu lako nadoknaditi. Iako mediji ovo obično karakteriziraju u smislu tehnološkog rata između sigurnosnih istraživača i deepfake programera, većina negacija ranih pristupa (kao što je analiza treptaja oka, razlučivanje položaja glavei analiza ponašanja) su se dogodile jednostavno zato što su programeri i korisnici općenito pokušavali napraviti realističnije deepfakeove, umjesto da se konkretno bave najnovijim 'tellom' kojega je identificirala sigurnosna zajednica.

Bacanje svjetla na Deepfake Video uživo

Otkrivanje deepfake-a u videookruženjima uživo nosi teret obračuna za loše video veze, koje su vrlo česte u scenarijima videokonferencija. Čak i bez interventnog sloja deepfake, videosadržaj može biti podložan kašnjenju u stilu NASA-e, artefaktima renderiranja i drugim vrstama degradacije zvuka i videa. Oni mogu poslužiti za skrivanje grubih rubova u arhitekturi dubokog lažiranja uživo, kako u pogledu videa tako i audio deepfakes.

Novi sustav autora poboljšava rezultate i metode koji se nalaze u a Objava 2020 iz Centra za umreženo računalstvo na Sveučilištu Temple u Philadelphiji.

Iz dokumenta iz 2020. godine možemo promatrati promjenu u osvjetljenju lica 'unutra' kako se mijenja sadržaj korisničkog zaslona. Izvor: https://cis.temple.edu/~jiewu/research/publications/Publication_files/FakeFace__ICDCS_2020.pdf

Razlika u novom radu je u tome što uzima u obzir način na koji web kamere reagiraju na promjene osvjetljenja. Autori objašnjavaju:

'Budući da sve moderne web kamere izvode automatsku ekspoziciju, vrsta aktivnog osvjetljenja visokog intenziteta [koja se koristila u prethodnom radu] vjerojatno će pokrenuti automatsku ekspoziciju kamere što će zauzvrat zbuniti snimljeni izgled lica. Kako bismo to izbjegli, koristimo aktivno osvjetljenje koje se sastoji od izoluminantne promjene nijanse.

'Iako se time izbjegava automatska ekspozicija kamere, moglo bi se pokrenuti balansiranje bijele boje kamere što bi opet zbunilo snimljeni izgled lica. Kako bismo to izbjegli, radimo u rasponu nijansi za koji smo empirijski utvrdili da ne pokreće balans bijele.'

Za ovu inicijativu, autori su također razmotrili slične prethodne pothvate, kao što je LiveScreen, koji nameće neprimjetan uzorak osvjetljenja na monitoru krajnjeg korisnika u nastojanju da otkrije deepfake sadržaj.

Iako je taj sustav postigao stopu točnosti od 94.8%, istraživači zaključuju da bi suptilnost svjetlosnih uzoraka otežala implementaciju takvog tajnog pristupa u jarko osvijetljenim okruženjima i umjesto toga predlažu da njihov vlastiti sustav, ili onaj sa sličnim uzorcima, može se javno i prema zadanim postavkama uključiti u popularni softver za videokonferencije:

'Našu predloženu intervenciju mogla bi realizirati sudionica u pozivu koja jednostavno dijeli svoj zaslon i prikazuje vremenski promjenjivi obrazac, ili bi se, idealno, mogla izravno integrirati u klijent videopoziva.'

Testovi

Autori su koristili mješavinu sintetičkih i stvarnih subjekata za testiranje Dlib-driven deepfake detektor. Za sintetički scenarij upotrijebili su Mitsubishi, napredni i inverzni renderer sa Švicarskog saveznog instituta za tehnologiju u Lausanni.

Uzorci iz testova simuliranog okruženja, s različitim tonom kože, veličinom izvora svjetla, intenzitetom ambijentalnog svjetla i blizinom kamere.

Prikazana scena uključuje parametarsku CGI glavu snimljenu virtualnom kamerom s vidnim poljem od 90°. Značajka glave Lambertova refleksija i neutralne boje kože te se nalaze 2 stope ispred virtualne kamere.

Kako bi testirali okvir u nizu mogućih nijansi kože i postava, istraživači su proveli niz testova, uzastopno mijenjajući različite aspekte. Promijenjeni aspekti uključivali su boju kože, blizinu i veličinu osvjetljenja.

Autori komentiraju:

'U simulaciji, s našim različitim pretpostavkama zadovoljenim, naša predložena tehnika vrlo je robusna za širok raspon konfiguracija slika.'

Za scenarij iz stvarnog svijeta, istraživači su koristili 15 dobrovoljaca s različitim tonovima kože, u različitim okruženjima. Svaki je bio podvrgnut dvama ciklusima ograničene varijacije nijanse, pod uvjetima u kojima je stopa osvježavanja zaslona od 30 Hz bila sinkronizirana s web kamerom, što znači da bi aktivno osvjetljenje trajalo samo jednu sekundu. Rezultati su bili uglavnom usporedivi sa sintetičkim testovima, iako su se korelacije značajno povećale s većim vrijednostima osvjetljenja.

Buduće smjernice

Sustav, priznaju istraživači, ne uzima u obzir tipične okluzije lica, kao što su šiške, naočale ili dlake na licu. Međutim, oni primjećuju da se maskiranje ove vrste može dodati kasnijim sustavima (putem označavanja i naknadne semantičke segmentacije), koji bi se mogli osposobiti da uzimaju vrijednosti isključivo iz percipiranih područja kože ciljnog subjekta.

Autori također sugeriraju da bi se slična paradigma mogla upotrijebiti za otkrivanje duboko lažiranih audio poziva, te da bi se potreban zvuk za otkrivanje mogao reproducirati na frekvenciji izvan normalnog ljudskog slušnog raspona.

Što je možda najzanimljivije, istraživači također sugeriraju da bi proširenje područja evaluacije izvan lica u bogatijem okviru za snimanje moglo znatno poboljšati mogućnost detekcije dubinskih lažiranja*:

'Sofisticiraniji 3-D procjena rasvjete  vjerojatno bi pružio bogatiji model izgleda koji bi krivotvoritelju bilo još teže zaobići. Dok smo se fokusirali samo na lice, zaslon računala također osvjetljava vrat, gornji dio tijela i okolnu pozadinu, iz koje se mogu napraviti slična mjerenja.

'Ova dodatna mjerenja prisilila bi krivotvoritelja da razmotri cijelu 3-D scenu, a ne samo lice.'

* Moja konverzija umetnutih citata autora u hiperveze.

Prvi put objavljeno 6. srpnja 2022.