Trofasthet vs. Realisme i Deepfake-Videoer

Ikke alle deepfake-utøvere deler det samme målet: drivkraften bak bilde syntese-forskning-sektoren – støttet av innflytelsesrike talsmenn som Adobe, NVIDIA og Facebook – er å fremme tilstanden for kunsten slik at maskinlærings-teknikker kan til slutt gjenskape eller syntetisere menneskelig aktivitet i høy oppløsning og under de mest utfordrende forhold (trofasthet).

I motsetning til dette, er målet for de som ønsker å bruke deepfake-teknologier til å sprede desinformasjon, å skape plausibler simulasjoner av virkelige mennesker ved hjelp av mange andre metoder enn bare å gjenskape deepfaked ansikter. I denne scenariet, er tilleggsfaktorer som kontekst og plausibilitet nesten like viktig som en videos evne til å simulere ansikter (realisme).

Dette ‘sleight-of-hand’-tilnærmingen utvides til forringelsen av sluttbildkvaliteten på en deepfake-video, så hele videoen (og ikke bare den bedragerske delen representert av et deepfaked ansikt) har en samholdende ‘utseende’ som er nøyaktig til den forventede kvaliteten for mediumet.

‘Samholdende’ trenger ikke å bety ‘god’ – det er nok at kvaliteten er konsistent over hele originalen og den innførte, forfalskede innholdet, og holder seg til forventningene. I sammenheng med VOIP-strømming på plattformer som Skype og Zoom, kan standarden være bemerkelsesverdig lav, med stuttering, jerky video og en rekke potensielle kompresjonsartefakter, samt ‘smoothing’-algoritmer designet for å redusere deres effekter – som i seg selv utgjør en rekke ‘uautentiske’ effekter som vi har akseptert som korollarier til begrensningene og eksentrisitetene til live-strømming.

DeepFaceLive i aksjon: denne strømmingsversjonen av premier deepfakes-programvare DeepFaceLab kan gi kontekstuell realisme ved å presentere fakes i konteksten av begrenset video-kvalitet, komplett med avspillingsproblemer og andre gjentakende forbindelsesartefakter. Kilde: https://www.youtube.com/watch?v=IL517EgYH8U

Inbygget Forringelse

I virkeligheten, inneholder de to mest populære deepfake-pakken (begge avledet fra den kontroversielle 2017 kilde-koden) komponenter som er ment å integrere det deepfaked ansiktet i konteksten av ‘historisk’ eller lavere kvalitets video ved å forringe det genererte ansiktet. I DeepFaceLab, gjør bicubic_degrade_power-parameteren dette, og i FaceSwap, hjelper ‘grain’-innstillingen i Ffmpeg-konfigurasjonen også med å integrere det falske ansiktet ved å bevare kornet under kodning*.

Den ‘grain’-innstillingen i FaceSwap hjelper med å autentisk integrere i ikke-HQ-video-innhold, og legacy-innhold som kan ha film-korn-effekter som er relativt sjeldne i dag.

Ofte, i stedet for en fullstendig og integrert deepfake-video, vil deepfakers utgang en isolert serie PNG-filer med alpha-kanaler, hvor hver bilde viser bare det syntetiske ansiktet, så at bilde-strømmen kan konverteres til video på plattformer med mer avanserte ‘forringende‘-effekter, som Adobe After Effects, før det falske og virkelige elementene slås sammen for den endelige videoen.

Foruten disse intentionelle forringelsene, er innholdet av deepfake-arbeid ofte rekompresert, enten algoritmisk (hvor sosiale medie-plattformer søker å spare båndbredde ved å produsere lettere versjoner av brukernes lastinger) på plattformer som YouTube og Facebook, eller ved ombehandling av det originale arbeidet til animerte GIF-er, detalj-seksjoner eller andre divers motiverende arbeidsflyter som behandler den originale utgaven som en startpunkt, og deretter introduserer ytterligere kompresjon.

Realistiske Deepfake-Deteksjons-Kontekster

Med dette i mente, har en ny artikkel fra Sveits foreslått en revurdering av metodologien bak deepfake-deteksjons-tilnærmingene, ved å lære deteksjonssystemer å lære karakteristikker av deepfake-innhold når det presenteres i bevisst forringede kontekster.

Stokastisk data-forsterkning anvendt på ett av datasettene brukt i den nye artikkelen, med Gaussian-støy, gamma-korreksjon og Gaussian-blur, samt artefakter fra JPEG-kompresjon. Kilde: https://arxiv.org/pdf/2203.11807.pdf

I den nye artikkelen, argumenterer forskerne for at banebrytende deepfake-deteksjonspakker er avhengige av urealistiske benchmark-forhold for konteksten av de metrikker de anvender, og at ‘forringede’ deepfake-utgang kan falle under den minimale kvalitetsgrensen for deteksjon, selv om deres realistisk ‘grungy’ innhold sannsynligvis vil bedra seere på grunn av en korrekt oppmerksomhet på kontekst.

Forskerne har institusjonalisert en ny ‘verden’ data-forringelsesprosess som lykkes i å forbedre generaliserbarheten av ledende deepfake-detektorer, med bare marginale tap av nøyaktighet på de originale deteksjonsratene oppnådd av ‘ren’ data. De tilbyr også en ny vurderingsramme som kan evaluere robustheten til deepfake-detektorer i virkelige forhold, støttet av omfattende ablasjonsstudier.

Den artikkelen heter En Ny Tilnærming til å Forbedre Lærings-basert Deepfake-Deteksjon i Realistiske Forhold, og kommer fra forskere ved Multimedia Signal Processing Group (MMSPG) og Ecole Polytechnique Federale de Lausanne (EPFL), begge basert i Lausanne.

Nyttig Forvirring

Tidligere forsøk på å inkorporere forringet utgang i deepfake-deteksjons-tilnærmingene inkluderer Mixup neural nettverk, en 2018-tilbud fra MIT og FAIR, og AugMix, en 2020-samarbeid mellom DeepMind og Google, begge data-forsterkningsmetoder som forsøker å ‘muddy’ treningmaterialet på en måte som er tilbøyelig til å hjelpe generalisering.

Forskerne i det nye arbeidet noterer også tidligere studier som anvendte Gaussian-støy og kompresjonsartefakter til treningdata for å etablere grensene for forholdet mellom en avledet funksjon og støyen den er innkapslet i.

Den nye studien tilbyr en pipeline som simulerer de kompromitterte forholdene for både innkjøpsprosessen for bilde og kompresjon og andre algoritmer som kan ytterligere forringe bilde-utgang i distribusjonsprosessen. Ved å inkorporere denne virkelige arbeidsflyten i en vurderingsramme, er det mulig å produsere treningdata for deepfake-detektorer som er mer motstandsdyktig mot artefakter.

Den konseptuelle logikken og arbeidsflyten for den nye tilnærmingen.

Forringelsesprosessen ble anvendt på to populære og vellykkede datasett brukt for deepfake-deteksjon: FaceForensics++ og Celeb-DFv2. I tillegg ble ledende deepfake-detektor-rammeverk Capsule-Forensics og XceptionNet trent på de forringede versjonene av de to datasettene.

Detektorerne ble trent med Adam-optimizeren for 25 og 10 epoker henholdsvis. For datasett-omformingen, ble 100 rammeverk tilfeldig samplet fra hver trening-video, med 32 rammeverk trukket ut for testing, før tilføyelsen av forringelsesprosesser.

De forstyrrelser som ble vurdert for arbeidsflyten var støy, hvor null-middel Gaussian-støy ble anvendt på seks varierende nivåer; omstørrelse, for å simulere den reduserte oppløsningen av typisk utendørs-opptak, som kan typisk påvirke detektorer; kompresjon, hvor varierende JPEG-kompresjonsnivåer ble anvendt på data; glattgjøring, hvor tre typiske glattgjøring-filtre brukt i ‘støy-reduksjon’ ble vurdert for rammeverket; forbedring, hvor kontrast og lysstyrke ble justert; og kombinasjoner, hvor noen av de ovennevnte metodene ble anvendt samtidig på ett bilde.

Testing og Resultater

Ved testing av data, anvendte forskerne tre metrikker: Nøyaktighet (ACC); Område Under Mottaker-Operatør-Karakteristikk-Kurve (AUC); og F1-score.

Forskerne testet standard-trent versjoner av de to deepfake-detektorer mot de forringede data, og fant dem mangelfulle:

‘I generell, er de fleste realistiske forstyrrelser og prosesser ekstremt skadelige for normalt trent lærings-basert deepfake-detektorer. For eksempel, viser Capsule-Forensics-metoden svært høye AUC-poeng på både ukomprimerte FFpp og Celeb-DFv2-testsett etter trening på respektive datasett, men lider deretter av drastisk ytelsesfall på modifisert data fra vår vurderingsramme. Lignende trender har vært observert med XceptionNet-detektoren.’

I motsetning til dette, var ytelsen til de to detektorerne merkbart forbedret ved å bli trent på de transformerte data, med hver detektor nå mer i stand til å detektere usette bedragerske medier.

‘Data-forsterknings-scheme forbedrer betydelig robustheten til de to detektorerne og samtidig opprettholder de høye prestasjonene på original, uendret data.’

Ytelses-sammenligninger mellom de rå og forsterkede datasett brukt på de to deepfake-detektorer evaluert i studien.

Artikkelen konkluderer:

‘Gjeldende deteksjonsmetoder er designet for å oppnå så høy ytelse som mulig på bestemte benchmark. Dette resulterer ofte i å ofre generaliserbarhet til mer realistiske scenarioer. I denne artikkelen, er en nøye konseptualisert data-forsterknings-scheme basert på naturlig bilde-forringelsesprosess foreslått.

‘Omfattende eksperimenter viser at den enkle, men effektive teknikken forbedrer betydelig modell-robustheten mot forskjellige realistiske forstyrrelser og prosesser i typiske bilde-arbeidsflyter.’

* Matching grain i det genererte ansiktet er en funksjon av stil-overføring under konverteringsprosessen.

Først publisert 29. mars 2022. Oppdatert 8:33 pm EST for å forklare korn-bruk i Ffmpeg.