Troværdighed vs. Realisme i Deepfake-Videoer

Ikke alle deepfake-praktikere deler det samme mål: drivkraften bag billedsyntheseforskningssektoren – støttet af indflydelsesrige forkæmpere som Adobe, NVIDIA og Facebook – er at fremme tilstanden for kunsten, så maskinlæringsmetoder kan genskabe eller syntetisere menneskelig aktivitet i høj opløsning og under de mest udfordrende forhold (troværdighed).

I modsætning hertil er målet for dem, der ønsker at bruge deepfake-teknologier til at sprede desinformation, at skabe troværdige simulationer af rigtige mennesker ved mange andre metoder end blot sandheden i deepfakede ansigter. I denne situation er tilhørende faktorer som kontekst og troværdighed næsten lige så vigtige som en videos potentiale til at simulere ansigter (realisme).

Dette ‘sleight-of-hand’-tilgang udstrækker sig til forringelsen af den endelige billedkvalitet af en deepfake-video, så hele videoen (og ikke kun den bedragende del, der er repræsenteret af et deepfaked ansigt) har en samlet ‘look’, der er præcis for den forventede kvalitet til mediet.

‘Samlet’ behøver ikke at betyde ‘god’ – det er nok, at kvaliteten er konsekvent over det originale og det indsatte, ændrede indhold, og overholder forventningerne. I forhold til VOIP-streaming-udgang på platforme som Skype og Zoom kan standarden være bemærkelsesværdigt lav, med stuttering, hakket video og en række mulige kompressionsarter, samt ‘smoothing’-algoritmer designet til at reducere deres effekter – som i sig selv udgør en yderligere række ‘uægte’ effekter, som vi har accepteret som følgesvende til begrænsningerne og ekscentriciteterne i live-streaming.

DeepFaceLive i aktion: denne streamingversion af premier deepfakes-software DeepFaceLab kan give kontekstuel realisme ved at præsentere fakes i konteksten af begrænset video-kvalitet, komplet med afspilningsproblemer og andre hyppige forbindelsesarter. Kilde: https://www.youtube.com/watch?v=IL517EgYH8U

Indbygget Forringelse

I virkeligheden indeholder de to mest populære deepfake-pakker (begge afledt fra den kontroversielle 2017-kildekode) komponenter, der er designet til at integrere det deepfakede ansigt i konteksten af ‘historisk’ eller lavkvalitetsvideo ved at forringe det genererede ansigt. I DeepFaceLab udføres dette af bicubic_degrade_power-parametren, og i FaceSwap hjælper ‘grain’-indstillingen i Ffmpeg-konfigurationen med at integrere det falske ansigt ved at bevare grain under kodning*.

Den ‘grain’-indstilling i FaceSwap hjælper med at integrere det falske ansigt i non-HQ-videoindhold og ældre indhold, der kan have filmkornseffekter, der er ret sjældne i dag.

Ofte udgør deepfakers ikke en fuldstændig og integreret deepfake-video, men udgiver i stedet en isoleret række PNG-filer med alpha-kanaler, hvor hvert billede kun viser det syntetiske ansigt, så billedstrømmen kan konverteres til video på platforme med mere avancerede ‘forringelses’-effekter, såsom Adobe After Effects, før det falske og det ægte indhold samles til den endelige video.

Foruden disse intentionelle forringelser genkompresseres deepfake-indhold ofte, enten algorithmisk (hvor sociale medie-platforme søger at spare båndbredde ved at producere lettere versioner af brugernes uploads) på platforme som YouTube og Facebook, eller ved at omarbejde det originale arbejde til animerede GIF’er, detaljesektioner eller andre divers motiverede arbejdsprocesser, der behandler det originale udgivelse som udgangspunkt og herefter introducerer yderligere kompression.

Realistiske Deepfake-Detektionskontekster

Med dette i mente har en ny artikel fra Schweiz foreslået en omstrukturering af metoden bag deepfake-detektions-tilgange ved at lære detektionssystemer at lære karakteristikkerne af deepfake-indhold, når det præsenteres i bevidst forringede kontekster.

Stokastisk data-forstærkning anvendt på en af datasets, der blev brugt i den nye artikel, med Gaussisk støj, gamma-korrektion og Gaussisk blur, samt artefakter fra JPEG-kompression. Kilde: https://arxiv.org/pdf/2203.11807.pdf

I den nye artikel argumenterer forskerne for, at førende deepfake-detektions-pakker er afhængige af urealistiske benchmark-betingelser for konteksten af de metrikker, de anvender, og at ‘forringede’ deepfake-udgang kan falde under den minimale kvalitetsgrænse for detektion, selvom deres realistisk ‘grusomme’ indhold sandsynligvis vil narre seerne på grund af en korrekt opmærksomhed på konteksten.

Forskerne har etableret en ny ‘realverden’-data-forringelsesproces, der lykkes i at forbedre generaliserbarheden af førende deepfake-detektionssystemer, med kun en marginal tab af nøjagtighed på de oprindelige detektionsrater, der blev opnået ved ‘ren’ data. De tilbyder også en ny vurderingsramme, der kan evaluere robustheden af deepfake-detektionssystemer i realverdensbetingelser, understøttet af omfattende ablationsstudier.

Artiklen hefter titlen En Ny Tilgang Til At Forbedre Læringsbaseret Deepfake-Detektion I Realistiske Betingelser og kommer fra forskere ved Multimedia Signal Processing Group (MMSPG) og Ecole Polytechnique Federale de Lausanne (EPFL), begge beliggende i Lausanne.

Nyttig Forvirring

Tidligere forsøg på at inkorporere forringet udgang i deepfake-detektions-tilgange omfatter Mixup-neuralt netværk, et tilbud fra MIT og FAIR i 2018, og AugMix, et samarbejde mellem DeepMind og Google i 2020, begge data-forstærkningsmetoder, der forsøger at ‘forgøre’ træningsmaterialet på en måde, der er tilbøjelig til at hjælpe generaliseringen.

Forskerne bag det nye arbejde bemærker også tidligere studier, der anvendte Gaussisk støj og kompressionsarter til træningsdata for at etablere grænserne for forholdet mellem en afledt funktion og støjen, den er indlejret i.

Det nye studie tilbyder en pipeline, der simulerer de kompromitterede betingelser for både billedacquisitionsprocessen og kompressions- og andre algoritmer, der kan yderligere forringe billedudgangen under distributionsprocessen. Ved at inkorporere denne realverdens-arbejdsproces i en vurderingsramme er det muligt at producere træningsdata for deepfake-detektionssystemer, der er mere modstandsdygtige over for artefakter.

Den konceptuelle logik og arbejdsproces for den nye tilgang.

Forringelsesprocessen blev anvendt på to populære og succesfulde datasets, der blev brugt til deepfake-detektion: FaceForensics++ og Celeb-DFv2. Derudover blev førende deepfake-detektions-rammer Capsule-Forensics og XceptionNet trænet på de forringede versioner af de to datasets.

Detektionssystemerne blev trænet med Adam-optimizeren i 25 og 10 epocher henholdsvis. For dataset-transformationen blev 100 rammer tilfældigt udvalgt fra hver træningsvideo, og 32 rammer blev udtrukket til test, før tilføjelse af forringelsesprocesser.

De forringelser, der blev overvejet i arbejdsprocessen, var støj, hvor Gaussisk støj med nul-gennemsnit blev anvendt på seks varierende niveauer; omstørrelse, for at simulere den reducerede opløsning af typisk udendørs-optagelser, der kan typisk påvirke detektionssystemer; kompression, hvor varierende JPEG-kompressionsniveauer blev anvendt på tværs af data; smoothing, hvor tre typiske smoothing-filtre, der blev anvendt i ‘støjreduktion’, blev vurderet for rammen; forbedring, hvor kontrast og lysstyrke blev justeret; og kombinationer, hvor en hvilken som helst kombination af tre af de ovennævnte metoder blev anvendt samtidigt på et enkelt billede.

Test og Resultater

Ved test af data blev følgende tre metrikker anvendt: Nøjagtighed (ACC); Areal Under Modtagerens Operationskurve (AUC); og F1-score.

Forskerne testede standard-trænet versioner af de to deepfake-detektionssystemer mod de forringede data og fandt dem mangelfulde:

‘I almindelighed er de fleste realistiske forringelser og processer ekstremt skadelige for normalt trænet læringsbaseret deepfake-detektion. For eksempel viser Capsule-Forensics-metoden meget høje AUC-score på både ukomprimeret FFpp og Celeb-DFv2-testsat efter træning på respektive datasets, men lider herefter under dramatisk præstationsfald på ændret data fra vores vurderingsramme. Lignende tendenser er blevet observeret med XceptionNet-detektion.’

I modsætning hertil var præstationen af de to detektionssystemer bemærkelsesværdigt forbedret ved at blive trænet på de transformeret data, hvor hver detektor nu var mere i stand til at detektere usete bedrageriske medier.

‘Data-forstærkningsskemaet forbedrer betydeligt robustheden af de to detektionssystemer og samtidig opretholder de høje præstationer på oprindeligt, uændret data.’

Præstations-sammenligninger mellem de rå og forstærkede datasets, der blev anvendt på tværs af de to deepfake-detektionssystemer, der blev vurderet i studiet.

Artiklen slutter:

‘Aktuelle detektionsmetoder er designet til at opnå så høj præstation som muligt på bestemte benchmarks. Dette resulterer ofte i, at generaliserings-evnen ofres for mere realistiske scenarier. I denne artikel er en omhyggeligt konceptueret data-forstærkningsskema baseret på naturlig billedforringelsesproces foreslået.

‘Omfattende eksperimenter viser, at den simple, men effektive teknik betydeligt forbedrer modellens robusthed mod forskellige realistiske forringelser og procesoperationer i typiske billedbehandlingsarbejdsprocesser.’

* Matching grain i det genererede ansigt er en funktion af stiloverføring under omvendingsprocessen.

Udgivet første gang 29. marts 2022. Opdateret kl. 20:33 EST for at klargøre grain-brug i Ffmpeg.