Dybdeinformation kan afsløre deepfakes i realtid

Nyt forskning fra Italien har fundet, at dybdeinformation, der er erhvervet fra billeder, kan være et nyttigt værktøj til at opdage deepfakes – selv i realtid.

Whereas størstedelen af forskningen i deepfake-detektion over de sidste fem år har koncentreret sig om artefaktidentifikation (som kan afhjælpes af forbedrede teknikker eller forveksles med dårlig video-kodek-komprimering), omgivelsesbelysning, biometriske egenskaber, temporal forstyrrelse og sogar menneskelig intuition, er den nye studie den første til at foreslå, at dybdeinformation kunne være en værdifuld nøgle til deepfake-indhold.

Eksempler på afledte dybdekort og forskellen i perceptuel dybdeinformation mellem rigtige og falske billeder. Kilde: https://arxiv.org/pdf/2208.11074.pdf

Kritisk, detektionsrammer udviklet til den nye studie fungerer meget godt på et letvægtsnetværk som Xception, og acceptabelt godt på MobileNet, og den nye artikel erkender, at den lave forsinkelse af slutning tilbudt gennem sådanne netværk kan aktivere deepfake-detektion i realtid mod den nye trend mod live deepfake-svindel, eksemplificeret af den seneste angreb på Binance.

Større økonomi i slutningstid kan opnås, fordi systemet ikke behøver fuld-farve-billeder for at bestemme forskellen mellem falske og rigtige dybdekort, men kan fungere overraskende effektivt alene på gråtone-billeder af dybdeinformationen.

Forfatterne skriver: ‘Dette resultat viser, at dybde i denne sag bidrager mere til klassificering end farvearter.’

Fundene repræsenterer en del af en ny bølge af deepfake-detektionsforskning rettet mod realtids-ansigtssyntese-systemer såsom DeepFaceLive – et fokusområde, der har accelereret betydeligt i de sidste 3-4 måneder, i kølvandet på FBI’s advarsel i marts om risikoen for realtids-video- og lyd-deepfakes.

Den artikel har titlen DepthFake: en dybde-baseret strategi for at detektere Deepfake-videoer og kommer fra fem forskere ved Sapienza Universitetet i Rom.

Kanter tilfælde

Under træning prioriterer autoencoder-baserede deepfake-modeller de indre regioner af ansigtet, såsom øjne, næse og mund. I de fleste tilfælde, på tværs af open source-distributioner såsom DeepFaceLab og FaceSwap (begge forkede fra den originale 2017 Reddit-kode før dens sletning), bliver de ydre linjer af ansigtet ikke godt defineret, før en meget sen fase i træningen, og er det ikke sandsynligt, at de vil matche kvaliteten af syntese i den indre ansigtsområde.

Fra en tidligere studie ser vi en visualisering af ‘saliency-kort’ af ansigtet. Kilde: https://arxiv.org/pdf/2203.01318.pdf

Normalt er dette ikke vigtigt, da vores tendens til at fokusere først på øjne og prioritere ‘udad’ på aftagende niveauer af opmærksomhed betyder, at vi er det ikke sandsynligt, at vi vil blive forstyrret af disse fald i perifer kvalitet – især hvis vi taler live til personen, der fabrikerer en anden identitet, hvilket udløser sociale konventioner og bearbejdningsbegrænsninger, der ikke er til stede, når vi vurderer ‘renderede’ deepfake-optagelser.

Men manglen på detaljer eller præcision i de berørte marginområder af et deepfakes ansigt kan detekteres algoritmissk. I marts blev et system, der er baseret på den perifere ansigtsområde, annonceret. Men da det kræver en over-gennemsnitlig mængde træningsdata, er det kun beregnet til kendisser, der sandsynligvis vil være med i populære ansigtsdata (såsom ImageNet), der har proveniens i aktuelle computer-vision og deepfake-detektions-teknikker.

I stedet kan det nye system, titlen DepthFake, fungere generisk, selv på obskure eller ukendte identiteter, ved at skelne kvaliteten af estimeret dybde-kort-information i rigtige og falske video-optagelser.

Gå dybt

Dybde-kort-information er mere og mere integreret i smartphones, herunder AI-assisterede stereo-implementationer, der er særligt nyttige til computer-vision-studier. I den nye studie har forfatterne brugt National University of Irelands FaceDepth-model, en convolutional encoder/decoder-netværk, der kan effektivt estimere dybde-kort fra enkeltkilde-billeder.

FaceDepth-modellen i aktion. Kilde: https://tinyurl.com/3ctcazma

Derefter udtrækker pipeline’en for de italienske forskeres nye ramme et 224×224 pixel-stykke af subjektets ansigt fra både det originale RGB-billede og det afledte dybde-kort. Kritisk tillader dette processen at kopiere over kerneindhold uden at ændre størrelsen; dette er vigtigt, da størrelse-standard-ændringsalgoritmer vil påvirke kvaliteten af de målrettede områder negativt.

Med denne information fra både rigtige og deepfakes-kilder trænede forskerne derefter et convolutional neural netværk (CNN), der kan skelne mellem rigtige og falske eksemplarer, baseret på forskellene mellem den perceptuelle kvalitet af de respektive dybde-kort.

Konceptuel pipeline for DepthFake.

FaceDepth-modellen er trænet på realistisk og syntetisk data ved hjælp af en hybrid-funktion, der tilbyder større detaljer ved den ydre kant af ansigtet, hvilket gør den velegnet til DepthFake. Den bruger en MobileNet-forekomst som funktion-udtrækker og blev trænet med 480×640 input-billeder, der producerer 240×320 dybde-kort. Hvert dybde-kort repræsenterer en fjerdedel af de fire input-kanaler, der bruges i det nye projekts diskriminator.

Dybde-kortet indlejres automatisk i det originale RGB-billede for at give den type RGBD-billede, der er fuldt af dybdeinformation, som moderne smartphone-kameraer kan producere.

Træning

Modellen blev trænet på et Xception-netværk, der allerede var fortrænet på ImageNet, selvom arkitekturen havde brug for nogen tilpasning for at kunne rumme den ekstra dybdeinformation, samtidig med at den opretholdt den korrekte initialisering af vægte.

Dertil var der en mislighed i værdi-række mellem dybdeinformationen og det, som netværket forventede, nødvendiggjorde, at forskerne normaliserede værdierne til 0-255.

Under træning blev kun flipping og rotation anvendt. I mange tilfælde ville forskellige andre visuelle forstyrrelser blive præsenteret for modellen for at udvikle robust slutning, men nødvendigheden af at bevare den begrænsede og meget sårbar kant-dybde-kort-information i kilde-fotografierne tvang forskerne til at adoptere en nedskaleringsregime.

Systemet blev desuden trænet på enkel 2-kanal gråtone for at bestemme, hvor komplekse kilde-billederne behøvede at være for at opnå en fungerende algoritme.

Træning fandt sted via TensorFlow-API’en på en NVIDIA GTX 1080 med 8 GB VRAM, ved hjælp af ADAMAX-optimizeren, i 25 epocher, med en batch-størrelse på 32. Input-opløsning var fastsat til 224×224 under udskæring, og ansigt-detektion og -udtrækning blev udført med dlib C++-biblioteket.

Resultater

Nøjagtigheden af resultaterne blev testet mod Deepfake, Face2Face, FaceSwap, Neural Texture og det fulde dataset med RGB- og RGBD-input, ved hjælp af FaceForensic++-rammen.

Resultater for nøjagtighed over fire deepfake-metoder og mod det fulde, usplittede dataset. De bedste resultater er i fed, med procent-tal under, der demonstrerer, i hvilken udstrækning dybde-kort-informationen forbedrer resultatet.

I alle tilfælde forbedrer dybde-kanalen modellens præstation over alle konfigurationer. Xception opnår de bedste resultater, med den agile MobileNet tæt på. Om dette kommenterer forfatterne:

‘[Det] er interessant at bemærke, at MobileNet er lidt ringere end Xception og overgår den dybere ResNet50. Dette er et bemærkelsesværdigt resultat, når man tænker på målet om at reducere slutningstider for realtids-applikationer. Selvom dette ikke er den primære bidrag fra dette arbejde, betragter vi det stadig som et opmuntrende resultat for fremtidige udviklinger.’

Forskerne bemærker også en konsekvent fordel af RGBD- og 2-kanal-gråtone-input over RGB- og direkte gråtone-input, og observerer, at gråtone-konverteringer af dybde-estimater, der er computermæssigt meget billige, tillader modellen at opnå forbedrede resultater med meget begrænsede lokale ressourcer, hvilket faciliterer den fremtidige udvikling af realtids deepfake-detektion baseret på dybdeinformation.

Først udgivet 24. august 2022.