Dybdeinformasjon kan avsløre deepfakes i sanntid

Ny forskning fra Italia har funnet ut at dybdeinformasjon fra bilder kan være et nyttig verktøy for å oppdage deepfakes – selv i sanntid.

Whereas majoriteten av forskningen på deepfake-oppdaging de siste fem årene har konsentrert seg om artefaktidentifikasjon (som kan mildnes ved bedre teknikk, eller forveksles med dårlig video-kodek-komprimering), omgivelsesbelysning, biometriske trekk, tidsmessig forstyrrelse, og sogar menneskelig instinkt, er den nye studien den første som foreslår at dybdeinformasjon kan være en verdifull nøkkel for å oppdage deepfake-innhold.

Eksempler på avledede dybdekarter, og forskjellen i perseptiv dybdeinformasjon mellom ekte og falske bilder. Kilde: https://arxiv.org/pdf/2208.11074.pdf

Kritisk, detekteringsrammeverk utviklet for den nye studien fungerer svært godt på et lett nettverk som Xception, og akseptabelt godt på MobileNet, og den nye artikkelen erkjenner at den lave forsinkelsen ved inferens som tilbys gjennom slike nettverk kan muliggjøre sanntids-oppdaging av deepfakes mot den nye trenden mot live deepfake-svindel, eksemplifisert av det nylige angrepet på Binance.

Større økonomi i inferenstid kan oppnås fordi systemet ikke trenger fullfargede bilder for å bestemme forskjellen mellom falske og ekte dybdekarter, men kan fungere overraskende effektivt bare på gråskala-bilder av dybdeinformasjonen.

Forfatterne skriver: ‘Dette resultatet viser at dybde i dette tilfelle bidrar mer relevant til klassifisering enn fargeartefakter.’

Funnene representerer en del av en ny bølge av deepfake-oppdaging-forskning rettet mot sanntids-ansikts-syntese-systemer som DeepFaceLive – et fokusområde som har akselerert betydelig de siste 3-4 månedene, i kjølvannet av FBIs advarsel i mars om risikoen for sanntids-video- og lyd-deepfakes.

Den artikkelen heter DepthFake: en dybde-basert strategi for å oppdage Deepfake-videoer, og kommer fra fem forskere ved Sapienza Universitetet i Roma.

Kanttilfeller

Under trening, prioriterer autoencoder-baserte deepfake-modeller de indre regionene av ansiktet, som øyne, nese og munn. I de fleste tilfeller, over åpne kildekoder som DeepFaceLab og FaceSwap (begge forket fra den originale 2017 Reddit-koden før den ble slettet), blir de ytre linjene av ansiktet ikke godt definert før en svært sen fase i trening, og er det usannsynlig at de vil matche kvaliteten på syntesen i det indre ansiktsområdet.

Fra en tidligere studie, ser vi en visualisering av ‘saliency-kart’ av ansiktet. Kilde: https://arxiv.org/pdf/2203.01318.pdf

Vanligvis, er dette ikke viktig, siden vår tendens til å fokusere først på øyne og prioritere ‘utwards’ med avtagende nivåer av oppmerksomhet betyr at vi er det usannsynlig at vi blir forstyrret av disse nedgangene i perifer kvalitet – spesielt hvis vi snakker direkte til personen som feigner en annen identitet, som utløser sosiale konvensjoner og prosesseringsbegrensninger som ikke er til stede når vi vurderer ‘rendret’ deepfake-film.

Likevel, kan mangel på detalj eller nøyaktighet i de berørte margin-områdene av et deepfaket ansikt oppdages algoritmisk. I mars, ble et system som nøkler på det perifere ansiktsområdet annonsert. Men, siden det krever en over-gjennomsnittlig mengde treningdata, er det bare ment for kjendiser som sannsynligvis vil være med i populære ansiktsdatasett (som ImageNet) som har proveniens i nåværende datavisning og deepfake-oppdagingsteknikker.

I stedet, kan det nye systemet, kalt DepthFake, fungere generisk selv på obskure eller ukjente identiteter, ved å skille kvaliteten på estimert dybdekart-informasjon i ekte og falske video-innhold.

Dykk dypt

Dybdekart-informasjon blir stadig mer innbygget i smarttelefoner, inkludert AI-assisterte stereo-implementeringer som er spesielt nyttige for datavisningsstudier. I den nye studien, har forfatterne brukt National University of Irelands FaceDepth-modell, en konvolusjonell encoder/decoder-nettverk som kan effektivt estimere dybdekarter fra enkeltkilde-bilder.

FaceDepth-modellen i aksjon. Kilde: https://tinyurl.com/3ctcazma

Neste, pipeline for de italienske forskernes nye rammeverk trekker ut et 224×224 piksel-stykke av subjektets ansikt fra både det originale RGB-bildet og det avledede dybdekartet. Kritisk, dette tillater prosessen å kopiere over core-innhold uten å endre størrelsen; dette er viktig, siden størrelse-justeringsalgoritmer vil negativt påvirke kvaliteten på de målrettede områdene.

Med denne informasjonen, fra både ekte og deepfakede kilder, trente forskerne et konvolusjonelt neuralt nettverk (CNN) i stand til å skille ekte fra fakede eksempler, basert på forskjellene mellom perseptiv kvalitet på de respektive dybdekartene.

Konseptuell pipeline for DepthFake.

FaceDepth-modellen er trent på realistisk og syntetisk data med en hybrid-funksjon som tilbyr større detalj på de ytre marginene av ansiktet, noe som gjør den godt egnet for DepthFake. Den bruker en MobileNet-eksemplar som en funksjons-ekstraktor, og ble trent med 480×640-innputt-bilder som produserte 240×320-dybdekarter. Hver dybdekart representerer en fjerdedel av de fire inngangs-kanalene som brukes i prosjektets diskriminatore.

Dybdekartet blir automatisk innbygget i det originale RGB-bildet for å gi den type RGBD-bilde, fullt av dybdeinformasjon, som moderne smarttelefon-kameraer kan produsere.

Trening

Modellen ble trent på et Xception-nettverk som allerede var forhåndstrengt på ImageNet, selv om arkitekturen trengte noen tilpasninger for å kunne håndtere den ekstra dybdeinformasjonen samtidig som den opprettholdt riktig initialisering av vekter.

I tillegg, nødvendighet av å normalisere verdiene til 0-255 på grunn av en misforhold mellom dybdeinformasjonen og hva nettverket forventer.

Under trening, ble bare flipp og rotasjon brukt. I mange tilfeller ville forskjellige andre visuelle forstyrrelser bli presentert for modellen for å utvikle robust inferens, men nødvendigheten av å bevare den begrensede og svært skjøre kant-dybdeinformasjonen i kildebildene tvang forskerne til å adoptere en nedskaleringsregime.

Systemet ble også trent på enkel 2-kanals gråskala, for å bestemme hvor komplekse kildebildene måtte være for å få en fungerende algoritme.

Trening skjedde via TensorFlow API på en NVIDIA GTX 1080 med 8GB VRAM, ved hjelp av ADAMAX-optimatoren, i 25 epoker, med en batch-størrelse på 32. Innputt-oppløsning var fast på 224×224 under kropping, og ansiktsgjenkjenning og -ekstraksjon ble gjort med dlib C++-biblioteket.

Resultater

Nøyaktigheten av resultater ble testet mot Deepfake, Face2Face, FaceSwap, Neural Texture, og det fullstendige datasettet med RGB- og RGBD-innputt, ved hjelp av FaceForensic++-rammeverket.

Resultater på nøyaktighet over fire deepfake-metoder, og mot det fullstendige usplittede datasettet. Beste resultater er i fet skrift, med prosenttall under som demonstrerer omfanget av hvilken dybdeinformasjonen forbedrer utfallet.

I alle tilfeller, forbedrer dybdekanalen modellens ytelse over alle konfigurasjoner. Xception oppnår de beste resultater, med den raskere MobileNet like bak. Om dette, kommenterer forfatterne:

‘[Det] er interessant å merke seg at MobileNet er litt dårligere enn Xception og overgår den dypere ResNet50. Dette er et bemerkelsesverdig resultat når man tar hensyn til målet om å redusere inferenstider for sanntids-applikasjoner. Selv om dette ikke er hovedbidraget i denne studien, ser vi på det likevel som et oppmuntrende resultat for fremtidige utviklinger.’

Forskerne merker også en konsekvent fordel av RGBD- og 2-kanals gråskala-innputt over RGB- og rett gråskala-innputt, og observerer at gråskala-omformningene av dybde-estimater, som er komputasjonelt svært billige, tillater modellen å oppnå forbedrede resultater med svært begrensede lokale ressurser, og muliggjør fremtidig utvikling av sanntids-deepfake-oppdaging basert på dybdeinformasjon.

Først publisert 24. august 2022.