Andersons vinkel

Dybdeinformasjon kan avsløre deepfakes i sanntid

Martin Anderson
Legg til Unite.AI blant dine foretrukne kilder på Google
Viktige punkterDybdekart muliggjør sanntidsdeteksjon av deepfakes på lette nettverk som MobileNet.
Vis mer
  • Dybdekart muliggjør sanntidsdeteksjon av deepfakes på lette nettverk som MobileNet.
  • Unøyaktigheter i dybdeinformasjon i ansiktets periferi avslører deepfakes selv for ukjente identiteter.
  • Gråtone-dybdekart alene overgår fullfargebilder i nøyaktighet for klassifisering av deepfakes.

Ny forskning fra Italia har funnet ut at dybdeinformasjon fra bilder kan være et nyttig verktøy for å oppdage deepfakes – selv i sanntid.

Mens majoriteten av forskningen på deepfake-oppdaging de siste fem årene har konsentrert seg om artefaktidentifikasjon (som kan mildnes ved bedre teknikk, eller forveksles med dårlig video-kodek-komprimering), omgivelsesbelysning, biometriske trekk, tidsmessig forstyrrelse, og til og med menneskelig instinkt, er den nye studien den første som foreslår at dybdeinformasjon kan være en verdifull nøkkel for å oppdage deepfake-innhold.

Eksempler på avledede dybdekarter, og forskjellen i perseptiv dybdeinformasjon mellom ekte og falske bilder. Kilde: https://arxiv.org/pdf/2208.11074.pdf

Eksempler på avledede dybdekarter, og forskjellen i perseptiv dybdeinformasjon mellom ekte og falske bilder. Kilde: https://arxiv.org/pdf/2208.11074.pdf

Kritisk, detekteringsrammeverk utviklet for den nye studien fungerer svært godt på et lett nettverk som Xception, og akseptabelt godt på MobileNet, og den nye artikkelen erkjenner at den lave forsinkelsen ved inferens som tilbys gjennom slike nettverk kan muliggjøre sanntids-oppdaging av deepfakes mot den nye trenden mot live deepfake-svindel, eksemplifisert av det nylige angrepet på Binance.

Større økonomi i inferenstid kan oppnås fordi systemet ikke trenger fullfargede bilder for å bestemme forskjellen mellom falske og ekte dybdekarter, men kan fungere overraskende effektivt bare på gråskala-bilder av dybdeinformasjonen.

Forfatterne skriver: ‘Dette resultatet viser at dybde i dette tilfelle bidrar mer relevant til klassifisering enn fargeartefakter.’

Funnene representerer en del av en ny bølge av deepfake-oppdaging-forskning rettet mot sanntids-ansikts-syntese-systemer som DeepFaceLive – et fokusområde som har akselerert betydelig de siste 3-4 månedene, i kjølvannet av FBIs advarsel i mars om risikoen for sanntids-video- og lyd-deepfakes.

Artikkelen heter DepthFake: en dybde-basert strategi for å oppdage Deepfake-videoer, og kommer fra fem forskere ved Sapienza Universitetet i Roma.

Kanttilfeller

Under trening, prioriterer autoencoder-baserte deepfake-modeller de indre regionene av ansiktet, som øyne, nese og munn. I de fleste tilfeller, over åpne kildekoder som DeepFaceLab og FaceSwap (begge forket fra den originale 2017 Reddit-koden før den ble slettet), blir de ytre linjene av ansiktet ikke godt definert før en svært sen fase i trening, og er det usannsynlig at de vil matche kvaliteten på syntesen i det indre ansiktsområdet.

Fra en tidligere studie, ser vi en visualisering av 'saliency-kart' av ansiktet. Kilde: https://arxiv.org/pdf/2203.01318.pdf

Fra en tidligere studie, ser vi en visualisering av ‘saliency-kart’ av ansiktet. Kilde: https://arxiv.org/pdf/2203.01318.pdf

Vanligvis, er dette ikke viktig, siden vår tendens til å fokusere først på øyne og prioritere ‘utover’ med avtagende nivåer av oppmerksomhet betyr at det er usannsynlig at vi blir forstyrret av disse nedgangene i perifer kvalitet – spesielt hvis vi snakker direkte til personen som utgir seg for å være en annen, som utløser sosiale konvensjoner og prosesseringsbegrensninger som ikke er til stede når vi vurderer ‘rendret’ deepfake-film.

Likevel, kan mangel på detalj eller nøyaktighet i de berørte margin-områdene av et deepfaket ansikt oppdages algoritmisk. I mars, ble et system som fokuserer på ansiktets ytterområder annonsert. Men, siden det krever en over-gjennomsnittlig mengde treningdata, er det bare ment for kjendiser som sannsynligvis vil være med i populære ansiktsdatasett (som ImageNet) som har proveniens i dagens datasyn og deepfake-oppdagingsteknikker.

I stedet, kan det nye systemet, kalt DepthFake, fungere generisk selv på obskure eller ukjente identiteter, ved å skille kvaliteten på estimert dybdekart-informasjon i ekte og falske video-innhold.

Dykk dypt

Dybdekart-informasjon blir stadig mer innbygget i smarttelefoner, inkludert AI-assisterte stereo-implementeringer som er spesielt nyttige for studier av datasyn. I den nye studien, har forfatterne brukt National University of Irelands FaceDepth-modell, et konvolusjonelt encoder/decoder-nettverk som kan effektivt estimere dybdekarter fra enkeltkilde-bilder.

FaceDepth-modellen i aksjon. Kilde: https://tinyurl.com/3ctcazma

FaceDepth-modellen i aksjon. Kilde: https://tinyurl.com/3ctcazma

Neste, pipeline for de italienske forskernes nye rammeverk trekker ut et 224×224 piksel-stykke av subjektets ansikt fra både det originale RGB-bildet og det avledede dybdekartet. Kritisk, dette tillater prosessen å kopiere over kjerneinnhold uten å endre størrelsen; dette er viktig, siden størrelse-justeringsalgoritmer vil negativt påvirke kvaliteten på de målrettede områdene.

Med denne informasjonen, fra både ekte og deepfakede kilder, trente forskerne et konvolusjonelt neuralt nettverk (CNN) i stand til å skille ekte fra fakede eksempler, basert på forskjellene mellom perseptiv kvalitet på de respektive dybdekartene.

Konseptuell pipeline for DepthFake.

Konseptuell pipeline for DepthFake.

FaceDepth-modellen er trent på realistisk og syntetisk data med en hybrid-funksjon som tilbyr større detalj på de ytre marginene av ansiktet, noe som gjør den godt egnet for DepthFake. Den bruker et MobileNet-eksemplar som en egenskapsekstraktor, og ble trent med 480×640-innputt-bilder som produserte 240×320-dybdekarter. Hvert dybdekart representerer én av de fire inngangskanalene som brukes i prosjektets diskriminator.

Dybdekartet blir automatisk innbygget i det originale RGB-bildet for å gi den type RGBD-bilde, fullt av dybdeinformasjon, som moderne smarttelefon-kameraer kan produsere.

Trening

Modellen ble trent på et Xception-nettverk som allerede var forhåndstrent på ImageNet, selv om arkitekturen trengte noen tilpasninger for å kunne håndtere den ekstra dybdeinformasjonen samtidig som den opprettholdt riktig initialisering av vekter.

I tillegg måtte forskerne normalisere verdiene til 0–255 fordi verdiområdet for dybdeinformasjonen ikke samsvarte med det nettverket forventet.

Under trening, ble bare flipp og rotasjon brukt. I mange tilfeller ville forskjellige andre visuelle forstyrrelser bli presentert for modellen for å utvikle robust inferens, men nødvendigheten av å bevare den begrensede og svært skjøre kant-dybdeinformasjonen i kildebildene tvang forskerne til å adoptere et forenklet treningsopplegg.

Systemet ble også trent på enkel 2-kanals gråskala, for å bestemme hvor komplekse kildebildene måtte være for å få en fungerende algoritme.

Trening skjedde via TensorFlow API på en NVIDIA GTX 1080 med 8GB VRAM, ved hjelp av ADAMAX-optimatoren, i 25 epoker, med en batch-størrelse på 32. Innputt-oppløsning var fast på 224×224 under kropping, og ansiktsgjenkjenning og -ekstraksjon ble gjort med dlib C++-biblioteket.

Resultater

Nøyaktigheten av resultater ble testet mot Deepfake, Face2Face, FaceSwap, Neural Texture, og det fullstendige datasettet med RGB- og RGBD-innputt, ved hjelp av FaceForensic++-rammeverket.

Resultater på nøyaktighet over fire deepfake-metoder, og mot det fullstendige usplittede datasettet. Resultatene er delt mellom analyse av kilde-RGB-bilder, og de samme bildene med et innbygget estimert dybdekart. Beste resultater er i fet skrift, med prosenttall under som demonstrerer omfanget av hvilken dybdeinformasjonen forbedrer utfallet.

Resultater på nøyaktighet over fire deepfake-metoder, og mot det fullstendige usplittede datasettet. Resultatene skiller mellom analyse av opprinnelige RGB-bilder og de samme bildene med et innfelt estimert dybdekart. Beste resultater er i fet skrift, med prosenttall under som demonstrerer omfanget av hvilken dybdeinformasjonen forbedrer utfallet.

I alle tilfeller, forbedrer dybdekanalen modellens ytelse over alle konfigurasjoner. Xception oppnår de beste resultater, med den raskere MobileNet like bak. Om dette, kommenterer forfatterne:

‘[Det] er interessant å merke seg at MobileNet er litt dårligere enn Xception og overgår den dypere ResNet50. Dette er et bemerkelsesverdig resultat når man tar hensyn til målet om å redusere inferenstider for sanntids-applikasjoner. Selv om dette ikke er hovedbidraget i denne studien, ser vi på det likevel som et oppmuntrende resultat for fremtidige utviklinger.’

Forskerne merker også en konsekvent fordel av RGBD- og 2-kanals gråskala-innputt over RGB- og rett gråskala-innputt, og observerer at gråskala-omformningene av dybde-estimater, som er komputasjonelt svært billige, tillater modellen å oppnå forbedrede resultater med svært begrensede lokale ressurser, og muliggjør fremtidig utvikling av sanntids-deepfake-oppdaging basert på dybdeinformasjon.

 

Først publisert 24. august 2022.

Skribent innen maskinlæring, domenespesialist i menneskelig bildesyntese. Tidligere leder for forskningsinnhold hos Metaphysic.ai, frem til oppløsningen i DNEG's Brahma.ai.
Nettsted: martinanderson.ai
Kontakt: martin@martinanderson.ai