Djupinformation kan avslöja deepfakes i realtid

Ny forskning från Italien har funnit att djupinformation som erhålls från bilder kan vara ett användbart verktyg för att upptäcka deepfakes – även i realtid.

Medan majoriteten av forskningen om deepfake-upptäckt under de senaste fem åren har koncentrerat sig på artefaktidentifiering (som kan mildras genom förbättrade tekniker eller förväxlas med dålig videokodkompression), omgivande belysning, biometriska egenskaper, temporalt störning och till och med mänsklig instinkt, är den nya studien den första som föreslår att djupinformation kan vara en värdefull krypteringsnyckel för deepfake-innehåll.

Exempel på derivade djupkartor och skillnaden i perceptuell djupinformation mellan riktiga och falska bilder. Källa: https://arxiv.org/pdf/2208.11074.pdf

Kritiskt, upptäcktsramverk som utvecklats för den nya studien fungerar mycket bra på ett lättnätverk som Xception, och acceptabelt bra på MobileNet, och den nya artikeln erkänner att den låga latensen för inferens som erbjuds genom sådana nätverk kan möjliggöra upptäckt av deepfakes i realtid mot den nya trenden mot live-deepfake-bedrägeri, exemplifierat av den nyliga attacken mot Binance.

Större ekonomi i inferenstid kan uppnås eftersom systemet inte behöver fullfärgsbilder för att bestämma skillnaden mellan falska och riktiga djupkartor, utan kan fungera förvånansvärt effektivt enbart på gråskalebilder av djupinformationen.

Författarna skriver: ‘Detta resultat tyder på att djupet i detta fall bidrar med en mer relevant bidrag till klassificeringen än färgartefakter.’

Resultaten representerar en del av en ny våg av deepfake-upptäcktsforskning riktad mot realtidsansikts syntes system som DeepFaceLive – en strävan som har accelererat avsevärt under de senaste 3-4 månaderna, i kölvattnet av FBI:s varning i mars om risken för realtidsvideo- och ljud-deepfakes.

Den artikeln heter DepthFake: en djupbaserad strategi för att upptäcka Deepfake-videor, och kommer från fem forskare vid Sapienza universitetet i Rom.

Kantfall

Under utbildning, prioriterar autoencoder-baserade deepfake-modeller de inre områdena av ansiktet, såsom ögon, näsa och mun. I de flesta fall, över öppen källkod som DeepFaceLab och FaceSwap (båda grenade från den ursprungliga 2017 Reddit-koden före dess borttagning), blir de yttre linjerna i ansiktet inte väldefinierade förrän i ett mycket sent skede av utbildning, och är osannolika att matcha kvaliteten på syntesen i det inre ansiktsområdet.

Från en tidigare studie, ser vi en visualisering av ‘saliency maps’ av ansiktet. Källa: https://arxiv.org/pdf/2203.01318.pdf

Vanligtvis, är detta inte viktigt, eftersom vår tendens att fokusera först på ögon och prioritera ‘utåt’ vid avtagande nivåer av uppmärksamhet betyder att vi är osannolika att störas av dessa nedgångar i perifer kvalitet – särskilt om vi pratar live med personen som fejkar en annan identitet, vilket utlöser sociala konventioner och bearbetningsbegränsningar som inte finns närvarande när vi utvärderar ‘renderade’ deepfake-filmer.

Men, bristen på detalj eller noggrannhet i de påverkade marginalområdena av ett deepfaktat ansikte kan upptäckas algoritmiskt. I mars, presenterades ett system som nycklar på det perifera ansiktsområdet tillkännagavs. Men, eftersom det kräver en ovanligt stor mängd utbildningsdata, är det endast avsett för kändisar som sannolikt kommer att figurera i populära ansiktsdatabaser (såsom ImageNet) som har proveniens i nuvarande datorseende och deepfake-upptäcktstekniker.

Istället, kan det nya systemet, titulerat DepthFake, fungera generiskt även på obskyra eller okända identiteter, genom att skilja på kvaliteten på uppskattad djupkartsinformation i riktiga och falska videofilmer.

Gå djupare

Djupkartsinformation blir alltmer vanligt i smartphones, inklusive AI-assisterade stereoimplementeringar som är särskilt användbara för datorseende-studier. I den nya studien, har författarna använt National University of Irelands FaceDepth-modell, en konvolutionskodare/decodare-nätverk som kan effektivt uppskatta djupkartor från enkällbilder.

FaceDepth-modellen i aktion. Källa: https://tinyurl.com/3ctcazma

Nästa, pipeline för de italienska forskarnas nya ramverk extraherar en 224×224 pixlars patch av subjektets ansikte från både den ursprungliga RGB-bilden och den derivade djupkarten. Kritiskt, tillåter detta processen att kopiera över kärninnehåll utan att ändra dess storlek; detta är viktigt, eftersom storleksstandardiseringsalgoritmer för storleksändring kommer att negativt påverka kvaliteten på de målade områdena.

Med denna information, från både riktiga och deepfaktade källor, tränade forskarna en konvolutionsneuronnätverk (CNN) som kan skilja på riktiga och falska instanser, baserat på skillnaderna mellan den perceptuella kvaliteten på respektive djupkartor.

Konceptuell pipeline för DepthFake.

FaceDepth-modellen är tränad på realistiska och syntetiska data med en hybridfunktion som erbjuder större detalj i de yttre marginalerna av ansiktet, vilket gör den väl lämpad för DepthFake. Den använder en MobileNet-instans som en funktionsextraherare, och tränades med 480×640 ingångsbilder som producerade 240×320 djupkartor. Varje djupkarta representerar en fjärdedel av de fyra ingångskanaler som används i det nya projektets diskriminatör.

Djupkarten infogas automatiskt i den ursprungliga RGB-bilden för att tillhandahålla den typ av RGBD-bild, full av djupinformation, som moderna smartphonekameror kan producera.

Träning

Modellen tränades på ett Xception-nätverk som redan var förtränat på ImageNet, även om arkitekturen behövde någon anpassning för att kunna hantera den extra djupinformationen samtidigt som den behöll den korrekta initieringen av vikter.

Dessutom, krävde en skillnad i värdeområden mellan djupinformationen och vad nätverket förväntade sig att värdena skulle normaliseras till 0-255.

Under träning, tillämpades endast vändning och rotation. I många fall, presenterades olika andra visuella störningar för modellen för att utveckla robust inferens, men nödvändigheten att bevara den begränsade och mycket sköra kantdjupinformationen i källfotona tvingade forskarna att anta en nedskalningsregim.

Systemet tränades också på enkel 2-kanals gråskala, för att bestämma hur komplexa källbilderna behövde vara för att erhålla en fungerande algoritm.

Träning skedde via TensorFlow API på en NVIDIA GTX 1080 med 8 GB VRAM, med ADAMAX-optimisatorn, under 25 epocher, med en batchstorlek på 32. Ingångsstorlek var fastställd till 224×224 under beskärning, och ansiktsdetektering och extrahering utfördes med dlib C++-biblioteket.

Resultat

Riktigheten av resultaten testades mot Deepfake, Face2Face, FaceSwap, Neural Texture, och den fullständiga datamängden med RGB- och RGBD-ingångar, med FaceForensic++-ramverket.

Resultat på noggrannhet över fyra deepfake-metoder, och mot den fullständiga osplittrade datamängden. De bästa resultaten är i fetstil, med procentsiffror under som visar hur mycket djupkartsinformationen förbättrar resultatet.

I alla fall, förbättrar djupkanalen modellens prestanda över alla konfigurationer. Xception erhåller de bästa resultaten, med den smidiga MobileNet strax efter. Om detta, kommenterar författarna:

‘[Det] är intressant att notera att MobileNet är något sämre än Xception och överträffar den djupare ResNet50. Detta är ett anmärkningsvärt resultat när man överväger målet att minska inferenstider för realtidsapplikationer. Medan detta inte är den huvudsakliga bidraget i detta arbete, betraktar vi det ändå som ett uppmuntrande resultat för framtida utveckling.’

Forskarna noterar också en konsekvent fördel med RGBD- och 2-kanals gråskale-ingång över RGB- och rakt gråskale-ingång, och observerar att gråskale-omvandlingarna av djupinferenser, som är beräkningsmässigt mycket billiga, tillåter modellen att erhålla förbättrade resultat med mycket begränsade lokala resurser, vilket underlättar den framtida utvecklingen av realtidsdeepfake-upptäckt baserad på djupinformation.

Publicerad första gången den 24:e augusti 2022.