Trohet vs. Realism i Deepfake-videor

Inte alla deepfake-utövare delar samma mål: impulsen för bildsyntesforskningssektorn – som stöds av inflytelserika förespråkare som Adobe, NVIDIA och Facebook – är att främja tillståndet för konsten så att maskinlärningstekniker kan återskapa eller syntetisera mänsklig aktivitet i hög upplösning och under de mest utmanande förhållandena (trogenhet).

I kontrast till detta har de som vill använda deepfake-teknologier för att sprida desinformation som mål att skapa trovärdiga simuleringar av verkliga människor med hjälp av metoder som inte enbart bygger på sanningen i deepfaked ansikten. I detta scenario är faktorer som kontext och trovärdighet nästan lika viktiga som en videos förmåga att simulera ansikten (realism).

Denna “trolleri”-metod sträcker sig till försämringen av den slutliga bildkvaliteten på en deepfake-video, så att hela videon (och inte bara den bedrägliga delen som representeras av ett deepfaked ansikte) har en sammanhängande “utseende” som är korrekt för den förväntade kvaliteten för mediet.

‘Sammanhängande’ behöver inte betyda ‘bra’ – det räcker med att kvaliteten är konsekvent över originalet och det infogade, förfalskade innehållet, och följer förväntningarna. När det gäller VOIP-strömning på plattformar som Skype och Zoom kan ribban vara förvånansvärt låg, med hackande, ryckiga videor och en mängd olika kompressionsartefakter, samt “jämnings”-algoritmer som är utformade för att minska deras effekter – som i sig utgör en ytterligare mängd “oäkta” effekter som vi har accepterat som korollarier till begränsningarna och egenheterna hos live-strömning.

DeepFaceLive i aktion: denna strömmande version av den ledande deepfakes-programvaran DeepFaceLab kan ge kontextuell realism genom att presentera falska ansikten i sammanhanget med begränsad videokvalitet, komplett med uppspelningsproblem och andra återkommande anslutningsartefakter. Källa: https://www.youtube.com/watch?v=IL517EgYH8U

Inbyggd försämring

Faktum är att de två mest populära deepfake-paketen (båda härledda från den kontroversiella 2017-källkoden) innehåller komponenter som är avsedda att integrera det deepfaked ansiktet i sammanhanget med “historiska” eller lägre kvalitetsvideo genom att försämra det genererade ansiktet. I DeepFaceLab åstadkommer bicubic_degrade_power-parametern detta, och i FaceSwap hjälper “grain”-inställningen i Ffmpeg-konfigurationen också till att integrera det falska ansiktet genom att bevara kornet under kodning*.

Den ‘grain’-inställningen i FaceSwap hjälper till att autentiskt integrera i icke-HQ-videoinnehåll och äldre innehåll som kan ha filmkornseffekter som är relativt sällsynta dessa dagar.

Ofta, istället för en fullständig och integrerad deepfake-video, kommer deepfakers att producera en isolerad serie PNG-filer med alfa-kanaler, varje bild som visar endast det syntetiska ansiktet, så att bildströmmen kan konverteras till video i plattformar med mer avancerade ‘försämrande‘ effekter, såsom Adobe After Effects, innan det falska och äkta innehållet kombineras för den slutliga videon.

Förutom dessa avsiktliga försämringar är innehållet i deepfake-arbete ofta återkomprimerat, antingen algoritmiskt (där sociala medieplattformar försöker spara bandbredd genom att producera lättare versioner av användarnas uppladdningar) på plattformar som YouTube och Facebook, eller genom att bearbeta originalet till animerade GIF:er, detaljsektioner eller andra diversifierade motiv som behandlar den ursprungliga versionen som en utgångspunkt och sedan introducerar ytterligare kompression.

Realistiska deepfake-detektionskontexter

Med detta i åtanke har en ny artikel från Schweiz föreslagit en omkonstruktion av metodiken bakom deepfake-detektionsmetoder, genom att lära detektionssystem att lära sig egenskaperna hos deepfake-innehåll när det presenteras i avsiktligt försämrade kontexter.

Stokastisk dataförstärkning tillämpad på en av datamängderna som används i den nya artikeln, med Gaussiskt brus, gamma-korrigering och Gaussisk oskärpa, samt artefakter från JPEG-kompression. Källa: https://arxiv.org/pdf/2203.11807.pdf

I den nya artikeln hävdar forskarna att banbrytande deepfake-detektionspaket förlitar sig på orealistiska benchmarkförhållanden för kontexten av de metoder som de tillämpar, och att ‘försämrade’ deepfake-utdata kan falla under den minsta kvalitetströskeln för detektion, trots att deras realistiskt ‘skitiga’ innehåll sannolikt kommer att lura tittare på grund av en korrekt uppmärksamhet på kontext.

Forskarna har inrättat en ny ‘verklighetsbaserad’ dataförsämringprocess som lyckas med att förbättra den allmänna generaliserbarheten hos ledande deepfake-detektorer, med endast marginell förlust av noggrannhet på de ursprungliga detektionsfrekvenser som erhållits av ‘ren’ data. De erbjuder också en ny utvärderingsram som kan utvärdera robustheten hos deepfake-detektorer i verkliga förhållanden, stödd av omfattande avlägsnande studier.

Den artikeln heter En ny metod för att förbättra lärande-baserad deepfake-detektion i realistiska förhållanden och kommer från forskare vid Multimedia Signal Processing Group (MMSPG) och Ecole Polytechnique Federale de Lausanne (EPFL), båda baserade i Lausanne.

Användbar förvirring

Tidigare försök att inkorporera försämrade utdata i deepfake-detektionsmetoder inkluderar Mixup neurala nätverk, ett 2018-erbjudande från MIT och FAIR, och AugMix, ett 2020-samarbete mellan DeepMind och Google, båda dataförstärkningsmetoder som försöker ‘förvirra’ träningsmaterialet på ett sätt som är benäget att hjälpa generalisering.

Forskarna bakom den nya studien noterar också tidigare studier som tillämpade Gaussiskt brus och kompressionsartefakter på träningsdata för att etablera gränserna för förhållandet mellan en härledd funktion och bruset som den är inbäddad i.

Den nya studien erbjuder en pipeline som simulerar de komprometterade förhållandena för både bildförvärvsprocessen och kompressions- och diverse andra algoritmer som kan ytterligare försämra bildutdata i distributionsprocessen. Genom att inkorporera denna verkliga arbetsflöde i en utvärderingsram är det möjligt att producera träningsdata för deepfake-detektorer som är mer resistenta mot artefakter.

Den konceptuella logiken och arbetsflödet för den nya metoden.

Försämringprocessen tillämpades på två populära och framgångsrika datamängder som används för deepfake-detektion: FaceForensics++ och Celeb-DFv2. Dessutom tränades ledande deepfake-detektorramverk Capsule-Forensics och XceptionNet på de förfalskade versionerna av de två datamängderna.

Detektorerna tränades med Adam-optimisatorn för 25 och 10 epoker respektive. För datamängdstransformationen valdes 100 ramar slumpmässigt från varje träningsvideo, med 32 ramar extraherade för testning, före tillägg av försämrande processer.

De distorsioner som övervägdes för arbetsflödet var brus, där brus med noll medelvärde tillämpades vid sex varierande nivåer; omstorleksändring, för att simulera den minskade upplösningen av typisk utomhusfilm, som kan påverka detektorer; kompression, där varierande JPEG-kompressionsnivåer tillämpades på data; jämnning, där tre typiska jämningsfilter som används i ‘brusreducering’ utvärderades för ramverket; förbättring, där kontrast och ljusstyrka justerades; och kombinationer, där valfri kombination av tre av ovanstående metoder tillämpades samtidigt på en enda bild.

Testning och resultat

Vid testning av data antog forskarna tre metoder: Noggrannhet (ACC); Area Under Receiver Operating Characteristic Curve (AUC); och F1-poäng.

Forskarna testade standardtränade versioner av de två deepfake-detektorerna mot det försämrade data och fann dem otillräckliga:

‘I allmänhet är de flesta realistiska distorsioner och bearbetningar extremt skadliga för normalt tränade lärande-baserade deepfake-detektorer. Till exempel visar Capsule-Forensics-metoden mycket höga AUC-poäng på både okomprimerade FFpp och Celeb-DFv2-testuppsättningar efter träningsdata på respektive datamängder, men lider sedan av en drastisk prestandaförsämring på modifierat data från vår utvärderingsram. Liknande trender har observerats med XceptionNet-detektorn.’

I kontrast förbättrades prestandan hos de två detektorerna avsevärt genom att de tränades på de transformerade data, med varje detektor nu mer kapabel att upptäcka osynliga bedrägliga medier.

‘Dataförstärkningsschemat förbättrar avsevärt robustheten hos de två detektorerna och de behåller samtidigt hög prestanda på ursprungligt oförändrat data.’

Prestandajämförelser mellan de råa och förstärkta datamängderna som används över de två deepfake-detektorer som utvärderades i studien.

Artikeln sluts:

‘Nuvarande detektionsmetoder är utformade för att uppnå så hög prestanda som möjligt på specifika benchmark. Detta resulterar ofta i att generaliserbarheten offras för mer realistiska scenarier. I denna artikel föreslås en noggrant utformad dataförstärkningsschema baserad på naturlig bildförsämring.

‘Omfattande experiment visar att den enkla men effektiva tekniken avsevärt förbättrar modellens robusthet mot olika realistiska distorsioner och bearbetningar i typiska bildbehandlingsflöden.’

* Matchande korn i det genererade ansiktet är en funktion av stilöverföring under omvandlingsprocessen.

Publicerad första gången den 29 mars 2022. Uppdaterad kl. 20:33 EST för att förtydliga kornanvändning i Ffmpeg.