En retsmedicinsk data-metode til en ny generation af deepfakes

Selvom deepfaking af private personer er blevet en voksende offentlig bekymring og er blevet forbudt i forskellige regioner, er det stadig meget svært at bevise, at en brugerlavet model – såsom en, der muliggør hævnporne – er specifikt trænet på en bestemt persons billeder.

For at sætte problemet i perspektiv: en nøgleelement i en deepfake-angreb er at falsk påstå, at et billede eller en video viser en bestemt person. At blot påstå, at nogen i en video er identitet #A, snarere end blot en lookalike, er nok til at skabe skade, og ingen AI er nødvendig i denne situation.

Men hvis en angriber genererer AI-billeder eller -videoer ved hjælp af modeller, der er trænet på rigtige personers data, vil sociale medier og søgemaskiners ansigtsgenkendelsessystemer automatisk linke den falske indhold til offeret – uden at kræve navne i indlæg eller metadata. De AI-genererede billeder alene sikrer associationen.

Jo mere distinkt personens udseende er, jo mere uundgåeligt bliver det, indtil den fabrikerede indhold vises i billedsøgninger og til sidst når offeret.

Ansigt til Ansigt

Den mest almindelige måde at sprede identitetsfokuserede modeller på er i øjeblikket gennem Low-Rank Adaptation (LoRA), hvor brugeren træner en lille mængde billeder i få timer mod vægten af en langt større grundmodel, såsom Stable Diffusion (for statiske billeder, for det meste) eller Hunyuan Video, for video-deepfakes.

De mest almindelige mål for LoRAs, herunder den nye slags video-baserede LoRAs, er kvindelige celebrities, hvis berømmelse udsætter dem for denne type behandling med mindre offentlig kritik end i tilfælde af ‘ukendte’ ofre, på grund af antagelsen af, at sådanne afledte værker er dækket under ‘fair use’ (i hvert fald i USA og Europa).

Kvindelige celebrities dominerer LoRA- og Dreambooth-listingerne på civit.ai-portalen. Den mest populære LoRA har i øjeblikket mere end 66.000 downloads, hvilket er betydeligt, selvom denne brug af AI stadig ses som en ‘fringe’-aktivitet.

Der er ingen offentlig forum for de ikke-berømte ofre for deepfaking, som kun dukker op i medierne, når retssager opstår, eller ofrene taler ud i populære kanaler.

Men i begge scenarier har modellerne, der bruges til at fabrikere identiteter, ‘destilleret’ deres træningsdata så fuldstændigt ind i latent rummet i modellen, at det er svært at identificere de kildebilleder, der blev brugt.

Hvis det var muligt at gøre dette inden for en acceptabel fejlmargin, ville dette muliggøre retsforfølgelse af dem, der deler LoRAs, da det ikke kun beviser intentionen om at fabrikere en bestemt identitet (dvs. en bestemt ‘ukendt’ persons), men også udsætter uploadere for ophavsretsbeskyldninger, hvor det er relevant.

Dette ville være nyttigt i jurisdiktioner, hvor lovgivningen om deepfaking-teknologier mangler eller er langsom til at følge med.

Over-eksponeret

Formålet med at træne en grundmodel, såsom den multi-gigabyte grundmodel, som en bruger kan downloade fra Hugging Face, er, at modellen skal blive godt generaliseret og ductil. Dette indebærer træning på et tilstrækkeligt antal forskellige billeder og med passende indstillinger og afslutning af træningen, før modellen ‘overfits’ til dataene.

En overfitted model har set dataene så mange (excessive) gange under træningsprocessen, at den vil tende til at reproducere billeder, der er meget lignende, og dermed afsløre kilde-dataene.

Identiteten ‘Ann Graham Lotz’ kan næsten perfekt reproducere i Stable Diffusion V1.5-modellen. Rekonstruktionen er næsten identisk med træningsdataene (til venstre i billedet ovenfor). Kilde: https://arxiv.org/pdf/2301.13188

Men overfitted modeller bliver generelt kasseret af deres skabere i stedet for at blive distribueret, da de i hvert fald er uegnede til formålet. Derfor er dette en usandsynlig forensisk ‘gevinst’. I hvert fald gælder principperne mere for den dyre og højvolumetræning af grundmodeller, hvor flere versioner af samme billede, der er havnet i en stor kilddatasæt, kan gøre visse træningsbilleder lette at kalde (se billedet og eksemplet ovenfor).

Det er lidt anderledes i tilfælde af LoRA- og Dreambooth-modeller (omend Dreambooth er gået af mode på grund af sine store filstørrelser). Her vælger brugeren en meget begrænset mængde forskellige billeder af en person og bruger disse til at træne en LoRA.

Til venstre, output fra en Hunyuan Video LoRA. Til højre, data, der gjorde ligheden mulig (billeder brugt med tilladelse fra den afbildede person).

Ofte vil LoRA’en have en trænet ind trig-ord, såsom [navnet på celebrity]. Men meget ofte vil den specifikt trænede person optræde i genererede output uden sådanne prompts, fordi selv en velafbalanceret (dvs. ikke overfitted) LoRA er lidt ‘fikseret’ på det materiale, den er trænet på, og vil tende til at inkludere det i enhver output.

Dette predisposition kombineret med den begrænsede mængde billeder, der er optimal for en LoRA-datasæt, udsætter modellen for forensisk analyse, som vi skal se.

Afsløring af Data

Disse spørgsmål behandles i en ny artikel fra Danmark, som tilbyder en metode til at identificere kildebilleder (eller grupper af kildebilleder) i en black-box Membership Inference Attack (MIA). Teknikken indebærer i hvert fald delvis brugen af selvtrænede modeller, der er designet til at hjælpe med at afsløre kilde-data ved at generere deres egne ‘deepfakes’:

Eksempler på ‘falske’ billeder genereret af den nye tilgang, ved stadig stigende niveauer af Classifier-Free Guidance (CFG), op til ødelæggelsespunktet. Kilde: https://arxiv.org/pdf/2502.11619

Selvom arbejdet, med titlen Membership Inference Attacks for Face Images Against Fine-Tuned Latent Diffusion Models, er en meget interessant bidrag til litteraturen om dette emne, er det også en utilgængelig og korthåndet skrevet artikel, som kræver betydelig dekodning. Derfor vil vi dække mindst de grundlæggende principper bag projektet her og en udvalgt del af resultaterne.

I virkeligheden kan forfatternes metode hjælpe med at bevise, at en AI-model er blevet trænet på en bestemt persons billeder, ved at lede efter tegn på memorering i modellens genererede billeder.

I første omgang trænes en målmodel på en datasæt af ansigtsbilleder, hvilket gør den mere sandsynlig at reproducere detaljer fra disse billeder i dens output. Herefter trænes en angrebsmodel i angrebsmodus ved hjælp af AI-genererede billeder fra målmodellen som ‘positive’ eksempler (formodede medlemmer af træningsdatasættet) og andre billeder fra en anden datasæt som ‘negative’ eksempler (ikke-medlemmer).

Ved at lære de subtile forskelle mellem disse grupper kan angrebsmodellen forudsige, om et givent billede var en del af den oprindelige træningsdatasæt.

Angrebet er mest effektivt i tilfælde, hvor AI-modellen er blevet finjusteret i høj grad, hvilket betyder, at jo mere en model er specialiseret, jo lettere er det at opdage, om bestemte billeder er blevet brugt.

Forfatterne fandt også, at tilføjelse af synlige vandmærker til træningsbilleder gør det lettere at opdage.

Imponerende nok er tilgangen testet i en black-box-sætning, hvilket betyder, at den fungerer uden adgang til modellens interne detaljer, kun dens output.

Metoden er computermæssigt intensiv, som forfatterne indrømmer; men værdien af dette arbejde ligger i at vise retningen for yderligere forskning og at bevise, at data kan realistisk udtrækkes til en acceptabel tolerance; derfor, på grund af dets banebrydende natur, behøver det ikke at køre på en smartphone på dette tidspunkt.

Metode/Data

Flere datasæt fra Danmarks Tekniske Universitet (DTU, værtsinstitutionen for artiklens tre forskere) blev brugt i studiet, til finjustering af målmodellen og til træning og test af angrebsmodus.

Datasætterne brugt var afledt fra DTU Orbit:

DseenDTU Den grundlæggende billedsæt.

DDTU Billeder hentet fra DTU Orbit.

DseenDTU En partition af DDTU brugt til finjustering af målmodellen.

DunseenDTU En partition af DDTU, der ikke blev brugt til finjustering af nogen billedgenereringsmodel, men i stedet brugt til at teste eller træne angrebsmodellen.

wmDseenDTU En partition af DDTU med synlige vandmærker brugt til finjustering af målmodellen.

hwmDseenDTU En partition af DDTU med skjulte vandmærker brugt til finjustering af målmodellen.

DgenDTU Billeder genereret af en Latent Diffusion Model (LDM), der er finjusteret på DseenDTU-billedsættet.

Datasættene brugt til finjustering af målmodellen består af billed-tekst-par, der er undertekstet af BLIP-undertekstningsmodellen (muligvis ikke tilfældigt en af de mest populære uncensored-modeller i den casuelle AI-fællesskab).

BLIP blev sat til at foranstille sætningen ‘a dtu headshot of a’ til hver beskrivelse.

Derudover blev flere datasæt fra Aalborg Universitet (AAU) anvendt i testene, alle afledt fra AU VBN-korpus:

DAAU Billeder hentet fra AAU vbn.

DseenAAU En partition af DAAU brugt til finjustering af målmodellen.

DunseenAAU En partition af DAAU, der ikke blev brugt til finjustering af nogen billedgenereringsmodel, men i stedet brugt til at teste eller træne angrebsmodellen.

DgenAAU Billeder genereret af en LDM, der er finjusteret på DseenAAU-billedsættet.

Ekvivalent med de tidligere sæt, blev sætningen ‘a aau headshot of a’ brugt. Dette sikrede, at alle mærker i DTU-datasættet fulgte formatet ‘a dtu headshot of a (…)’, hvilket forstærkede datasættets kerneegenskaber under finjustering.

Tests

Flere eksperimenter blev udført for at evaluere, hvor godt medlemskabsinferenceangrebene fungerede mod målmodellen. Hver test havde til formål at bestemme, om det var muligt at udføre et succesfuldt angreb inden for det schema, der vises nedenfor, hvor målmodellen er finjusteret på en billedsæt, der er erhvervet uden tilladelse.

Schema for tilgangen.

Med den finjusterede model, der genererer output-billeder, bruges disse billeder herefter som positive eksempler til træning af angrebsmodellen, mens andre billeder fra en anden datasæt inkluderes som negative eksempler.

Angrebsmodellen trænes ved hjælp af supervised learning og testes herefter på nye billeder for at bestemme, om de oprindeligt var en del af datasættet, der blev brugt til finjustering af målmodellen. For at evaluere angrebets nøjagtighed, bliver 15% af testdataene sat til side til validering.

Fordi målmodellen er finjusteret på en kendt datasæt, er den faktiske medlemsstatus for hvert billede allerede etableret, når træningsdataene for angrebsmodellen oprettes. Denne kontrollerede opsætning tillader en klar vurdering af, hvor effektivt angrebsmodellen kan skelne mellem billeder, der var en del af finjusteringsdatasættet, og billeder, der ikke var.

Til disse tests blev Stable Diffusion V1.5 brugt. Selvom denne ret gamle model dukker op meget i forskning på grund af behovet for konsistent testning og den omfattende samling af tidligere arbejde, der bruger den, er dette en passende brugsøjeblik; V1.5 forblev populær til LoRA-oprettelse i Stable Diffusion-hobbyistfællesskabet i lang tid, på trods af multiple efterfølgende versioner, og selv på trods af Flux’ opkomst – fordi modellen er helt uncensored.

Forskerne angrebsmodel var baseret på Resnet-18, med modellens fortrænede vægte beholdt. ResNet-18’s 1000-neuron sidste lag blev erstattet med et fuldt forbundet lag med to neuroner. Trænings tab var kategorisk cross-entropy, og Adam-optimizeren blev brugt.

For hver test blev angrebsmodellen trænet fem gange ved hjælp af forskellige tilfældige frø for at beregne 95% konfidensintervaller for de vigtigste nøglemetrikker. Zero-shot klassifikation med CLIP-modellen blev brugt som baseline.

(Vær venlig at bemærk, at den oprindelige primære resultattabel i artiklen er kort og usædvanligt svær at forstå. Derfor har jeg omskrevet den nedenfor i en mere brugervenlig form. Vær venlig at klikke på billedet for at se det i bedre opløsning)

Oversigt over resultater fra alle tests. Klik på billedet for at se højere opløsning

Forskerne angrebsmetode viste sig at være mest effektiv, når den var rettet mod finjusterede modeller, især modeller, der var trænet på en bestemt mængde billeder, såsom et enkelt ansigt. Men selvom angrebet kan bestemme, om en datasæt er blevet brugt, har det svært ved at identificere enkeltbilleder inden for datasættet.

I praksis er det sidste ikke nødvendigvis en hindring for at bruge en tilgang som denne forensisk; selvom der er relativt lidt værdi i at fastslå, at en berømt datasæt, såsom ImageNet, er blevet brugt i en model, vil en angriber på en privat person (ikke en celebrity) tende til at have langt mindre valg af kilde-data og nødt til at udnytte tilgængelige data-grupper, såsom sociale medie-album og andre online-samlinger. Disse skaber en ‘hash’, der kan afsløres af de metoder, der er beskrevet.

Artiklen bemærker, at en anden måde at forbedre nøjagtigheden på er at bruge AI-genererede billeder som ‘ikke-medlemmer’ i stedet for at kun stole på virkelige billeder. Dette forhindrer kunstigt høje succesrater, der ellers kunne mislede resultaterne.

En yderligere faktor, der betydeligt påvirker opdagingen, bemærker forfatterne, er vandmærkning. Når træningsbilleder indeholder synlige vandmærker, bliver angrebet meget effektivt, mens skjulte vandmærker tilbyder lidt eller ingen fordel.

Den højre figur viser det faktiske ‘skjulte’ vandmærke, der blev brugt i testene.

Til sidst spiller niveauet af vejledning i tekst-til-billede-generering også en rolle, med den ideelle balance fundet ved et vejledningsniveau på omkring 8. Selv når der ikke bruges direkte prompt, tenderer en finjusteret model stadig til at producere output, der ligner dens træningsdata, hvilket forstærker angrebets effektivitet.

Konklusion

Det er en skam, at denne interessante artikel er skrevet på en så utilgængelig måde, da den burde være af interesse for både privatlivsforkæmpere og hobbyforskere i AI.

Medlemskabsinferenceangreb kan måske blive et interessant og frugtbart forensisk værktøj, men det er vigtigere, måske, for denne forskningsretning at udvikle anvendelige bredere principper for at forhindre, at det ender i samme ‘whack-a-mole’-spil, der er sket for deepfake-detektion generelt, når udgivelsen af en nyere model negativt påvirker detektion og lignende forensiske systemer.

Da der er visse beviser på en højere niveau-guidende princip, der er renset i denne nye forskning, kan vi håbe på at se mere arbejde i denne retning.

Udgivet første gang fredag, 21. februar 2025