En rettsmedisinsk datametode for en ny generasjon av deepfakes

Selv om deepfaking av private personer har blitt en voksende offentlig bekymring og blir stadig mer forbudt i ulike regioner, er det fortsatt ekstremt utfordrende å bevise at en brukergenerert modell – slik som en som muliggjør hevnporr – ble spesifikt trent på en bestemt persons bilder.

For å sette problemet i kontekst: en nøkkelkomponent i en deepfake-angrep er å falskt hevde at et bilde eller en video viser en bestemt person. Å bare si at noen i en video er identitet #A, i stedet for bare en lookalike, er nok til å skape skade, og ingen AI er nødvendig i denne scenariot.

Men hvis en angriper genererer AI-bilder eller videoer ved hjelp av modeller trent på ekte personers data, vil sosiale medier og søkemotors ansiktsgjenkjenningssystemer automatisk koble den falske innholdet til offeret – uten å kreve navn i innlegg eller metadata. De AI-genererte visuelle alene sikrer assosiasjonen.

Jo mer distinkt personens utseende er, jo mer uunngåelig blir dette, til den fabrikkerte innholdet vises i bilde søk og til slutt når offeret.

Ansikt til Ansikt

Den vanligste måten å spre identity-fokuserte modeller på er for tiden gjennom Low-Rank Adaptation (LoRA), hvor brukeren trener en liten mengde bilder i noen timer mot vekterne til en mye større grunnmodell som Stable Diffusion (for statiske bilder, hovedsakelig) eller Hunyuan Video, for video deepfakes.

De vanligste mål for LoRAs, inkludert den nye typen video-baserte LoRAs, er kvinnelige kjendiser, hvis berømmelse utsetter dem for denne type behandling med mindre offentlig kritikk enn i tilfelle av ‘ukjente’ ofre, på grunn av antagelsen at slike deriverte verk er dekket under ‘fair use’ (i alle fall i USA og Europa).

Kvinnelige kjendiser dominerer LoRA- og Dreambooth-listingene på civit.ai-portalen. Den mest populære LoRA har for øyeblikket over 66 000 nedlastinger, noe som er betydelig, gitt at denne bruken av AI fortsatt sees på som en ‘fringe’-aktivitet.

Det finnes ingen offentlig forum for ikke-kjendisofre for deepfaking, som bare dukker opp i media når saker om påtale oppstår, eller ofrene snakker ut i populære kanaler.

Men i begge scenarier har modellene som brukes til å fake identiteter ‘destillert’ deres treningsdata så fullstendig inn i latent rommet i modellen at det er vanskelig å identifisere kildebildene som ble brukt.

Hvis det var mulig å gjøre dette innen en akseptabel feilmargin, ville dette muliggjort påtale av de som deler LoRAs, siden det ikke bare beviste intensjonen til å deepfake en bestemt identitet (dvs. en bestemt ‘ukjent’ person, selv om malefaktoren aldri navngir dem under ærekrenkelsesprosessen), men også utsatte uploaderen for opphavsrettsbrudd, der det er aktuelt.

Dette ville være nyttig i jurisdiksjoner hvor lovmessig regulering av deepfaking-teknologier mangler eller er forsinket.

Over-Eksponert

Målet med å trene en grunnmodell, som den flerkilobyte store basismodellen som en bruker kan laste ned fra Hugging Face, er at modellen skal bli godt generalisert og duktil. Dette innebærer å trene på en tilstrekkelig mengde diverse bilder, og med passende innstillinger, og avslutte trening før modellen ‘overfitter’ til dataene.

En overfittet modell har sett dataene så mange (eksessive) ganger under treningsprosessen at den vil tende til å gjengi bilder som er svært like, og dermed avsløre kilde dataene.

Identiteten ‘Ann Graham Lotz’ kan nesten perfekt gjengis i Stable Diffusion V1.5-modellen. Rekonstruksjonen er nesten identisk med treningsdataene (til venstre i bildet ovenfor). Kilde: https://arxiv.org/pdf/2301.13188

Men overfittede modeller blir vanligvis forkastet av sine skapere i stedet for å bli distribuert, siden de i alle fall er uegnet for formålet. Derfor er dette en usannsynlig rettsmedisinsk ‘vindfall’. I alle fall gjelder prinsippet mer for den dyre og høyvolumtrening av grunnmodeller, hvor flere versjoner av samme bilde som har kretset inn i en stor kilde datasett kan gjøre visse treningsbilder lett å påkalle (se bilde og eksempel ovenfor).

Ting er litt annerledes i tilfelle LoRA- og Dreambooth-modeller (selv om Dreambooth har falt ut av mote på grunn av sine store filstørrelser). Her velger brukeren en svært begrenset mengde diverse bilder av et emne, og bruker disse til å trene en LoRA.

Til venstre, utdata fra en Hunyuan Video LoRA. Til høyre, dataene som gjorde likheten mulig (bilder brukt med tillatelse fra personen avbildet).

Ofte vil LoRA-en ha en trent inn utløser-ord, som [navn på kjendis]. Men veldig ofte vil den spesifikt trenede subjektet dukke opp i generert utdata selv uten slike promter, fordi selv en godt balansert (dvs. ikke overfittet) LoRA er noe ‘fokusert’ på materialet det ble trent på, og vil tende til å inkludere det i all utdata.

Denne predisposisjonen, kombinert med den begrensede mengden bilder som er optimal for en LoRA-datasett, utsatte modellen for rettsmedisinsk analyse, som vi skal se.

Avmaskingen av Data

Disse sakene behandles i en ny rapport fra Danmark, som tilbyr en metode for å identifisere kildebilder (eller grupper av kildebilder) i en black-box Membership Inference Attack (MIA). Teknikken innebærer i hovedsak å bruke egentrentede modeller som er designet for å hjelpe med å avsløre kilde data ved å generere sine egne ‘deepfakes’:

Eksempler på ‘falske’ bilder generert av den nye tilnærmingen, på stadig økende nivåer av Classifier-Free Guidance (CFG), opp til punktet for ødeleggelse. Kilde: https://arxiv.org/pdf/2502.11619

Selv om arbeidet, med tittelen Membership Inference Attacks for Face Images Against Fine-Tuned Latent Diffusion Models, er en svært interessant bidrag til litteraturen om dette emnet, er det også en utilgjengelig og konsis skrevet rapport som trenger betydelig dekoding. Derfor skal vi dekke minst de grunnleggende prinsippene bak prosjektet her, og et utvalg av resultater.

I virkeligheten, hvis noen finjusterer en AI-modell på ditt ansikt, kan forfatterens metode hjelpe med å bevise det ved å søke etter avslørende tegn på memorisering i modellens genererte bilder.

I første omgang blir en målmodell finjustert på en datasett av ansiktsbilder, noe som gjør det mer sannsynlig at den vil gjengi detaljer fra disse bildene i sine utdata. Deretter blir en klassifiseringsangrepsmodus trent ved hjelp av AI-genererte bilder fra målmodellen som ‘positive’ eksempler (mistenkte medlemmer av treningssettet) og andre bilder fra en annen datasett som ‘negative’ eksempler (ikke-medlemmer).

Ved å lære de subtile forskjellene mellom disse gruppene, kan angrepsmodellen forutsi om et gitt bilde var en del av den opprinnelige treningsdatasetten.

Angrepet er mest effektivt i tilfeller hvor AI-modellen er finjustert omfattende, noe som betyr at jo mer en modell er spesialisert, jo enklere er det å påvise om bestemte bilder ble brukt.

Forfatterne fant også at å legge til synlige vannmerker til treningsbilder gjør det enklere å påvise.

Impresjonert, fungerer tilnærmingen i en black-box-innstilling, noe som betyr at den fungerer uten å ha tilgang til modellens interne detaljer, bare utdataene.

Metoden som er funnet er komputasjonelt intens, som forfatterne innrømmer; likevel er verdien av dette arbeidet å vise retningen for ytterligere forskning, og å bevise at data kan realistisk trekkes ut til en akseptabel toleranse; derfor, gitt dets banebrytende natur, trenger det ikke å kjøre på en smarttelefon på dette stadiet.

Metode/Data

Flere datasett fra Danmarks Tekniske Universitet (DTU, vertsinstitusjonen for rapportens tre forskere) ble brukt i studien, for å finjustere målmodellen og for å trene og teste angrepsmodellen.

Datasettene som ble brukt, ble hentet fra DTU Orbit:

DseenDTU Den grundleggende bildesamlingen.

DDTU Bilder hentet fra DTU Orbit.

DseenDTU En partition av DDTU brukt til å finjustere målmodellen.

DunseenDTU En partition av DDTU som ikke ble brukt til å finjustere noen bildegenereringsmodell, men i stedet ble brukt til å teste eller trene angrepsmodellen.

wmDseenDTU En partition av DDTU med synlige vannmerker brukt til å finjustere målmodellen.

hwmDseenDTU En partition av DDTU med skjulte vannmerker brukt til å finjustere målmodellen.

DgenDTU Bilder generert av en Latent Diffusion Model (LDM) som har blitt finjustert på DseenDTU-bildesamlingen.

Datasettene som ble brukt til å finjustere målmodellen, består av bilde-tekst-par captionert av BLIP-captionmodellen (kanskje ikke tilfeldig en av de mest populære usensurerte modellene i den kasuelle AI-samfunnet).

BLIP ble satt til å foranstå frasen ‘a dtu headshot of a’ til hver beskrivelse.

I tillegg ble flere datasett fra Aalborg Universitet (AAU) brukt i testene, alle hentet fra AU VBN-korpuset:

DAAU Bilder hentet fra AAU vbn.

DseenAAU En partition av DAAU brukt til å finjustere målmodellen.

DunseenAAU En partition av DAAU som ikke ble brukt til å finjustere noen bildegenereringsmodell, men i stedet ble brukt til å teste eller trene angrepsmodellen.

DgenAAU Bilder generert av en LDM finjustert på DseenAAU-bildesamlingen.

Tilsvarende til de tidligere settene, ble frasen ‘a aau headshot of a’ brukt. Dette sikret at alle etiketter i DTU-datasett fulgte formatet ‘a dtu headshot of a (…)’, og forsterket datasettets kjernegenskaper under finjustering.

Tester

Flere eksperimenter ble utført for å evaluere hvor godt medlemskapsinferensangrepene fungerte mot målmodellen. Hver test hadde som mål å bestemme om det var mulig å utføre en vellykket angrep innenfor skjemaet nedenfor, hvor målmodellen er finjustert på en bildesamling som er hentet uten tillatelse.

Skjema for tilnærmingen.

Med den finjusterte modellen spurt om å generere utdatabilder, blir disse bildene deretter brukt som positive eksempler for å trene angrepsmodellen, mens andre ubeslektede bilder inkluderes som negative eksempler.

Angrepsmodellen blir trent ved hjelp av overvåket læring og blir deretter testet på nye bilder for å bestemme om de var en del av den opprinnelige treningsdatasetten. For å evaluere nøyaktigheten av angrepet, blir 15% av testdataene satt av til validering.

Fordi målmodellen er finjustert på en kjent datasett, er den faktiske medlemsstatusen for hvert bilde allerede etablert når treningsdataene for angrepsmodellen blir laget. Dette kontrollerte oppsettet tillater en tydelig vurdering av hvor effektivt angrepsmodellen kan skille mellom bilder som var en del av treningsdatasetten og de som ikke var.

I disse testene ble Stable Diffusion V1.5 brukt. Selv om denne modellen er ganske gammel og dukker opp mye i forskning på grunn av behovet for konsistent testing, og den omfattende korpusen av tidligere arbeid som bruker den, er dette en passende bruksområde; V1.5 forblet populær for LoRA-oppkreving i Stable Diffusion-hobbyistmiljøet i lang tid, til tross for flere påfølgende versjonsutgivelser, og til og med til tross for introduksjonen av Flux – fordi modellen er fullstendig usensurert.

Forskerne sin angrepsmodell var basert på Resnet-18, med modellens forhåndstrente vekter beholdt. ResNet-18 sine 1000-neuron siste lag ble erstattet med et fullstendig tilkoblet lag med to nørone. Trenings tap var kategorisk kryssentropi, og Adam-optimatoren ble brukt.

For hver test ble angrepsmodellen trent fem ganger ved hjelp av ulike tilfeldige frø for å beregne 95% konfidensintervaller for nøkkelmetricene. Zero-shot klassifisering med CLIP-modellen ble brukt som referanse.

(Vær oppmerksom på at den opprinnelige primærresultattabellen i rapporten er kortfattet og uvanlig vanskelig å forstå. Derfor har jeg omformulert den nedenfor i en mer brukervennlig form. Vennligst klikk på bildet for å se det i bedre oppløsning)

Oversikt over resultater fra alle testene. Klikk på bildet for å se høyere oppløsning

Forskerne sin angrepsmetode viste seg å være mest effektiv når den ble brukt mot finjusterte modeller, spesielt de som var trent på en bestemt samling av bilder, som et enkelt ansikt. Men mens angrepet kan bestemme om en datasett ble brukt, har det vanskelig for å identifisere enkeltbilder innenfor den datasetten.

I praksis er det sistnevnte ikke nødvendigvis en hindring for å bruke en tilnærming som denne rettsmedisinsk; mens det er relativt liten verdi i å etablere at en berømt datasett som ImageNet ble brukt i en modell, vil en angriper på en privat person (ikke en kjendis) tende til å ha langt mindre valgmuligheter for kilde data, og må fullt ut nyttiggjøre tilgjengelige data grupper som sosiale mediealbum og andre online samlinger. Disse skaper en ‘hash’ som kan avdekkedes av de metoder som er beskrevet.

Rapporten påpeker at en annen måte å forbedre nøyaktigheten på er å bruke AI-genererte bilder som ‘ikke-medlemmer’, i stedet for å bare bruke ekte bilder. Dette forhindrer kunstig høye suksessrater som ellers kunne ha misledt resultater.

En ytterligere faktor som betydelig påvirker påvisning, påpeker forfatterne, er vannmerking. Når treningsbilder inneholder synlige vannmerker, blir angrepet svært effektivt, mens skjulte vannmerker tilbyr liten eller ingen fordel.

Den høyre figuren viser den faktiske ‘skjulte’ vannmerket som ble brukt i testene.

Til slutt spiller nivået av tekst-til-bilde-generering også en rolle, med det ideelle balansen funnet på et nivå på rundt 8. Selv når ingen direkte prompt brukes, tenderer en finjustert modell likevel til å produsere utdata som ligner treningsdataene, og forsterker effektiviteten av angrepet.

Konklusjon

Det er synd at denne interessante rapporten er skrevet på en så utilgjengelig måte, ettersom den burde være av interesse for både privatlivsforkjempere og hobbyforskere innen AI.

Selv om medlemskapsinferensangrep kan vise seg å være et interessant og fruktbart rettsmedisinsk verktøy, er det viktigere, kanskje, for denne forskningsretningen å utvikle anvendelige, brede prinsipper, for å forhindre at den ender opp i samme spill som har skjedd med deepfake-avdekning generelt, når utgivelsen av en nyere modell negativt påvirker avdekning og lignende rettsmedisinske systemer.

Ettersom det finnes noen bevis for en høyere nivås rettledende prinsipp som er renset i denne nye forskningen, kan vi håpe på å se mer arbeid i denne retningen.

Først publisert fredag, 21. februar 2025