Een forensische datamethode voor een nieuwe generatie deepfakes

Hoewel het deepfaken van privépersonen een groeiende publieke zorg is geworden en steeds vaker verboden wordt in verschillende regio’s, blijft het nog steeds extreem moeilijk om te bewijzen dat een door de gebruiker gemaakte model – zoals een model dat revenge porn mogelijk maakt – specifiek getraind is op de afbeeldingen van een bepaalde persoon.

Om het probleem in context te plaatsen: een belangrijk element van een deepfake-aanval is vals claimen dat een afbeelding of video een specifieke persoon afbeeldt. Simpelweg stellen dat iemand in een video identiteit #A is, in plaats van alleen een lookalike, is voldoende om schade aan te richten, en geen AI is nodig in dit scenario.

Echter, als een aanvaller AI-afbeeldingen of -video’s genereert met behulp van modellen getraind op echte persoonsgegevens, zullen sociale media en zoekmachines automatisch de valse inhoud koppelen aan het slachtoffer – zonder dat namen in berichten of metadata nodig zijn. De AI-gegenereerde visuals alleen zorgen ervoor dat de associatie tot stand komt.

Hoe distincter de persoon eruitziet, hoe onvermijdelijker dit wordt, totdat de valse inhoud in afbeeldingszoeken verschijnt en uiteindelijk het slachtoffer bereikt.

Face to Face

De meest voorkomende manier om identiteitsgerichte modellen te verspreiden is momenteel via Low-Rank Adaptation (LoRA), waarbij de gebruiker een klein aantal afbeeldingen traint voor een paar uur tegen de gewichten van een veel groter basismodel, zoals Stable Diffusion (voor statische afbeeldingen, meestal) of Hunyuan Video, voor video-deepfakes.

De meest voorkomende doelen van LoRAs, inclusief de nieuwe generatie van video-gebaseerde LoRAs, zijn vrouwelijke beroemdheden, wiens faam hen blootstelt aan deze behandeling met minder publieke kritiek dan in het geval van ‘onbekende’ slachtoffers, vanwege de veronderstelling dat dergelijke afgeleide werken vallen onder ‘fair use’ (ten minste in de VS en Europa).

Vrouwelijke beroemdheden domineren de LoRA- en Dreambooth-lijsten op de civit.ai-portal. De meest populaire LoRA heeft momenteel meer dan 66.000 downloads, wat aanzienlijk is, gezien het feit dat dit gebruik van AI nog steeds wordt gezien als een ‘fringe’-activiteit.

Er is geen openbaar forum voor de niet-beroemde slachtoffers van deepfaking, die alleen in de media verschijnen wanneer er rechtszaken ontstaan of de slachtoffers zich uitspreken in populaire media.

Echter, in beide scenario’s hebben de modellen die worden gebruikt om de identiteiten te vervalsen hun trainingsgegevens zo volledig ‘gedistilleerd’ in de latent space van het model dat het moeilijk is om de bronafbeeldingen te identificeren die zijn gebruikt.

Als het wel mogelijk was om dit te doen binnen een aanvaardbare marge van fouten, zou dit het mogelijk maken om degenen die LoRAs delen te vervolgen, aangezien het niet alleen de intentie bewijst om een specifieke identiteit te vervalsen (d.w.z. die van een specifieke ‘onbekende’ persoon, zelfs als de dader nooit namen noemt tijdens het smaadproces), maar ook de uploader blootstelt aan auteursrechtenschending, waar van toepassing.

Het laatste zou nuttig zijn in rechtsgebieden waar de juridische regulering van deepfaking-technologieën ontbreekt of achterloopt.

Over-Exposed

Het doel van het trainen van een basismodel, zoals het meerdere gigabytes grote basismodel dat een gebruiker kan downloaden van Hugging Face, is dat het model gegeneraliseerd en ductiel moet worden. Dit houdt in dat het model getraind wordt op een adequaat aantal diverse afbeeldingen, met passende instellingen, en dat de training wordt beëindigd voordat het model ‘overfitted’ raakt op de gegevens.

Een overfitted model heeft de gegevens zo vaak (excessief) gezien tijdens het trainingsproces dat het geneigd is om afbeeldingen te reproduceren die zeer vergelijkbaar zijn, waardoor de bron van de trainingsgegevens wordt blootgelegd.

De identiteit ‘Ann Graham Lotz’ kan bijna perfect worden gereproduceerd in het Stable Diffusion V1.5-model. De reconstructie is bijna identiek aan de trainingsgegevens (links in de bovenstaande afbeelding). Bron: https://arxiv.org/pdf/2301.13188

Echter, overfitted modellen worden meestal door hun makers verworpen in plaats van verspreid, omdat ze in elk geval ongeschikt zijn voor hun doel. Daarom is dit een onwaarschijnlijke forensische ‘windfall’. In elk geval geldt dit principe meer voor de dure en omvangrijke training van basismodellen, waar meerdere versies van dezelfde afbeelding die in een enorm brondataset zijn terechtgekomen, bepaalde trainingsafbeeldingen gemakkelijk kunnen oproepen (zie afbeelding en voorbeeld hierboven).

De dingen zijn een beetje anders in het geval van LoRA- en Dreambooth-modellen (hoewel Dreambooth uit de mode is geraakt vanwege de grote bestandsgroottes). Hier selecteert de gebruiker een zeer beperkt aantal diverse afbeeldingen van een onderwerp en gebruikt deze om een LoRA te trainen.

Links, output van een Hunyuan Video LoRA. Rechts, de gegevens die de gelijkenis mogelijk maakten (afbeeldingen gebruikt met toestemming van de afgebeelde persoon).

Vaak heeft de LoRA een getrainde trigger-woord, zoals [naam van de beroemde persoon]. Echter, vaak verschijnt het specifiek getrainde onderwerp zelfs zonder dergelijke prompts, omdat zelfs een goed gebalanceerde (d.w.z. niet overfitted) LoRA enigszins ‘gefixeerd’ is op het materiaal waarop het is getraind en zal tendens hebben om dit in elke output op te nemen.

Deze voorkeur, in combinatie met het beperkte aantal afbeeldingen dat optimaal is voor een LoRA-dataset, maakt het model kwetsbaar voor forensische analyse, zoals we zullen zien.

Unmasking the Data

Deze kwesties worden aangepakt in een nieuw artikel uit Denemarken, dat een methodologie biedt om bronafbeeldingen (of groepen van bronafbeeldingen) in een black-box Membership Inference Attack (MIA) te identificeren. De techniek omvat in elk geval deelname van custom-getrainde modellen die zijn ontworpen om brondata te helpen blootleggen door hun eigen ‘deepfakes’ te genereren:

Voorbeelden van ‘valse’ afbeeldingen gegenereerd door de nieuwe benadering, bij steeds toenemende niveaus van Classifier-Free Guidance (CFG), tot het punt van vernietiging. Bron: https://arxiv.org/pdf/2502.11619

Hoewel het onderzoek, getiteld Membership Inference Attacks for Face Images Against Fine-Tuned Latent Diffusion Models, een interessante bijdrage is aan de literatuur rondom dit specifieke onderwerp, is het ook een ontoegankelijk en summiere paper die aanzienlijke decodering nodig heeft. Daarom zullen we hier ten minste de basisprincipes achter het project behandelen en een selectie van de resultaten.

In feite, als iemand een AI-model fine-tuned op uw gezicht, kan de methode van de auteurs helpen bewijzen dat dit is gebeurd door naar aanwijzingen van memorisatie in de gegenereerde afbeeldingen van het model te zoeken.

In het eerste geval wordt een doel-AI-model fine-tuned op een dataset van gezichtsafbeeldingen, waardoor het waarschijnlijker wordt dat het details uit deze afbeeldingen in zijn output zal reproduceren. Vervolgens wordt een classifier-aanvalsmode getraind met AI-gegenereerde afbeeldingen van het doelmodel als ‘positieve’ voorbeelden (vermoede leden van de trainingsset) en andere afbeeldingen uit een andere dataset als ‘negatieve’ voorbeelden (niet-leden).

Door de subtiele verschillen tussen deze groepen te leren, kan het aanvalmodel voorspellen of een bepaalde afbeelding deel uitmaakte van de oorspronkelijke fine-tuningsdataset.

De aanval is het meest effectief in gevallen waarin het AI-model uitgebreid is fine-tuned, wat betekent dat hoe meer een model gespecialiseerd is, hoe gemakkelijker het is om te detecteren of bepaalde afbeeldingen zijn gebruikt. Dit geldt in het algemeen voor LoRAs die zijn ontworpen om beroemdheden of privépersonen na te bootsen.

De auteurs vonden ook dat het toevoegen van zichtbare watermerken aan trainingsafbeeldingen de detectie vergemakkelijkt – hoewel verborgen watermerken niet veel helpen.

Indrukwekkend is dat de benadering wordt getest in een black-box-setting, wat betekent dat deze werkt zonder toegang tot de interne details van het model, alleen zijn output.

De methode is computationeel intensief, zoals de auteurs toegeven; echter, de waarde van dit onderzoek ligt in het aangeven van de richting voor verdere onderzoeken, en om te bewijzen dat gegevens realistisch kunnen worden geëxtraheerd tot een aanvaardbare tolerantie; daarom, gezien de seminale aard ervan, hoeft het niet te draaien op een smartphone op dit moment.

Method/Data

Verschillende datasets van de Technische Universiteit van Denemarken (DTU, de gastinstelling voor de drie onderzoekers) werden gebruikt in de studie, voor het fine-tunen van het doelmodel en voor het trainen en testen van de aanvalsmode.

De gebruikte datasets waren afgeleid van DTU Orbit:

DseenDTU De basisafbeeldingsset.

DDTU Afbeeldingen gescraped van DTU Orbit.

DseenDTU Een partitie van DDTU gebruikt om het doelmodel fine te tunen.

DunseenDTU Een partitie van DDTU die niet werd gebruikt om een beeldgeneratiemodel fine te tunen, maar in plaats daarvan werd gebruikt om de aanvalsmode te testen of te trainen.

wmDseenDTU Een partitie van DDTU met zichtbare watermerken gebruikt om het doelmodel fine te tunen.

hwmDseenDTU Een partitie van DDTU met verborgen watermerken gebruikt om het doelmodel fine te tunen.

DgenDTU Afbeeldingen gegenereerd door een Latent Diffusion Model (LDM) dat is fine-getuned op de DseenDTU-afbeeldingsset.

De datasets die werden gebruikt om het doelmodel fine te tunen, bestaan uit afbeelding-tekstparen die zijn onderschreven door de BLIP-onderschriftingsmodel (misschien niet toevallig een van de meest populaire ongecensureerde modellen in de informele AI-gemeenschap).

BLIP werd ingesteld om de zin ‘een dtu-hoofdafbeelding van een’ toe te voegen aan elke beschrijving.

Verschillende datasets van de Universiteit van Aalborg (AAU) werden ook gebruikt in de tests, alle afgeleid van de AU VBN-corpus:

DAAU Afbeeldingen gescraped van AAU vbn.

DseenAAU Een partitie van DAAU gebruikt om het doelmodel fine te tunen.

DunseenAAU Een partitie van DAAU die niet werd gebruikt om een beeldgeneratiemodel fine te tunen, maar in plaats daarvan werd gebruikt om de aanvalsmode te testen of te trainen.

DgenAAU Afbeeldingen gegenereerd door een LDM dat is fine-getuned op de DseenAAU-afbeeldingsset.

Equivalent aan de eerdere sets, werd de zin ‘een aau-hoofdafbeelding van een’ gebruikt. Dit zorgde ervoor dat alle labels in de DTU-dataset de indeling ‘een dtu-hoofdafbeelding van een (…)’ volgden, waardoor de kernkenmerken van de dataset tijdens het fine-tunen werden versterkt.

Tests

Meerdere experimenten werden uitgevoerd om te evalueren hoe goed de membership-inference-aanvallen presteerden tegen het doelmodel. Elk test had als doel om te bepalen of het mogelijk was om een succesvolle aanval uit te voeren binnen het schema dat hieronder wordt getoond, waarin het doelmodel is fine-getuned op een afbeeldingsdataset die zonder toestemming is verkregen.

Schema voor de benadering.

Met het fine-getune model dat wordt gevraagd om outputafbeeldingen te genereren, worden deze afbeeldingen vervolgens gebruikt als positieve voorbeelden voor het trainen van de aanvalsmode, terwijl additionele ongerelateerde afbeeldingen worden opgenomen als negatieve voorbeelden.

De aanvalsmode wordt getraind met supervised learning en wordt vervolgens getest op nieuwe afbeeldingen om te bepalen of deze oorspronkelijk deel uitmaakten van de dataset die werd gebruikt om het doelmodel fine te tunen. Om de nauwkeurigheid van de aanval te evalueren, wordt 15% van de testgegevens opzij gezet voor validatie.

Omdat het doelmodel is fine-getuned op een bekende dataset, is de daadwerkelijke lidmaatschapsstatus van elke afbeelding al vastgesteld bij het maken van de trainingsgegevens voor de aanvalsmode. Deze gecontroleerde setup maakt het mogelijk om duidelijk te beoordelen hoe effectief de aanvalsmode kan onderscheiden tussen afbeeldingen die deel uitmaakten van de fine-tuningsdataset en diegene die dat niet deden.

Voor deze tests werd Stable Diffusion V1.5 gebruikt. Hoewel dit relatief oude model vaak voorkomt in onderzoek vanwege de noodzaak van consistent testen en de uitgebreide verzameling van eerder werk dat het gebruikt, is dit een passend gebruik; V1.5 bleef populair voor LoRA-creatie in de Stable Diffusion-hobbyistengemeenschap voor een lange tijd, ondanks meerdere latere versies, en zelfs ondanks de komst van Flux – omdat het model volledig ongecensureerd is.

Het aanvalmodel van de onderzoekers was gebaseerd op Resnet-18, met de vooraf getrainde gewichten van het model behouden. ResNet-18’s 1000-neuronenlaag werd vervangen door een fully-connected laag met twee neuronen. Trainingsverlies was categorische cross-entropy, en de Adam-optimizer werd gebruikt.

Voor elke test werd het aanvalmodel vijf keer getraind met verschillende random seeds om 95% betrouwbaarheidsintervallen te berekenen voor de belangrijkste metrics. Zero-shot classificatie met de CLIP-model werd gebruikt als baseline.

(Let op dat de oorspronkelijke primaire resultaatentabel in het artikel summiere en ongebruikelijk moeilijk te begrijpen is. Daarom heb ik deze hieronder opnieuw geformuleerd in een meer gebruikersvriendelijke vorm. Klik op de afbeelding om deze in betere resolutie te zien)

Samenvatting van resultaten van alle tests. Klik op de afbeelding om deze in betere resolutie te zien

Het aanvalmodel van de onderzoekers bleek het meest effectief te zijn bij het richten op fine-getune modellen, met name die getraind op een specifieke set afbeeldingen, zoals het gezicht van een individu. Echter, hoewel de aanval kan bepalen of een dataset is gebruikt, heeft het moeite om individuele afbeeldingen binnen die dataset te identificeren.

In praktische termen is het laatste niet noodzakelijkerwijs een belemmering voor het gebruik van een dergelijke benadering op forensische wijze; terwijl er relatief weinig waarde zit in het vaststellen dat een beroemde dataset zoals ImageNet in een model is gebruikt, zal een aanvaller op een privépersoon (niet een beroemdheid) de neiging hebben om minder keuze te hebben in brondata en volledig te profiteren van beschikbare datagroepen zoals socialemedia-albums en andere onlineverzamelingen. Deze creëren effectief een ‘hash’ die kan worden ontdekt door de methoden die hier worden beschreven.

Het artikel merkt op dat een andere manier om de nauwkeurigheid te verbeteren is om AI-gegenereerde afbeeldingen te gebruiken als ‘niet-leden’, in plaats van alleen te vertrouwen op echte afbeeldingen. Dit voorkomt kunstmatig hoge succesratio’s die de resultaten anders zouden kunnen misleiden.

Een extra factor die de detectie aanzienlijk beïnvloedt, merken de auteurs op, is watermarking. Wanneer trainingsafbeeldingen zichtbare watermerken bevatten, wordt de aanval zeer effectief, terwijl verborgen watermerken weinig tot geen voordeel bieden.

De rechterste figuur toont het daadwerkelijke ‘verborgen’ watermerk dat in de tests werd gebruikt.

Tenslotte speelt het niveau van richting in tekst-naar-afbeelding-generatie ook een rol, met het ideale evenwicht gevonden bij een richtingsfactor van ongeveer 8. Zelfs wanneer geen directe prompt wordt gebruikt, heeft een fine-getuned model de neiging om output te produceren die lijkt op zijn trainingsgegevens, waardoor de effectiviteit van de aanval wordt versterkt.

Conclusie

Het is jammer dat dit interessante artikel op zo’n ontoegankelijke manier is geschreven, aangezien het interessant zou moeten zijn voor privacy-voorstanders en informele AI-onderzoekers.

Hoewel membership-inference-aanvallen mogelijk een interessant en vruchtbaar forensisch instrument kunnen blijken te zijn, is het misschien nog belangrijker dat deze onderzoekslijn bredere, toepasbare principes ontwikkelt, om te voorkomen dat het in hetzelfde spel van kat-en-muis terechtkomt dat heeft plaatsgevonden bij deepfake-detectie in het algemeen, wanneer de release van een nieuw model de detectie en soortgelijke forensische systemen nadelig beïnvloedt. Sinds er enig bewijs is van een hoger niveau van richting dat in dit nieuwe onderzoek is schoongemaakt, kunnen we hopen dat er meer werk in deze richting zal worden gedaan.

Gepubliceerd op vrijdag 21 februari 2025