Echte identiteiten kunnen worden hersteld uit synthetische datasets

Als 2022 het moment markeerde waarop het disruptieve potentieel van generatieve AI voor het eerst de brede aandacht van het publiek trok, is 2024 het jaar waarin vragen over de legaliteit van de onderliggende data centraal staan voor bedrijven die hun kracht willen benutten.

De fair use-doctrine van de VS, evenals de impliciete academische licentie die lange tijd de academische en commerciële onderzoekssectoren in staat stelde om generatieve AI te onderzoeken, werd steeds minder houdbaar naarmate er meer bewijs van plagiaat naar voren kwam. Vervolgens heeft de VS, voorlopig, AI-gegenereerde inhoud uitgesloten van het auteursrecht.

Deze kwesties zijn verre van beslecht en verre van spoedig opgelost; in 2023, mede als gevolg van de groeiende media- en publieke bezorgdheid over de juridische status van AI-gegenereerde output, startte het Amerikaanse auteursrechtbureau een onderzoek van meerdere jaren naar dit aspect van generatieve AI, waarvan het eerste deel (over digitale replica’s) in juli 2024 werd gepubliceerd.

Ondertussen blijven bedrijfsbelangen gefrustreerd door de mogelijkheid dat de dure modellen die ze willen exploiteren hen aan juridische gevolgen kunnen blootstellen wanneer definitieve wetgeving en definities uiteindelijk naar voren komen.

De dure korte-termijnoplossing is om generatieve modellen te legitimeren door ze te trainen op data waar bedrijven het recht hebben om te exploiteren. De Firefly-architectuur van Adobe, die zowel tekst-naar-afbeelding als tekst-naar-video omvat, wordt voornamelijk aangedreven door de aankoop van de Fotolia-stockafbeeldingsdataset in 2014, aangevuld met het gebruik van verlopen openbare domeindata*. Tegelijkertijd hebben gevestigde aandelenfotoleveranciers zoals Getty en Shutterstock de nieuwe waarde van hun gelicenceerde data benut, met een groeiend aantal deals om inhoud te licentiëren of hun eigen IP-compliant GenAI-systemen te ontwikkelen.

Synthetische oplossingen

Het verwijderen van gecopyrechte data uit de getrainde latent space van een AI-model is problematisch, en fouten op dit gebied kunnen potentieel zeer kostbaar zijn voor bedrijven die experimenteren met consumenten- en bedrijfsoplossingen die machine learning gebruiken.

Een alternatief, en veel goedkopere oplossing voor computersystemen (en ook voor Large Language Models, of LLM’s), is het gebruik van synthetische data, waarbij de dataset bestaat uit willekeurig gegenereerde voorbeelden van het doeldomein (zoals gezichten, katten, kerken of zelfs een meer gegeneraliseerde dataset).

Websites zoals thispersondoesnotexist.com hebben lang geleden het idee populair gemaakt dat authentiek uitziende foto’s van ‘niet-reële’ mensen konden worden gesynthetiseerd (in dat specifieke geval door middel van Generative Adversarial Networks, of GAN’s) zonder enige relatie te hebben met mensen die echt in de echte wereld bestaan.

Dus, als je een gezichtsherkenningssysteem of een generatief systeem traint op dergelijke abstracte en niet-reële voorbeelden, kun je in theorie een fotorealistisch productieniveau voor een AI-model bereiken zonder te hoeven overwegen of de data juridisch bruikbaar is.

Evenwichtsoefening

Het probleem is dat de systemen die synthetische data produceren, zelf getraind zijn op reële data. Als sporen van die data doorsijpelen in de synthetische data, kan dit potentieel bewijs leveren dat beperkte of anderszins niet-geautoriseerde materialen zijn geëxploiteerd voor financieel gewin.

Om dit te voorkomen, en om echt ‘willekeurige’ beelden te produceren, moeten dergelijke modellen ervoor zorgen dat ze goed gegeneraliseerd zijn. Generalisatie is de maatstaf voor de capaciteit van een getraind AI-model om intrinsiek hoogwaardige concepten (zoals ‘gezicht’, ‘man’ of ‘vrouw’) te begrijpen zonder terug te vallen op het repliceren van de feitelijke trainingsdata.

Helaas kan het voor getrainde systemen moeilijk zijn om (of te herkennen) granulair detail te produceren, tenzij ze uitgebreid getraind zijn op een dataset. Dit blootst het systeem aan het risico van memorisatie: een neiging om, in zekere mate, voorbeelden van de feitelijke trainingsdata te reproduceren.

Dit kan worden gemitigeerd door een meer ontspannen leerratio in te stellen, of door de training te beëindigen op een punt waar de kernconcepten nog steeds ductiel zijn en niet geassocieerd worden met een specifiek datapunt (zoals een specifiek beeld van een persoon, in het geval van een gezichtsdataset).

Beide van deze remedies kunnen echter leiden tot modellen met minder fijne details, aangezien het systeem niet de kans kreeg om verder te gaan dan de ‘basis’ van het doeldomein, en naar de specifieke details.

Dus, in de wetenschappelijke literatuur, worden over het algemeen zeer hoge leerratio’s en uitgebreide trainschema’s toegepast. Onderzoekers proberen meestal een compromis te vinden tussen brede toepasbaarheid en granulariteit in het eindmodel, maar zelfs licht ‘gememoriseerde’ systemen kunnen zich vaak voordoen als goed gegeneraliseerd – zelfs in de eerste tests.

Gezichtsontmaskering

Dit brengt ons bij een interessant nieuw onderzoek uit Zwitserland, dat beweert het eerste te zijn dat aantoont dat de oorspronkelijke, reële beelden die de synthetische data aandrijven, kunnen worden hersteld uit gegenereerde beelden die in theorie volledig willekeurig zouden moeten zijn:

Voorbeelden van gezichtsbeelden die uit de trainingsdata zijn gelekt. In de bovenste rij zien we de oorspronkelijke (reële) beelden; in de onderste rij zien we beelden die willekeurig zijn gegenereerd, die aanzienlijk overeenkomen met de reële beelden. Bron: https://arxiv.org/pdf/2410.24015

De resultaten, zo betogen de auteurs, geven aan dat ‘synthetische’ generators inderdaad een groot aantal van de trainingsdatapunten hebben gememoriseerd in hun zoektocht naar grotere granulariteit. Ze geven ook aan dat systemen die afhankelijk zijn van synthetische data om AI-producers te beschermen tegen juridische gevolgen, in dit opzicht mogelijk onbetrouwbaar kunnen zijn.

De onderzoekers voerden een uitgebreid onderzoek uit naar zes state-of-the-art synthetische datasets, waarbij werd aangetoond dat in alle gevallen oorspronkelijke (potentieel beschermd of beperkt) data kan worden hersteld. Zij merken op:

‘Onze experimenten tonen aan dat state-of-the-art synthetische gezichtsherkenningdatasets monsters bevatten die zeer dicht bij monsters in de trainingsdata van hun generatormodellen liggen. In sommige gevallen bevatten de synthetische monsters kleine veranderingen ten opzichte van het oorspronkelijke beeld, maar we kunnen ook zien dat in sommige gevallen het gegenereerde monster meer variatie bevat (bijv. andere pose, lichtconditie, enz.) terwijl de identiteit behouden blijft.

‘Dit suggereert dat de generatormodellen leren en onthouden identiteitsgerelateerde informatie uit de trainingsdata en mogelijk soortgelijke identiteiten kunnen genereren. Dit creëert kritische zorgen met betrekking tot de toepassing van synthetische data in privacygevoelige taken, zoals biometrie en gezichtsherkenning.’

De paper heeft als titel Onthullen van synthetische gezichten: hoe synthetische datasets echte identiteiten kunnen onthullen, en komt van twee onderzoekers van het Idiap Research Institute in Martigny, de École Polytechnique Fédérale de Lausanne (EPFL) en de Université de Lausanne (UNIL) in Lausanne.

Methode, data en resultaten

De gememoriseerde gezichten in de studie werden onthuld door middel van een Membership Inference Attack. Hoewel het concept ingewikkeld klinkt, is het relatief eenvoudig: het afleiden van lidmaatschap houdt in dit geval in dat het systeem wordt ondervraagd totdat het data onthult die overeenkomen met de data die je zoekt, of die er aanzienlijk op lijken.

Verdere voorbeelden van afgeleide gegevensbronnen uit de studie. In dit geval zijn de synthetische beelden afkomstig uit de DCFace-dataset.

De onderzoekers bestudeerden zes synthetische datasets waarvan de (reële) bron bekend was. Aangezien zowel de reële als de valse datasets in kwestie een zeer groot volume aan beelden bevatten, is dit effectief zoeken naar een speld in een hooiberg.

Daarom gebruikten de auteurs een standaardfacial recognition model^† met een ResNet100-backbone getraind op de AdaFace–lossfunctie (op de WebFace12M-dataset).

De zes synthetische datasets die werden gebruikt, waren: DCFace (een latent diffusiemodel); IDiff-Face (Uniform – een diffusiemodel op basis van FFHQ); IDiff-Face (Twee-staps – een variant met een andere steekproefmethode); GANDiffFace (gebaseerd op Generative Adversarial Networks en Diffusion-modellen, met StyleGAN3 om initiële identiteiten te genereren en vervolgens DreamBooth om gevarieerde voorbeelden te creëren); IDNet (een GAN-methode, gebaseerd op StyleGAN-ADA); en SFace (een identiteitsbeschermingskader).

De auteurs sloten synthetische datasets uit die CGI in plaats van AI-methoden gebruikten, en bij het evalueren van de resultaten werden overeenkomsten voor kinderen buiten beschouwing gelaten vanwege distributie-anomalieën in dit opzicht, evenals niet-gezichtsbeelden (die frequent kunnen voorkomen in gezichtsdatasets, waar web-scraper-systemen valse positieven produceren voor objecten of artefacten die gezichts-achtige kwaliteiten hebben).

Cosine-similariteit werd berekend voor alle opgehaalde paren en samengevoegd in histogrammen, zoals hieronder weergegeven:

Een histogramweergave van de cosinesimilariteitsscores berekend over de diverse datasets, samen met hun overeenkomstige waarden van similariteit voor de top-k-paren (gestreepte verticale lijnen).

Het aantal overeenkomsten wordt weergegeven door de pieken in de grafiek hierboven. Het artikel bevat ook voorbeelden van vergelijkingen uit de zes datasets en hun overeenkomstige geschatte beelden in de oorspronkelijke (reële) datasets, waarvan enkele selecties hieronder worden weergegeven:

Voorbeelden van de vele instanties die in de bronpublicatie worden gereproduceerd, waarvoor de lezer wordt verwezen naar een meer uitgebreide selectie.

De paper merkt op:

‘[De] gegenereerde synthetische datasets bevatten zeer vergelijkbare beelden uit de trainingsset van hun generatormodel, wat zorgen baart over de generatie van dergelijke identiteiten.’

De auteurs merken verder op dat het voor deze benadering waarschijnlijk inefficiënt zal zijn om op te schalen naar grotere datasets, aangezien de benodigde berekening extreem belastend zou zijn. Zij observeren dat visuele vergelijking noodzakelijk was om overeenkomsten af te leiden, en dat automatische gezichtsherkenning alleen waarschijnlijk niet voldoende zou zijn voor een grotere taak.

Met betrekking tot de implicaties van het onderzoek en met het oog op toekomstige onderzoeken, stelt het werk:

‘[We] willen benadrukken dat de belangrijkste motivatie voor het genereren van synthetische datasets is om privacyproblemen aan te pakken bij het gebruik van grote web-gecrawlde gezichtsdatasets.

‘Daarom kan de lekkage van enige gevoelige informatie (zoals identiteiten van reële beelden in de trainingsdata) in de synthetische dataset kritische zorgen oproepen met betrekking tot de toepassing van synthetische data voor privacygevoelige taken, zoals biometrie. Onze studie werpt licht op de privacyvalkuilen bij de generatie van synthetische gezichtsherkenningdatasets en baant de weg voor toekomstige onderzoeken naar het genereren van verantwoorde synthetische gezichtsdatasets.’

Hoewel de auteurs beloven dat de code voor dit werk zal worden vrijgegeven op de projectpagina, is er op dit moment geen repository-link beschikbaar.

Conclusie

Onlangs heeft de media-aandacht de afnemende rendementen benadrukt die worden behaald door AI-modellen te trainen op AI-gegenereerde data.

Het nieuwe Zwitserse onderzoek brengt echter een overweging naar voren die mogelijk nog dringender is voor het groeiende aantal bedrijven dat generatieve AI wil benutten en profiteren – het voortbestaan van IP-beschermd of niet-geautoriseerde datapatronen, zelfs in datasets die zijn ontworpen om deze praktijk te bestrijden. Als we het een definitie zouden moeten geven, zou het in dit geval mogelijk ‘gezichtswassen’ genoemd kunnen worden.

* Adobe’s beslissing om door gebruikers geüploade AI-gegenereerde beelden toe te staan op Adobe Stock, heeft echter effectief de juridische ‘zuiverheid’ van deze data ondermijnd. Bloomberg beweerde in april 2024 dat door gebruikers geleverde beelden van het MidJourney-generatieve AI-systeem waren opgenomen in de mogelijkheden van Firefly.

^† Dit model wordt niet geïdentificeerd in het artikel.

Publicatie op woensdag 6 november 2024