Herkenningspoging van brondata voor GAN-Generators

Nieuw onderzoek uit Frankrijk heeft een techniek voorgesteld om ‘herkenning’ van bronidentiteiten te doen die hebben bijgedragen aan synthetisch gegenereerde data, zoals de GAN-gegenereerde ‘niet-bestaande mensen’ bij gezichtsgenereringsprojecten zoals This Person Does Not Exist.

De methode die in het artikel wordt beschreven, getiteld Deze persoon (waarschijnlijk) bestaat. Identiteitslidmaatschapsaanvallen tegen GAN-gegenereerde gezichten, vereist geen (onwaarschijnlijke) toegang tot de trainingsarchitectuur of modelgegevens en kan worden toegepast op verschillende toepassingen waarvoor het gebruik van Generatieve Adversarial Networks (GAN’s) momenteel wordt onderzocht als methoden om persoonlijk identificeerbare informatie (PII) te anonimiseren of om synthetische gegevens te genereren terwijl de bronmateriaal wordt beschermd.

De onderzoekers hebben een methode ontwikkeld genaamd Identiteitslidmaatschapsaanval, die de waarschijnlijkheid beoordeelt van het frequente voorkomen van een enkele identiteit in een bijdragende dataset, in plaats van te proberen specifieke kenmerken van een identiteit te identificeren (d.w.z. de pixelfragmenten van een originele afbeelding die werd gebruikt om het generatieve model te trainen).

Bron: https://arxiv.org/pdf/2107.06018.pdf

In de bovenstaande afbeelding, uit het onderzoek, begint elke rij met een GAN-gegenereerde afbeelding gemaakt door StyleGAN. Het linkerblok afbeeldingen is gemaakt van een database van 40.000 afbeeldingen, het middelste blok van 80.000 en het rechterblok van 46.000 afbeeldingen. Alle afbeeldingen komen uit de VGG2Face2-dataset.

Sommige voorbeelden hebben een voorbijgaande gelijkenis, terwijl anderen sterk correleren met de trainingsdata. De gezichten werden met succes geïdentificeerd door de onderzoekers met behulp van een gezichtsidentificatienetwerk.

Meer dan gezichtswaarde

Herkenningbenaderingen van deze aard hebben meerdere implicaties in veel onderzoeksgebieden; de onderzoekers, gevestigd aan de Universiteit van Caen in Normandië, benadrukken dat hun techniek niet beperkt is tot gezichtssets en gezichtsgenererende GAN-kaders, maar eveneens toepasbaar is op medische beeldendatasets en biometrische gegevens, onder andere mogelijke aanvalsoppervlakken in beeldsynthesekaders.

‘We zijn van mening dat als zo’n aanval succesvol is, dit een ernstige hindernis zou vormen voor de veilige uitwisseling van GAN’s in gevoelige contexten. Bijvoorbeeld, in de context van schilderijen of andere kunstwerken, kan het distribueren van een niet-privaat generator wellicht worden uitgesloten vanwege voor de hand liggende auteursrechtskwesties. Nog belangrijker, stel dat een biometrisch bedrijf A een generator vrijgeeft die de identiteit van zijn consumenten blootlegt. Een ander bedrijf B kan mogelijk detecteren welke van hun eigen consumenten ook klanten zijn van bedrijf A. Soortgelijke situaties kunnen ernstige problemen opleveren voor medische gegevens, waarbij het onthullen van een GAN persoonlijke informatie over een patiënt zou kunnen schenden.’

Herkenning van illegaal webgeschraapte of privégegevens

Hoewel het artikel slechts lichtelijk ingaat op het onderwerp, heeft de mogelijkheid om oorspronkelijke brondata te identificeren uit geabstraheerde output (zoals GAN-gegenereerde gezichten, hoewel dit eveneens van toepassing is op encoder/decoder-systemen en andere architectuur) opvallende implicaties voor auteursrechtbeschermingsimplementaties in de komende 5-10 jaar.

Momenteel hanteren de meeste landen een laissez faire benadering van het schrapen van openbaar toegankelijke webgegevens om niet achter te blijven in de ontwikkelingsfase van de machine learning-economieën die komen. Naarmate deze klimaat commercialiseert en consolideert, is er een aanzienlijk potentieel voor een nieuwe generatie ‘Data Trolls’ om auteursrechtseisen te stellen op afbeeldingen die historisch zijn bevestigd als onderdeel van datasets die hebben bijgedragen aan machine learning-algoritmen.

Als de ontwikkelde algoritmen rijpen en waardevoller worden met de tijd, kan elke niet-toegestane beeldmateriaal dat werd gebruikt in hun vroege ontwikkeling, en dat kan worden afgeleid uit hun output met methoden vergelijkbaar met die voorgesteld in het nieuwe Franse artikel, een potentieel juridisch risico vormen van de omvang van SCO Vs IBM (een legendarisch langdurige tech-rechtszaak die nog steeds dreigt het Linux-besturingssysteem).

Uitbuiten van het Mexicaanse patstelling van diversiteit versus frequentie

De primaire techniek die door de Franse onderzoekers wordt gebruikt, baat de frequentie van oorspronkelijke dataset-afbeeldingen uit als een sleutel tot herkenning. Hoe vaker een bepaalde identiteit voorkomt in de dataset, hoe waarschijnlijker het is dat het mogelijk is om die oorspronkelijke identiteit te identificeren, door de resultaten van de aanval te correleren met openbaar of privaat beschikbare datasets.

De onderzoekers merken op dat dit kan worden gemitigeerd door een veel grotere diversiteit aan gegevens (bijvoorbeeld van gezichten) in de brondataset op te nemen, en door de dataset niet zo lang te trainen dat overfitting optreedt. Het probleem hiermee is dat het model dan goede abstractie moet bereiken in een veel hoger dimensionaal ruimte, en met een veel grotere hoeveelheid gegevens dan strikt noodzakelijk is om plausibele synthetische resultaten te behalen.

Om een dergelijke optimalisatie van generalisatie te bereiken, is duur en tijdrovend: de latentieruimte (het formuleerdeel van het machine learning-model waarin gegevens worden ingevoerd) zal meer resources nodig hebben; de dataset zal meer curatie nodig hebben; en aangezien de hoeveelheid gegevens aanzienlijk moet zijn, zullen batchgroottes en tariefschema’s moeten worden geoptimaliseerd voor kwaliteit en hoge niveaus van generalisatie, in plaats van trainingsnelheid en economie, waardoor hogere ontwikkelkosten en langere ontwikkeltijden ontstaan.

Voorts kunnen overfitte generatieve algoritmen zeer realistische synthetische gegevens behalen, zelfs als de uitvoergegevens (d.w.z. gezichten, kaarten, biomedische afbeeldingen, enz.) niet volledig geabstraheerd zijn, maar grotere onderscheidende kenmerken van de brondata vertonen dan ideaal zou zijn – een verleidelijke shortcut. In de huidige ‘wilde westen’-klimaat van de machine learning-sector, waar kleinere initiatieven proberen FAANG’s leidende positie uit te dagen met schaarser resources (of anderszins aandacht te trekken voor een overname), is het twijfelachtig of de normen altijd zo hoog liggen.

Het artikel merkt ook op dat diversiteit van brondata (zoals gezichten) op zichzelf niet voldoende is om herkenning door deze en soortgelijke methoden te voorkomen, aangezien vroegtijdige stopzetting van de training de bronidentiteiten onvoldoende geabstraheerd kan laten.