Genkendelse af kilde-data for GAN-generering

Nyt forskning fra Frankrig har foreslået en teknik til at ‘genkende’ kilde-identiteter, der har bidraget til syntetisk genereret data, såsom GAN-genererede ‘ikke-eksisterende personer’ i ansigtsgenereringsprojekter som This Person Does Not Exist.

Metoden, der er beskrevet i artiklen, med titlen This Person (Probably) Exists. Identity Membership Attacks Against GAN Generated Faces, kræver ikke (usandsynlig) adgang til træningsarkitekturen eller modeldata og kan anvendes på en række anvendelser, hvor brugen af Generative Adversarial Networks (GANs) i øjeblikket undersøges som metoder til enten at anonymisere personligt identificerbare oplysninger (PII) eller som middel til at generere syntetisk data, mens kilde-materialet beskyttes.

Forskerne har formuleret en metode kaldet Identity Membership Attack, som vurderer sandsynligheden for, at en enkelt identitet optræder hyppigt i en bidragende dataset, snarere end at forsøge at fokusere på bestemte karakteristika af en identitet (dvs. på pixelgrupper af et originalbillede, der blev brugt til at træne det generative model).

Kilde: https://arxiv.org/pdf/2107.06018.pdf

I billedet ovenfor, fra forskningen, begynder hver række med et GAN-genereret billede, der er oprettet af StyleGAN. Den venstre blok af billeder er oprettet fra en database med 40.000 billeder, den midterste fra 80.000 og den højre blok fra 46.000 billeder. Alle billeder kommer fra VGG2Face2-datasættet.

Nogle eksempler har en flygtig lighed, mens andre stærkt korrelerer med træningsdata. Ansigtene blev succesfuldt identificeret af forskerne ved hjælp af et ansigtsgenkendelsesnetværk.

Mer end ansigtets værdi

Genkendelsesmetoder af denne art har multiple implikationer på tværs af mange forskningsfelter; forskerne, der er baseret på Universitetet i Caen i Normandiet, understreger, at deres teknik ikke er begrænset til ansigtssæt og ansigtsgenererings-GAN-rammer, men er ligeledes anvendelig på medicinske billed datasæt og biometriske data, blandt andre mulige angrebsflader i billedsyntheserammer.

‘Vi mener, at hvis det er succesfuldt, ville en sådan angreb afsløre en alvorlig forhindring for den sikre udveksling af GANs i følsomme sammenhænge. For eksempel i sammenhængen med malerier eller andre kunstværker kan distributionen af en ikke-privat generator måske være udelukket på grund af åbenlyse ophavsretsproblemer. Endnu vigtigere er at overveje en biometrisk virksomhed A, der udgiver en generator, der afslører dens forbrugeridentitet. En anden virksomhed B kunne potentielt opdage, hvilke af deres egne kunder også er kunder af virksomhed A. Lignende situationer kan udgøre alvorlige problemer for medicinske data, hvor afsløringen af en GAN kan krænke personlige oplysninger om en patient sygdom.’

Genkendelse af ulovligt web-skrapede eller private data

Selv om artiklen kun berører emnet let, har evnen til at identificere oprindelige kilde-data fra abstraheret output (såsom GAN-genererede ansigter, selv om dette også gælder for encoder/decoder-systemer og andre arkitekturer) bemærkelsesværdige implikationer for ophavsretsbeskyttelsesimplementeringer over de næste 5-10 år.

I øjeblikket følger de fleste lande en laissez faire-tilgang til skrapning af offentligt tilgængelige webdata for ikke at blive efterladt i udviklingsstadiet af den maskinlæringsøkonomi, der kommer. Da denne klima kommercieliseres og konsolideres, er der betydelig potentiale for en ny generation af ‘Data Trolls’ til at fremlægge ophavsretskrav på billeder, der er bekræftet at være blevet brugt historisk i datasæt, der har bidraget til maskinlæringsalgoritmer.

Da de udviklede algoritmer modnes og bliver mere værdifulde med tiden, kan enhver ikke-tilladt billedmateriale, der blev brugt i deres tidlige udvikling, og som kan sluttes fra deres output ved metoder lignende dem, der er foreslået i den nye franske artikel, være en potentiel juridisk ansvarlighed på samme skala som SCO Vs IBM (en legendarisk langvarig teknologiretssag, der stadig truer Linux-operativsystemet).

Udnyttelse af det mexicanske stand-off mellem diversitet og hyppighed

Den primære teknik, der bruges af de franske forskere, udnytter hyppigheden af oprindelige datasæt-billeder som en nøgle til genkendelse. Jo hyppigere en bestemt identitet optræder i datasættet, jo mere sandsynligt er det, at det vil være muligt at identificere den oprindelige identitet ved at korrelerer resultaterne af angrebet med offentligt eller privat tilgængelige datasæt.

Forskerne bemærker, at dette kan mildnes ved at inkludere en langt større diversitet af data (for eksempel ansigter) i kilde-datasættet og ved ikke at træne datasættet så længe, at overfitning opstår. Problemet med dette er, at modellen derefter må opnå god abstraktion i et langt højere dimensionsrum og med en langt større mængde data, end det strengt nødvendigt er for at opnå troværdige syntetiske resultater.

For at opnå optimal generalisering af denne art er dyrt og tidskrævende; den latente rum (den formelmæssige analyse-del af maskinlæringsmodellen, som data indføres i) vil kræve flere ressourcer; datasættet vil kræve mere kuratering; og da mængden af data vil kræve at være betydelig, vil batch-størrelser og rateskemaer skulle optimeres for kvalitet og høj generalisering, snarere end træningshastighed og økonomi, hvilket resulterer i højere udviklingsomkostninger og længere udviklingstider.

Desuden kan overfitte generative algoritmer opnå højrealistiske syntetiske data, selv om outputdata (dvs. ansigter, kort, biomedicinske billeder osv.) ikke er fuldstændigt abstrakt, men har større karakteristika fra kilde-data, end det ville være ideelt – en fristende genvej. I den nuværende ‘vilde vest’-klima i maskinlæringssektoren, hvor mindre initiativer forsøger at udfordre FAANGs ledelse med færre ressourcer (eller blot få opmærksomhed for en opkøb), er det spørgsmålsigt, om standarderne altid stiger til dette niveau.

Artiklen observerer også, at diversiteten af kilde-data-punkter (såsom ansigter) ikke er nok i sig selv for at forhindre genkendelse gennem disse og lignende metoder, da tidlig stopning af træning kan efterlade kilde-identiteter utilstrækkeligt abstraheret.