Reelle identiteter kan gjenopprettes fra syntetiske datasett

Hvis 2022 var året da generativ AI først fikk stor oppmerksomhet fra offentligheten, har 2024 vært året da spørsmål om lovligheten til dens underliggende data har kommet i fokus for bedrifter som ønsker å utnytte dens kraft.

I USA har fair use-doktrinen, sammen med den implisitte akademiske lisensen som lenge har tillatt akademiske og kommersielle forskningssektorer å utforske generativ AI, blitt stadig mer uholdbar som bevis for plagiat overflødig. Deretter har USA, for øyeblikket, forbudt AI-generert innhold fra å bli opphavsrettslig beskyttet.

Disse sakene er langt ifra avgjort, og langt ifra å bli løst i nær fremtid; i 2023, delvis på grunn av økende medie- og offentlig bekymring om den juridiske statusen til AI-generert utgang, lanserte USAs opphavsrettskontor en flere års undersøkelse av dette aspektet ved generativ AI, og publiserte den første delen (om digitale kopier) i juli 2024.

I mellomtiden forblir bedriftsinteresser frustrert over muligheten for at de dyre modellene de ønsker å utnytte kan eksponere dem for juridiske konsekvenser når endelige lovgivning og definisjoner til slutt kommer.

Den dyre kortsiktige løsningen har vært å legitimere generative modeller ved å trene dem på data som selskaper har rett til å utnytte. Adobes tekst-til-bilde (og nå tekst-til-video) Firefly-arkitektur er primært drevet av kjøpet av Fotolia-bildesamlingen i 2014, supplementert med bruk av utgåtte offentlige domene-data*. Samtidig har etablerte aktører som Getty og Shutterstock utnyttet den nye verdien av deres lisensiert innhold, med en økende rekke av avtaler for å lisensiere innhold eller utvikle sine egne IP-kompatible GenAI-systemer.

Syntetiske løsninger

Siden fjerning av opphavsrettslig beskyttet data fra det trente latente rommet i en AI-modell er omgitt av problemer, kan feil i dette området potensielt være svært kostbare for selskaper som eksperimenterer med forbruker- og bedriftsløsninger som bruker maskinlæring.

En alternativ, og mye billigere løsning for datavisningsystemer (og også store språkmodeller, eller LLM-er), er å bruke syntetisk data, hvor datasett består av tilfeldig genererte eksempler av måldomænet (som ansikter, katter, kirker eller enda et mer generelt datasett).

Nettsider som thispersondoesnotexist.com populariserte lenge siden ideen om at autentisk utseende bilder av “ikke-eksisterende” personer kunne syntetiseres (i dette tilfelle gjennom generative adversarial nettverk, eller GAN-er) uten å ha noen sammenheng med personer som faktisk eksisterer i den virkelige verden.

Derfor, hvis du trener et ansiktsgjenkjenningssystem eller et generativt system på slike abstrakte og ikke-eksisterende eksempler, kan du i teorien oppnå en fotorealistisk standard for produktivitet for en AI-modell uten å måtte bekymre deg for om dataene er juridisk brukbare.

Balans

Problemet er at systemene som produserer syntetisk data selv er trent på virkelig data. Hvis spor av denne dataen lekker inn i den syntetiske dataen, kan dette potensielt gi bevis for at begrensede eller uautoriserte materialer er blitt utnyttet for økonomisk gevinst.

For å unngå dette, og for å produsere virkelig “tilfeldige” bilder, må slike modeller sikre at de er godt generalisert. Generalisering er målet for en trent AI-modells evne til å intrinsisk forstå høynivåkonsepter (som ‘ansikt’, ‘mann’ eller ‘kvinne’) uten å gå tilbake til å gjengi det faktiske treningdata.

Uheldigvis kan det være vanskelig for trenede systemer å produsere (eller gjenkjenne) granulert detalj med mindre de trener svært omfattende på et datasett. Dette eksponerer systemet for risiko for memorisering: en tendens til å gjengi, i noen grad, eksempler av det faktiske treningdata.

Dette kan mildnes ved å sette en mer avslappet læringshastighet, eller ved å avslutte trening på et stadium hvor de grunnleggende konseptene fortsatt er ductile og ikke assosiert med noen bestemt datapunkt (som et bestemt bilde av en person, i tilfelle et ansiktsdataset).

Likevel er begge disse midlene sannsynligvis å føre til modeller med mindre finmasket detalj, ettersom systemet ikke fikk sjansen til å gå videre fra “grunnleggende” til det måldomænet, og ned til spesifikke detaljer.

Derfor brukes i den vitenskapelige litteraturen ofte svært høye læringshastigheter og omfattende treningsplaner. Mens forskere vanligvis forsøker å finne en kompromiss mellom bred anvendelighet og granularitet i den endelige modellen, kan selv noe “memorisert” system ofte misrepresentere seg selv som godt generalisert – selv i de første testene.

Ansigtsavsløring

Dette bringer oss til en interessant ny artikkel fra Sveits, som hevder å være den første til å demonstrere at de opprinnelige, virkelige bildene som driver syntetisk data kan gjenopprettes fra genererte bilder som i teorien burde være helt tilfeldige:

Eksempler på ansiktsbilder som har lekket fra treningdata. I raden over ser vi de opprinnelige (virkelige) bildene; i raden under ser vi bilder generert tilfeldig, som står i betydelig overensstemmelse med de virkelige bildene. Kilde: https://arxiv.org/pdf/2410.24015

Resultatene, som forfatterne hevder, indikerer at “syntetiske” generatorer faktisk har memorisert en stor mengde av treningdataene, i deres søken etter større granularitet. De indikerer også at systemer som baserer seg på syntetisk data for å beskytte AI-produsenter fra juridiske konsekvenser kan være svært upålitelige i denne henseende.

Forskere gjennomførte en omfattende studie på seks syntetiske datasett, og demonstrerte at i alle tilfeller kunne opprinnelige (muligens opphavsrettslig beskyttede eller beskyttede) data gjenopprettes. De kommenterer:

‘Våre eksperimenter viser at state-of-the-art syntetiske ansiktsgjenkjenningdatasett inneholder prøver som er svært like prøver i treningdataene til deres generator-modeller. I noen tilfeller inneholder de syntetiske prøvene små endringer av det opprinnelige bildet, men vi kan også observere i noen tilfeller at den genererte prøven inneholder mer variasjon (f.eks. forskjellig pose, lysforhold osv.) mens identiteten beholdes.

‘Dette antyder at generator-modellene lærer og memoriserer identitetsrelatert informasjon fra treningdata og kan generere lignende identiteter. Dette skaper kritiske bekymringer med hensyn til anvendelsen av syntetisk data i personvernssensitive oppgaver, som biometri og ansiktsgjenkjenning.’

Den artikkelen har tittelen Avgjøring av syntetiske ansikter: Hvordan syntetiske datasett kan avsløre virkelige identiteter, og kommer fra to forskere ved Idiap Research Institute i Martigny, École Polytechnique Fédérale de Lausanne (EPFL) og Université de Lausanne (UNIL) i Lausanne.

Metode, data og resultater

De memoriserte ansiktene i studien ble avdekket ved medlemskapsinferensangrep. Selv om konseptet kan virke komplisert, er det ganske selvforklarende: å inferere medlemskap, i dette tilfelle, refererer til prosessen med å spørre systemet til den avslører data som enten matcher dataene du søker etter, eller ligner på dem.

Flere eksempler på inferert datakilder, fra studien. I dette tilfelle er kildebildene fra DCFace-datasettet.

Forskere studerte seks syntetiske datasett hvor kilde-datasettet var kjent. Siden både de virkelige og de falske datasettene i spørsmålet inneholder en svært stor mengde bilder, er dette effektivt som å lete etter en nål i en høystak.

Derfor brukte forfatterne en ferdig utviklet ansiktsgjenkjenningmodell^† med en ResNet100-rygg og trent på AdaFace–tapfunksjon (på WebFace12M-datasettet).

De seks syntetiske datasettene som ble brukt var: DCFace (en latent diffusjonsmodell); IDiff-Face (Uniform – en diffusjonsmodell basert på FFHQ); IDiff-Face (To-trinns – en variant som bruker en annen sampling-metode); GANDiffFace (basert på Generative Adversarial Networks og Diffusjonsmodeller, som bruker StyleGAN3 for å generere initial identitet, og deretter DreamBooth for å skape varierte eksempler); IDNet (en GAN-metode, basert på StyleGAN-ADA); og SFace (en identitetsbeskyttende ramme).

Siden GANDiffFace bruker både GAN og diffusjonsmetoder, ble den sammenlignet med treningdatasettet til StyleGAN – det nærmeste til et “ekte ansikt”-opphav som denne nettverket tilbyr.

Forfatterne ekskluderte syntetiske datasett som bruker CGI i stedet for AI-metoder, og i evaluering av resultater diskonterte de sammenligninger for barn, på grunn av distribusjonsanomalier i denne henseende, samt ikke-ansiktsbilder (som ofte kan forekomme i ansiktsdatasett, hvor web-skraping-systemer produserer feilpositive for objekter eller artefakter som har ansiktslignende kvaliteter).

Kosin-lignende søk ble beregnet for alle de gjenvunne parene, og koblet sammen i histogrammer, illustrert nedenfor:

En histogram-representasjon for kosin-lignende søk beregnet over de ulike datasettene, sammen med deres relaterte lignende verdier for de øverste k-parene (stiplet vertikale linjer).

Antallet lignende er representert i spikene i grafen ovenfor. Artikkelen inneholder også eksempler på sammenligninger fra de seks datasettene, og deres tilhørende estimerte bilder i de opprinnelige (virkelige) datasettene, hvorav noen utvalg er vist nedenfor:

Eksempler fra de mange instanser som er gjengitt i kildeartikkelen, som lesere henvises til for en mer omfattende utvalg.

Artikkelen kommenterer:

‘[De] genererte syntetiske datasett inneholder svært like bilder fra treningssettet til deres generator-modell, hvilket raiser bekymringer med hensyn til generering av slike identiteter.’

Forfatterne bemerker at for denne spesifikke tilnærmingen er det sannsynlig å være ineffektivt å skalerer opp til større volumdatasett, ettersom den nødvendige beregningen ville være ekstremt tung. De observerer videre at visuell sammenligning var nødvendig for å inferere sammenligninger, og at automatisert ansiktsgjenkjenning alene ikke sannsynligvis ville være tilstrekkelig for en større oppgave.

Med hensyn til implikasjonene av forskningen, og med tanke på veier fremover, sier arbeidet:

‘[Vi] ønsker å understreke at hovedmotivasjonen for å generere syntetiske datasett er å løse personvernproblemer ved å bruke store web-kryssede ansiktsdatasett.

‘Derfor er lekkasjen av noen sensitive informasjon (som identiteter av virkelige bilder i treningdata) i det syntetiske datasett kritiske bekymringer med hensyn til anvendelsen av syntetisk data i personvernssensitive oppgaver, som biometri. Vår studie kaster lys over personvern-fallgrupper i generering av syntetiske ansiktsgjenkjenningdatasett og åpner vei for fremtidige studier mot å generere ansvarlige syntetiske ansiktsdatasett.’

Selv om forfatterne lover en kode-utgivelse for dette arbeidet på prosjektsiden, finnes det ingen nåværende kobling til depot.

Konklusjon

Nylig har medieoppmerksomheten understreket avtagende avkastning fra å trene AI-modeller på AI-generert data.

Den nye sveitsiske forskningen bringer imidlertid fokus på en overvegelse som kan være mer presserende for det økende antallet selskaper som ønsker å utnytte og tjene penger på generativ AI – varigheten av IP-beskyttede eller uautoriserte datapunkt, selv i datasett som er designet for å bekjempe denne praksisen. Hvis vi måtte gi det en definisjon, kan det i dette tilfelle kalles “ansiktsvasking”.

* Men Adobes beslutning om å tillate brukergenerert AI-generert bilder til Adobe Stock har effektivt undergravd den juridiske “renheten” til denne dataen. Bloomberg hevdet i april 2024 at brukergenerert bilder fra MidJourney-generativ AI-system hadde blitt inkorporert i Firefly-kapasiteter.

^† Dette modellen er ikke identifisert i artikkelen.

Først publisert onsdag 6. november 2024