Verkliga identiteter kan återställas från syntetiska datamängder

Om 2022 markerade den tidpunkt då generativ AI:s störande potential först fångade stor uppmärksamhet från allmänheten, har 2024 varit det år då frågor om lagligheten i dess underliggande data har hamnat i centrum för företag som är angelägna om att utnyttja dess kraft.

USA:s fair use-doktrin, tillsammans med den implicita akademiska licensen som länge har tillåtit akademiska och kommersiella forskningssektorer att undersöka generativ AI, har blivit alltmer ohållbar allteftersom bevis på plagiat har dykt upp. Därefter har USA, för tillfället, förbjudit AI-genererat innehåll från att vara upphovsrättsskyddat.

Detta är långt ifrån avgjort, och långt ifrån att vara på väg att lösas; 2023, delvis på grund av växande media- och allmänhetens oro om den rättsliga statusen för AI-genererat utmatning, lanserade USA:s upphovsrättskontor en flerårig utredning om detta aspekt av generativ AI, och publicerade den första delen (om digitala kopior) i juli 2024.

Under tiden förblir företagsintressen frustrerade av möjligheten att de dyra modellerna de vill utnyttja kan utsätta dem för rättsliga konsekvenser när definitiv lagstiftning och definitioner slutligen dyker upp.

Den dyra kortfristiga lösningen har varit att legitimera generativa modeller genom att träna dem på data som företag har rätt att utnyttja. Adobes text-till-bild (och nu text-till-video) Firefly-arkitektur drivs främst av dess köp av Fotolia-lagerbilder i 2014, kompletterat med användning av upphovsrättsutgångna allmänna datamängder*. Samtidigt har etablerade lagerbildsleverantörer som Getty och Shutterstock kapitaliserat på det nya värdet av deras licensierade data, med ett växande antal avtal för att licensiera innehåll eller utveckla sina egna IP-kompatibla GenAI-system.

Syntetiska lösningar

Eftersom det är svårt att ta bort upphovsrättsskyddad data från den tränade latenta utrymmet i en AI-modell, kan misstag i detta område potentiellt vara mycket dyra för företag som experimenterar med konsument- och affärslösningar som använder maskinlärning.

En alternativ och mycket billigare lösning för datorseende-system (och även stora språkmodeller, eller LLM), är användningen av syntetisk data, där datamängden består av slumpmässigt genererade exempel på måldomänen (såsom ansikten, katter, kyrkor eller till och med en mer generell datamängd).

Webbplatser som thispersondoesnotexist.com populariserade för länge sedan idén att äkta-liknande foton av “icke-verkliga” människor kunde syntetiseras (i det särskilda fallet, genom Generativa Adversarial Networks, eller GAN) utan att ha någon relation till människor som faktiskt existerar i den verkliga världen.

Därför, om du tränar ett ansiktsigenkännings-system eller ett generativt system på sådana abstrakta och icke-verkliga exempel, kan du i teorin uppnå en fotorealistisk standard för produktivitet för en AI-modell utan att behöva överväga om datat är lagligen användbart.

Balansgång

Problemet är att systemen som producerar syntetisk data är själva tränade på verklig data. Om spår av den datan läcker ut i den syntetiska datan, kan detta potentiellt ge bevis för att begränsad eller obehörig material har utnyttjats för ekonomisk vinning.

För att undvika detta, och för att producera riktigt “slumpmässiga” bilder, behöver sådana modeller säkerställa att de är väl-generaliserade. Generalisering är ett mått på en tränad AI-modells förmåga att intrinsikalt förstå högnivåkoncept (såsom ‘ansikte’, ‘man’ eller ‘‘kvinna’) utan att återge den faktiska träningsdatan.

Tyvärr kan det vara svårt för tränade system att producera (eller känna igen) granulära detaljer om de inte tränas tillräckligt länge på en datamängd. Detta utsätter systemet för risk för memorisering: en tendens att återge, till viss del, exempel på den faktiska träningsdatan.

Detta kan mildras genom att ställa in en mer avslappnad inlärningshastighet, eller genom att avsluta träningen vid en punkt där de grundläggande koncepten fortfarande är ductila och inte associerade med någon specifik datapunkt (såsom en specifik bild av en person, i fallet med en ansiktsdatamängd).

Men båda dessa lösningar är troligen att leda till modeller med mindre fina detaljer, eftersom systemet inte fick chansen att gå utöver “grunderna” i måldomänen och ner till specifikationerna.

Därför används i den vetenskapliga litteraturen vanligtvis mycket höga inlärningshastigheter och omfattande träningsplaner. Medan forskare vanligtvis försöker kompromissa mellan bred tillämpbarhet och granularitet i den slutliga modellen, kan även något “memorerade” system ofta missrepresentera sig som välgeneraliserade – även i initiala tester.

Ansiktsavslöjande

Detta leder oss till en intressant ny artikel från Schweiz, som hävdar att den är den första att demonstrera att de ursprungliga, verkliga bilderna som driver syntetisk data kan återställas från genererade bilder som i teorin borde vara helt slumpmässiga:

Exempel på ansiktsbilder som läckt från träningsdata. I raden ovan ser vi de ursprungliga (verkliga) bilderna; i raden nedan ser vi bilder som genererats slumpmässigt, som överensstämmer betydligt med de verkliga bilderna. Källa: https://arxiv.org/pdf/2410.24015

Resultaten, hävdar författarna, indikerar att “syntetiska” generatorer faktiskt har memorerat många av träningsdatapunkterna i sin jakt på större granularitet. De indikerar också att system som förlitar sig på syntetisk data för att skydda AI-producenter från rättsliga konsekvenser kan vara mycket opålitliga i detta avseende.

Forskarna genomförde en omfattande studie på sex state-of-the-art syntetiska datamängder, som visade att i alla fall kunde ursprungliga (potentiellt upphovsrättsliga eller skyddade) data återställas. De kommenterar:

‘Våra experiment visar att state-of-the-art syntetiska ansiktsigenkänningsdatamängder innehåller prover som är mycket nära prover i träningsdatat för deras generatormodeller. I vissa fall innehåller de syntetiska proverna små förändringar av den ursprungliga bilden, men vi kan också observera i vissa fall att de genererade proverna innehåller mer variation (t.ex. olika pose, ljusförhållanden etc.) medan identiteten bevaras.

‘Detta tyder på att generatormodellerna lär sig och memorerar identitetsrelaterad information från träningsdatat och kan generera liknande identiteter. Detta skapar kritiska problem med avseende på tillämpningen av syntetisk data i sekretesskänsliga uppgifter, såsom biometri och ansiktsigenkänning.’

Artikeln heter Avslöjande av syntetiska ansikten: Hur syntetiska datamängder kan avslöja verkliga identiteter, och kommer från två forskare vid Idiap Research Institute i Martigny, École Polytechnique Fédérale de Lausanne (EPFL) och Université de Lausanne (UNIL) i Lausanne.

Metod, data och resultat

De memorerade ansiktena i studien avslöjades genom medlemskapsinferensattack. Även om konceptet låter komplicerat, är det ganska självförklarande: att inferera medlemskap, i detta fall, refererar till processen att ifrågasätta ett system tills det avslöjar data som antingen matchar den data du letar efter eller liknar den betydligt.

Ytterligare exempel på infererade datakällor, från studien. I detta fall är de syntetiska bilderna från DCFace-datamängden.

Forskarna studerade sex syntetiska datamängder för vilka den (verkliga) datamängden var känd. Eftersom både den verkliga och den falska datamängden i fråga innehåller en mycket stor mängd bilder, är detta i princip som att leta efter en nål i en höstack.

Därför använde författarna en färdig facial recognition-modell^† med en ResNet100-ryggrad tränad på AdaFace–förlustfunktionen (på WebFace12M-datamängden).

De sex syntetiska datamängderna som användes var: DCFace (en latent diffusionsmodell); IDiff-Face (Uniform – en diffusionsmodell baserad på FFHQ); IDiff-Face (Two-stage – en variant som använder en annan samplingmetod); GANDiffFace (baserad på Generativa Adversarial Networks och Diffusion-modeller, som använder StyleGAN3 för att generera initiala identiteter, och sedan DreamBooth för att skapa varierade exempel); IDNet (en GAN-metod, baserad på StyleGAN-ADA); och SFace (en identitetsskyddande ram).

Eftersom GANDiffFace använder både GAN och diffusionsmetoder, jämfördes den med träningsdatamängden för StyleGAN – den närmaste “verkliga ansikts”-ursprunget som denna nätverksmodell tillhandahåller.

Författarna uteslöt syntetiska datamängder som använder CGI snarare än AI-metoder, och vid utvärdering av resultaten diskonterade de matcher för barn, på grund av distributionsanomalier i detta avseende, samt icke-ansiktsbilder (som kan förekomma ofta i ansiktsdatamängder, där webbskrapningssystem producerar falska positiva för objekt eller artefakter som har ansiktsliknande kvaliteter).

Kosinlikhet beräknades för alla återställda par, och sammanfogades till histogram, illustrerade nedan:

En histogramrepresentation för kosinlikhetsskör som beräknats över de olika datamängderna, tillsammans med deras relaterade likhetsvärden för de bästa par (streckade vertikala linjer).

Antalet likheter representeras av topparna i grafen ovan. Artikeln presenterar också exempeljämförelser från de sex datamängderna och deras motsvarande uppskattade bilder i de ursprungliga (verkliga) datamängderna, av vilka några urval presenteras nedan:

Exempel från de många instanser som reproducerats i källartikeln, till vilken läsaren hänvisas för en mer omfattande urval.

Artikeln kommenterar:

‘[De] genererade syntetiska datamängderna innehåller mycket lika bilder från träningsdatamängden för deras generatormodell, vilket väcker oro med avseende på genereringen av sådana identiteter.’

Författarna noterar att för denna specifika metod är det troligt att skala upp till större datamängder kommer att vara ineffektivt, eftersom den nödvändiga beräkningen skulle vara extremt betungande. De observerar vidare att visuell jämförelse var nödvändig för att inferera matcher, och att den automatiserade ansiktsigenkänningen ensam inte troligen skulle vara tillräcklig för en större uppgift.

Med avseende på implikationerna av forskningen, och med tanke på vägar framåt, konstaterar arbetet:

‘[Vi] vill betona att den huvudsakliga motivationen för att generera syntetiska datamängder är att hantera sekretessproblem vid användning av stora webbskrapade ansiktsdatamängder.

‘Därför utgör läckage av känslig information (såsom identiteter av verkliga bilder i träningsdatat) i den syntetiska datamängden kritiska problem med avseende på tillämpningen av syntetisk data för sekretesskänsliga uppgifter, såsom biometri. Vår studie belyser de sekretessmässiga fallgroparna vid generering av syntetiska ansiktsigenkänningsdatamängder och banar väg för framtida studier mot att generera ansvarsfulla syntetiska ansiktsdatamängder.’

Även om författarna lovar en kodrelease för detta arbete på projektsidan, finns det för närvarande ingen aktuell länk till koden.

Slutsats

På senare tid har mediauppmärksamheten betonat avtagande avkastning som erhålls genom att träna AI-modeller på AI-genererade data.

Den nya schweiziska forskningen bringar dock en övervägande som kan vara mer angelägen för det växande antalet företag som vill utnyttja och dra nytta av generativ AI – beständigheten av IP-skyddade eller obehöriga datapunkter, även i datamängder som är utformade för att bekämpa denna praxis. Om vi skulle ge det en definition, i detta fall kan det kallas “ansikts-TVätt”.

* Men Adobes beslut att tillåta användaruppladdade AI-genererade bilder till Adobe Stock har i praktiken undergrävt den rättsliga “renheten” i dessa data. Bloomberg hävdade i april 2024 att användarlevererade bilder från MidJourney-generativ AI-system hade införlivats i Firefly-funktionerna.

^† Denna modell är inte identifierad i artikeln.

Publicerad första gången onsdag, 6 november 2024