Verkliga identiteter kan återställas från syntetiska datamängder

Om 2022 var ögonblicket då generativa AI:s störande potential först fångade bred allmän uppmärksamhet, har 2024 varit året då frågor om lagligheten av dess underliggande data har hamnat i centrum för företag som är ivriga att utnyttja dess kraft.

USA: s doktrinen om rättvis användning, tillsammans med den implicita vetenskapliga licensen som länge hade tillåtit akademiska och kommersiella forskningssektorer att utforska generativ AI, blev allt mer ohållbar i takt med att bevis på plagiat dök upp. Därefter har USA för tillfället tillåtet AI-genererat innehåll från att vara upphovsrättsskyddat.

Dessa ärenden är långt ifrån avgjorda och långt ifrån omedelbart lösta; år 2023, delvis beroende på växande media och allmänhetens oro om den rättsliga statusen för AI-genererad produktion, lanserade US Copyright Office en år lång utredning av denna aspekt av generativ AI, publicering det första segmentet (angående digitala repliker) i juli 2024.

Under tiden förblir affärsintressen frustrerade över möjligheten att de dyra modeller de vill utnyttja kan utsätta dem för rättsliga konsekvenser när definitiv lagstiftning och definitioner så småningom dyker upp.

Den dyra kortsiktiga lösningen har varit att legitimera generativa modeller genom att träna dem på data som företag har rätt att utnyttja. Adobes text-till-bild (och nu text-till-video) Firefly-arkitekturen drivs främst av dess inköp av Fotolias stockbilddatauppsättning 2014, kompletteras genom att använda upphovsrättsligt utgångna offentliga data*. Samtidigt har etablerade bildleverantörer som Getty och Shutterstock aktiverade på det nya värdet av deras licensierade data, med ett växande antal affärer för att licensiera innehåll eller på annat sätt utveckla sina egna IP-kompatibla GenAI-system.

Syntetiska lösningar

Sedan borttagning av upphovsrättsskyddad data från den utbildade latent utrymme av en AI-modell är fylld av problem, kan misstag på detta område potentiellt bli mycket kostsamma för företag som experimenterar med konsument- och företagslösningar som använder maskininlärning.

En alternativ och mycket billigare lösning för datorseendesystem (och också Stora språkmodeller, eller LLM), är användningen av syntetiska data, där datauppsättningen består av slumpmässigt genererade exempel på måldomänen (som ansikten, katter, kyrkor eller till och med en mer generaliserad datauppsättning).

Webbplatser som thispersondoesnotexist.com populariserade för länge sedan idén att autentiska foton av "icke-verkliga" människor kunde syntetiseras (i det specifika fallet genom Generative Adversarial Networks, eller GAN) utan att ha någon relation till människor som faktiskt existerar i den verkliga världen.

Därför, om du tränar ett ansiktsigenkänningssystem eller ett generativt system på sådana abstrakta och icke-verkliga exempel, kan du i teorin få en fotorealistisk produktivitetsstandard för en AI-modell utan att behöva överväga om data är lagligt användbar.

Balansakt

Problemet är att de system som producerar syntetisk data själva tränas på verklig data. Om spår av den datan rinner igenom i den syntetiska informationen ger detta potentiellt bevis på att begränsat eller på annat sätt otillåtet material har utnyttjats för ekonomisk vinning.

För att undvika detta, och för att producera verkligt "slumpmässiga" bilder, måste sådana modeller se till att de är väl-generaliserad. Generalisering är måttet på en tränad AI-modells förmåga att i sig förstå övergripande koncept (som 'ansikte', 'man', eller 'kvinna') utan att behöva replikera de faktiska träningsdata.

Tyvärr kan det vara svårt för utbildade system att producera (eller känna igen) granulär detalj såvida den inte tränar ganska omfattande på en datauppsättning. Detta utsätter systemet för risk för memorering: en tendens att i viss mån återge exempel på faktiska träningsdata.

Detta kan mildras genom att ställa in en mer avslappnad inlärningshastighet, eller genom att avsluta utbildningen i ett skede där kärnkoncepten fortfarande är formbara och inte associerade med någon specifik datapunkt (som en specifik bild av en person, i fallet med en ansiktsdatauppsättning).

Båda dessa åtgärder kommer dock sannolikt att leda till modeller med mindre finkorniga detaljer, eftersom systemet inte fick en chans att gå bortom "grunderna" i måldomänen och ner till detaljerna.

Därför tillämpas i allmänhet mycket höga inlärningshastigheter och omfattande träningsscheman i den vetenskapliga litteraturen. Medan forskare vanligtvis försöker kompromissa mellan bred tillämpbarhet och granularitet i den slutliga modellen, kan även något "memorerade" system ofta framställa sig själva som välgeneraliserade – även i inledande tester.

Ansiktsavslöjande

Detta för oss till en intressant ny artikel från Schweiz, som påstår sig vara den första som visar att de ursprungliga, verkliga bilderna som driver syntetisk data kan återställas från genererade bilder som i teorin borde vara helt slumpmässiga:

Exempel på ansiktsbilder läckt från träningsdata. I raden ovan ser vi de ursprungliga (riktiga) bilderna; i raden nedan ser vi bilder som genereras slumpmässigt, som stämmer väsentligt överens med de verkliga bilderna. Källa: https://arxiv.org/pdf/2410.24015

Resultaten, menar författarna, tyder på att "syntetiska" generatorer faktiskt har memorerat en stor mängd av träningsdatapunkterna i sitt sökande efter större granularitet. De indikerar också att system som förlitar sig på syntetisk data för att skydda AI-producenter från rättsliga konsekvenser kan vara mycket opålitliga i detta avseende.

Forskarna genomförde en omfattande studie på sex toppmoderna syntetiska datauppsättningar, som visade att originaldata (potentiellt upphovsrättsskyddade eller skyddade) i alla fall kan återställas. De kommenterar:

"Våra experiment visar att toppmoderna syntetiska ansiktsigenkänningsdatauppsättningar innehåller prover som ligger mycket nära prover i träningsdata för deras generatormodeller. I vissa fall innehåller de syntetiska proverna små förändringar av originalbilden, men vi kan också observera i vissa fall att det genererade provet innehåller mer variation (t.ex. olika poser, ljusförhållanden, etc.) samtidigt som identiteten bevaras.

"Detta tyder på att generatormodellerna lär sig och memorerar identitetsrelaterad information från träningsdata och kan generera liknande identiteter. Detta skapar kritiska problem gällande tillämpningen av syntetiska data i integritetskänsliga uppgifter, såsom biometri och ansiktsigenkänning."

Ocuco-landskapet papper har titeln Avtäckning av syntetiska ansikten: Hur syntetiska datauppsättningar kan exponera verkliga identiteter, och kommer från två forskare från Idiap Research Institute i Martigny, École Polytechnique Fédérale de Lausanne (EPFL) och Université de Lausanne (UNIL) i Lausanne.

Metod, data och resultat

De memorerade ansiktena i studien avslöjades av Medlemskap Inferens Attack. Även om konceptet låter komplicerat, är det ganska självförklarande: att sluta sig till medlemskap, i det här fallet, hänvisar till processen att ifrågasätta ett system tills det avslöjar data som antingen matchar den information du letar efter eller som avsevärt liknar den.

Ytterligare exempel på härledda datakällor, från studien. I det här fallet är de syntetiska källbilderna från DCFace-datauppsättningen.

Forskarna studerade sex syntetiska datauppsättningar för vilka den (verkliga) datakällan var känd. Eftersom både de riktiga och de falska datamängderna i fråga alla innehåller en mycket hög volym bilder, är detta i praktiken som att leta efter en nål i en höstack.

Därför använde författarna en färdig ansiktsigenkänningsmodell^† med en ResNet100 ryggrad tränad på AdaFace förlustfunktion (på WebFace12M dataset).

De sex syntetiska datamängder som användes var: DCFace (en latent diffusionsmodell); IDiff-Face (Uniform – en spridningsmodell baserad på FFHQ); IDiff-Face (Tvåsteg – en variant med en annan provtagningsmetod); GANDiffFace (baserat på Generative Adversarial Networks och Diffusion-modeller, med hjälp av StyleGAN3 att generera initiala identiteter, och sedan drömbås att skapa olika exempel); IDNet (en GAN-metod, baserad på StyleGAN-ADA); och SFace (ett identitetsskyddande ramverk).

Eftersom GANDiffFace använder både GAN- och diffusionsmetoder jämfördes den med träningsdatasetet från StyleGAN – det närmaste ett "verkligt" ursprung som detta nätverk tillhandahåller.

Författarna uteslöt syntetiska datauppsättningar som använder CGI snarare än AI-metoder, och vid utvärdering av resultat rabatterade matchningar för barn, på grund av distributionsavvikelser i detta avseende, såväl som icke-ansiktsbilder (vilket ofta kan förekomma i ansiktsdatauppsättningar, där webbskrapning system producerar falska positiva resultat för föremål eller artefakter som har ansiktsliknande egenskaper).

Cosinus likhet beräknades för alla de hämtade paren och sammanfogades till histogram, illustrerade nedan:

En histogramrepresentation för cosinuslikhetspoäng beräknade över de olika datamängderna, tillsammans med deras relaterade likhetsvärden för topp-k-paren (streckade vertikala linjer).

Antalet likheter är representerat i topparna i grafen ovan. Uppsatsen innehåller också exempeljämförelser från de sex datamängderna och deras motsvarande uppskattade bilder i de ursprungliga (riktiga) datamängderna, av vilka några urval visas nedan:

Prover från de många instanser som återges i källtidningen, till vilka läsaren hänvisas för ett mer omfattande urval.

Tidningen kommenterar:

"[De] genererade syntetiska datamängderna innehåller mycket liknande bilder från träningsuppsättningen i deras generatormodell, vilket väcker oro kring genereringen av sådana identiteter."

Författarna noterar att för just detta tillvägagångssätt kommer uppskalning till datauppsättningar med större volymer sannolikt att vara ineffektivt, eftersom den nödvändiga beräkningen skulle vara extremt betungande. De observerar vidare att visuell jämförelse var nödvändig för att sluta sig till matchningar, och att den automatiska ansiktsigenkänningen ensam inte skulle vara tillräcklig för en större uppgift.

Angående forskningens konsekvenser, och med sikte på vägar framåt, säger arbetet:

"[Vi] skulle vilja betona att den främsta motivationen för att skapa syntetiska datauppsättningar är att ta itu med sekretessproblem vid användning av storskaliga webbgenomsökta ansiktsdatauppsättningar.

"Läckage av känslig information (såsom identiteten på verkliga bilder i träningsdata) i den syntetiska datamängden väcker därför kritiska farhågor kring tillämpningen av syntetiska data för integritetskänsliga uppgifter, såsom biometri. Vår studie belyser integritetsfallgropar vid generering av syntetiska ansiktsigenkänningsdatamängder och banar väg för framtida studier mot att generera ansvarsfulla syntetiska ansiktsdatamängder."

Även om författarna lovar en kodversion för detta arbete på projektsida, det finns ingen aktuell förvarslänk.

Slutsats

På senare tid har mediauppmärksamhet betonat detta avtagande avkastning erhålls genom att träna AI-modeller på AI-genererad data.

Den nya schweiziska forskningen riktar dock fokus mot en fråga som kan vara mer angelägen för det växande antalet företag som vill utnyttja och dra nytta av generativ AI – bestående IP-skyddade eller obehöriga datamönster, även i datamängder som är utformade för att bekämpa denna praxis. Om vi ​​var tvungna att ge det en definition skulle det i det här fallet kunna kallas "ansiktstvätt".

* Adobes beslut att tillåta användaruppladdade AI-genererade bilder till Adobe Stock har dock effektivt undergrävt den juridiska "renheten" hos dessa data. Bloomberg hävdade i april 2024 att användarlevererade bilder från det generativa AI-systemet MidJourney hade införlivats i Fireflys funktioner.

^† Denna modell identifieras inte i tidningen.

Första gången publicerad onsdagen den 6 november 2024