Syntetisk data beskytter ikke pålideligt privatlivet, ifølge forskere

Et nyt forskningssamarbejde mellem Frankrig og Storbritannien kaster tvivl over den voksende industriel tillid til, at syntetisk data kan løse problemerne med privatliv, kvalitet og tilgængelighed (blandt andre problemer), der true progressen i maskinlæringssektoren.

Blandt flere nøglepunkter, som forfatterne behandler, hævder de, at syntetisk data, der er modelleret fra virkelig data, indeholder nok af den ægte information til at give ingen pålidelig beskyttelse mod inference- og medlemskabsangreb, der søger at deanonymisere data og gensamknytte dem med virkelige personer.

Desuden er de personer, der er mest udsat for sådanne angreb, herunder personer med kritiske medicinske tilstande eller høje hospitalsregninger (i tilfælde af medicinske journalanonymisering), på grund af deres ‘outlier’-natur, mest sandsynligt at blive genkendt af disse teknikker.

Rapporten observerer:

‘Givet adgang til en syntetisk dataset, kan en strategisk modstander med høj sandsynlighed slutte, om en målpost findes i den oprindelige data.’

Rapporten nævner også, at differentially privat syntetisk data, der kamuflerer signaturen af enkeltposter, faktisk beskytter personers privatliv, men kun ved at betydeligt svække nyttigheden af informationshentingsystemerne, der bruger det.

Hvis noget, observerer forskerne, at differentielt private tilgange – der bruger ‘ægte’ information ‘på afstand’ via syntetisk data – gør sikkerhedsscenariet særligt dårligt end det ville have været ellers:

‘[Syntetiske] datasets giver ingen gennemsigtighed om denne afvejning. Det er umuligt at forudsige, hvilke datakarakteristika der vil blive bevaret og hvilke mønstre der vil blive undertrykt.’

Den nye rapport, med titlen Syntetisk Data – Anonymiserings Groundhog Day, kommer fra to forskere ved École Polytechnique Fédérale de Lausanne (EPFL) i Paris og en forsker fra University College London (UCL).

Forskerne har gennemført tests af eksisterende private generative modeltræningsalgoritmer og har fundet, at visse implementeringsbeslutninger krænker de formelle privatgarantier, der er givet i rammerne, og efterlader diverse poster åbne for inference-angreb.

Forfatterne tilbyder en revideret version af hver algoritme, der potentielt kan mindske disse eksponeringer, og udgiver koden som en åben kildebibliotek. De hævder, at dette vil hjælpe forskere med at evaluere privatlivsgavnene af syntetisk data og nyttigt sammenligne populære anonymiseringsmetoder. Den nye ramme indeholder to pertinente privatangrebsmetoder, der kan anvendes på enhver generativ modeltræningsalgoritme.

Syntetisk Data

Syntetisk data bruges til at træne maskinlæringsmodeller i forskellige scenarier, herunder tilfælde, hvor mangel på omfattende information potentielt kan udfyldes med erstatningsdata. Et eksempel på dette er muligheden for at bruge CGI-genererede ansigter til at give ‘svære’ eller sjældne ansigtsfotos for billedsynthesedatasets, hvor profilbilleder, skarpe vinkler eller usædvanlige udtryk ofte sjældent ses i kildematerialet.

Andre typer CGI-billeder er blevet brugt til at befolke datasets, der til sidst vil blive kørt på ikke-syntetisk data, såsom datasets, der indeholder hænder og møbler.

I forhold til privatlivsbeskyttelse kan syntetisk data genereres fra virkelig data ved hjælp af Generative Adversarial Network (GAN)-systemer, der udtrækker funktioner fra den virkelige data og opretter lignende, fiktive poster, der sandsynligvis vil generalisere godt til senere (usete, virkelige) data, men er tiltænkt at kamuflere detaljer om virkelige personer i kilddata.

Metode

Til formålet med den nye forskning har forfatterne evalueret privatlivsgavne på tværs af fem generative modeltræningsalgoritmer. Tre af modellerne tilbyder ikke ekspllicit privatlivsbeskyttelse, mens de to andre kommer med differential privatgarantier. Disse tabelmodeller blev valgt til at repræsentere en bred vifte af arkitekturer.

Modellerne, der blev angrebet, var BayNet, PrivBay (en afledning af PrivBayes/BayNet), CTGAN, PATEGAN og IndHist.

Evaluationsrammen for modellerne blev implementeret som en Python-bibliotek med to kerneklasser – GenerativeModels og PrivacyAttacks. Den sidste indeholder to aspekter – en medlemskabsinference-modstander og en medlemskabsinference-angreb. Rammen er også i stand til at evaluere privatlivsgavnene af ‘sanitiseret’ (dvs. anonymiseret) data og syntetisk data.

De to datasets, der blev brugt i testene, var Adult Data Set fra UCI Machine Learning Repository og Hospital Discharge Data Public Use Data File fra Texas Department of State Health Services. Den texanske datasetversion, der blev brugt af forskerne, indeholder 50.000 poster, der er udvalgt fra patientposter for året 2013.

Angreb og resultater

Det generelle formål med forskningen er at etablere ‘linkability’ (genkendelse af virkelig data med syntetisk data, der blev inspireret af det). Angrebsmodeller, der blev brugt i studiet, omfatter Logistic Regression, Random Forests og K-Nearest Neighbors-klassificatorer.

Forfatterne valgte to målgrupper bestående af fem tilfældigt valgte poster for ‘minoritets’-kategorier af befolkningen, da disse er mest sandsynligt at være sårbare over for en linkage-angreb. De valgte også poster med ‘sjældne kategoriske attributværdier’ uden for denne attributs 95% kvartil. Eksempler omfatter poster relateret til høj risiko for dødelighed, høje hospitalsregninger og sygdomsalvor.

Selv om rapporten ikke udvikler dette aspekt yderligere, er disse fra synspunktet af sandsynlige virkelige angribere netop de ‘dyre’ eller ‘højrisk’-patienter, der er mest sandsynligt at blive mål for medlemskabsinference og andre former for eksfiltreringsforsøg på patientposter.

Flere angrebsmodeller blev trænet mod offentlig referenceinformation for at udvikle ‘skygge’-modeller over ti mål. Resultaterne over en række eksperimenter (som beskrevet tidligere) viser, at en række poster var ‘højst sårbare’ over for linkage-angreb rettet mod dem af forskerne. Resultaterne fandt også, at 20% af alle mål i forsøgene fik en privatlivsgavn på zero fra syntetisk data produceret af GAN-metoder.

Forskerne bemærker, at resultaterne varierede afhængigt af metoden, der blev brugt til at generere syntetisk data, angrebsvektoren og datasetets funktioner. Rapporten finder, at i mange tilfælde reducerer effektiv identitetsundertrykkelse gennem syntetiske data-tilgange nyttigheden af de resulterende systemer. Effektivt kan sådanne systemers nyttighed og nøjagtighed i mange tilfælde være en direkte indeks for, hvor sårbare de er over for genkendelsesangreb.

Forskerne konkluderer:

‘Hvis en syntetisk dataset bevarede karakteristika af den oprindelige data med høj nøjagtighed og dermed bevarede data-nyttighed for de formål, det er annonceret for, giver det samtidig mulighed for modstandere at udtrække følsomme oplysninger om personer.

‘En høj gevinst i privatliv gennem nogen af de anonymiseringsmekanismer, vi har evalueret, kan kun opnås, hvis den offentliggjorte syntetiske eller saniterede version af den oprindelige data ikke fører signalet af enkeltposter i den rå data og i virkeligheden undertrykker deres post.’