Syntetisk data skyddar inte tillförlitligt privatliv, hävdar forskare

En ny forskningssamarbete mellan Frankrike och Storbritannien ifrågasätter den växande industritillförsikten att syntetisk data kan lösa problemen med privatliv, kvalitet och tillgänglighet (bland andra problem) som hotar framstegen inom maskinlärningssektorn.

Bland flera viktiga punkter som behandlas hävdar författarna att syntetisk data som modellerats från riktiga data behåller tillräckligt med äkta information för att inte ge något tillförlitligt skydd mot inferens- och medlemskapsattacker, som syftar till att avanonymisera data och återkoppla den till verkliga personer.

Dessutom är de personer som är mest utsatta för sådana attacker, inklusive de som har kritiska medicinska tillstånd eller höga sjukhusräkningar (i fallet med medicinska journaler), på grund av deras “utvikande” natur, mest sannolikt att identifieras igen med hjälp av dessa tekniker.

Rapporten observerar:

‘Om man har tillgång till en syntetisk datamängd, kan en strategisk motståndare med hög säkerhet sluta sig till närvaron av en målpost i den ursprungliga datamängden.’

Rapporten påpekar också att differentially privat syntetisk data, som döljer signaturen för individuella poster, faktiskt skyddar personers privatliv, men endast genom att kraftigt försvaga användbarheten hos informationsåtervinningssystemen som använder den.

Om något, observerar forskarna, differentiellt privata metoder – som använder “riktig” information ‘på ett stegs avstånd’ via syntetisk data – gör säkerhetsscenariot sämre än det skulle ha varit annars:

‘[Syntetiska] datamängder ger ingen insyn i denna avvägning. Det är omöjligt att förutsäga vilka dataegenskaper som kommer att bevaras och vilka mönster som kommer att undertryckas.’

Den nya rapporten, med titeln Syntetisk data – Anonymiseringsgrundholm, kommer från två forskare vid École Polytechnique Fédérale de Lausanne (EPFL) i Paris och en forskare från University College London (UCL).

Forskarna genomförde tester av befintliga privata generativa modellträningsalgoritmer och fann att vissa implementeringsbeslut kränker de formella integritetsgarantier som tillhandahålls i ramverken, vilket lämnar olika poster utsatta för inferensattacker.

Författarna erbjuder en reviderad version av varje algoritm som potentiellt mildrar dessa exponeringar, och de tillhandahåller koden som en öppen källkodslibell. De hävdar att detta kommer att hjälpa forskare att utvärdera integritetsvinster från syntetisk data och användbart jämföra populära anonymiseringsmetoder. Det nya ramverket omfattar två relevanta integritetsattacker som kan tillämpas på vilken generativ modellträningsalgoritm som helst.

Syntetisk data

Syntetisk data används för att träna maskinlärningsmodeller i olika scenarier, inklusive fall där bristen på omfattande information kan potentiellt fyllas i med surrogatdata. Ett exempel på detta är möjligheten att använda CGI-genererade ansikten för att tillhandahålla “svåra” eller ovanliga ansiktsfoton för bildsyntesdatamängder, där profilbilder, skarpa vinklar eller ovanliga uttryck ofta är sällsynta i källmaterialet.

Andra typer av CGI-bilder har använts för att fylla i datamängder som kommer att köras på icke-syntetisk data, såsom datamängder som innehåller händer och möbler.

När det gäller skydd av privatliv kan syntetisk data genereras från riktiga data med hjälp av Generative Adversarial Network (GAN)-system som extraherar funktioner från de riktiga data och skapar liknande, fiktiva poster som sannolikt kommer att generalisera väl till senare (osynliga, riktiga) data, men som avser att dölja detaljer om verkliga personer i källdata.

Metodik

För ändamålet med den nya forskningen utvärderade författarna integritetsvinster över fem generativa modellträningsalgoritmer. Tre av modellerna erbjuder inte uttryckligt integritetsskydd, medan de andra två har differentiell integritetsgaranti. Dessa tabellmodeller valdes för att representera en bred variation av arkitekturer.

Modellerna som attackerades var BayNet, PrivBay (en avkomma av PrivBayes/BayNet), CTGAN, PATEGAN och IndHist.

Utvarderingsramverket för modellerna implementerades som en Python-bibliotek med två kärnklasser – GenerativeModels och PrivacyAttacks. Den senare har två aspekter – en medlemsinferensmotståndare och en medlemsinferensattack. Ramverket kan också utvärdera integritetsfördelarna med “sanitiserad” (dvs. anonymiserad) data och syntetisk data.

De två datamängder som användes i testerna var Adult Data Set från UCI Machine Learning Repository och Hospital Discharge Data Public Use Data File från Texas Department of State Health Services. Texas-datamängden som forskarna använde innehåller 50 000 poster som sampats från patientjournaler för året 2013.

Attacker och resultat

Det allmänna målet med forskningen är att etablera “länkbarhet” (återkoppling av riktiga data med syntetisk data som inspirerades av den). Angreppsmodeller som används i studien inkluderar Logistisk Regression, Slumpmässiga Skogar och K-Nearest Neighbors-klassificerare.

Författarna valde två målgrupper bestående av fem slumpmässigt valda poster för “minoritets” kategorier av befolkningen, eftersom dessa är mest sannolikt att vara känsliga för en länkningsattack. De valde också poster med “sällsynta kategoriska attributvärden” utanför attributets 95-procentiga kvartil. Exempel inkluderar poster relaterade till hög risk för dödlighet, höga totala sjukhuskostnader och sjukdomsallvar.

Även om rapporten inte utvecklar detta aspekt, från den troliga verkliga världens angriparnas synvinkel, är detta exakt de “dyra” eller “högrisk” patienter som mest sannolikt kommer att attackeras av medlemsinferens och andra typer av exfiltreringsmetoder för patientjournaler.

Flera angreppsmodeller tränades mot offentlig referensinformation för att utveckla “skuggmodeller” över tio mål. Resultaten över en rad experiment (som beskrivs tidigare) visar att ett antal poster var “mycket sårbara” för länkningsattacker riktade mot dem av forskarna. Resultaten visade också att 20% av alla mål i försöken fick en integritetsvinst på noll från syntetisk data producerad av GAN-metoder.

Forskarna noterar att resultaten varierade beroende på metoden som användes för att generera syntetisk data, attackvektorn och datamängdernas egenskaper. Rapporten finner att i många fall, effektiv identitetssuppression genom syntetiska data metoder sänker användbarheten hos de resulterande systemen. Effektivt, sådana systemers användbarhet och noggrannhet kan i många fall vara en direkt index av hur sårbara de är för återidentifieringsattacker.

Forskarna slutsats:

‘Om en syntetisk datamängd bevarar egenskaperna hos den ursprungliga datamängden med hög noggrannhet, och därmed behåller dataanvändbarhet för de användningsfall den marknadsförs för, möjliggör den samtidigt för motståndare att extrahera känslig information om individer.

‘En hög integritetsvinst genom någon av de anonymiseringsmekanismer vi utvärderade kan endast uppnås om den publicerade syntetiska eller saniterade versionen av den ursprungliga datamängden inte bär genom signalen från individuella poster i rådatamängden och i själva verket undertrycker deras post.’