I Dati Sintetici Non Proteggono in Modo Affidabile la Privacy, Affermano i Ricercatori

Una nuova collaborazione di ricerca tra la Francia e il Regno Unito getta dubbi sulla crescente fiducia dell’industria che i dati sintetici possano risolvere i problemi di privacy, qualità e disponibilità (tra gli altri) che minacciano i progressi nel settore del machine learning.

Tra i vari punti chiave affrontati, gli autori affermano che i dati sintetici modellati sui dati reali conservano abbastanza informazioni autentiche da non fornire alcuna protezione affidabile contro gli attacchi di inferenza e di appartenenza, che cercano di deanonimizzare i dati e di riassociarli con persone reali.

Inoltre, le persone più a rischio da tali attacchi, tra cui quelle con gravi condizioni mediche o elevate spese ospedaliere (nel caso dell’anonimizzazione dei registri medici), a causa della loro “natura di outlier” sono più probabili da essere riidentificate da queste tecniche.

Il documento osserva:

‘Dato l’accesso a un set di dati sintetici, un avversario strategico può inferire, con alta confidenza, la presenza di un record di destinazione nei dati originali.’

Il documento nota inoltre che i dati sintetici differenzialmente privati, che oscurano la firma dei record individuali, proteggono effettivamente la privacy degli individui, ma solo a costo di compromettere notevolmente l’utilità dei sistemi di recupero delle informazioni che li utilizzano.

Se mai, gli ricercatori osservano, gli approcci differenzialmente privati – che utilizzano ‘informazioni reali’ ‘a una certa distanza’ attraverso i dati sintetici – peggiorano lo scenario di sicurezza più di quanto non sarebbe stato altrimenti:

‘[I set di dati sintetici] non forniscono alcuna trasparenza su questo compromesso. È impossibile prevedere quali caratteristiche dei dati saranno preservate e quali modelli saranno soppressi.’

Il nuovo documento, intitolato Dati Sintetici – Anonimizzazione Groundhog Day, proviene da due ricercatori dell’École Polytechnique Fédérale de Lausanne (EPFL) a Parigi e da un ricercatore dell’University College London (UCL).

I ricercatori hanno condotto test sugli algoritmi di addestramento dei modelli generativi privati esistenti e hanno scoperto che alcune decisioni di implementazione violano le garanzie di privacy formali fornite nei framework, lasciando esposti record diversi agli attacchi di inferenza.

Gli autori offrono una versione rivista di ciascun algoritmo che potenzialmente mitiga queste esposizioni e rendono il codice disponibile come libreria open source. Affermano che ciò aiuterà i ricercatori a valutare i guadagni di privacy dei dati sintetici e a confrontare utilmente i metodi di anonimizzazione popolari. Il nuovo framework incorpora due metodi di attacco alla privacy pertinenti che possono essere applicati a qualsiasi algoritmo di addestramento del modello generativo.

Dati Sintetici

I dati sintetici vengono utilizzati per addestrare i modelli di machine learning in vari scenari, tra cui casi in cui una mancanza di informazioni complete può potenzialmente essere colmata da dati ersatz. Un esempio di ciò è la possibilità di utilizzare volti generati al computer per fornire ‘difficili’ o ‘rari’ volti per la sintesi di immagini, dove le immagini di profilo, gli angoli acuti o le espressioni insolite sono spesso rare nel materiale di origine.

Altri tipi di immagini generate al computer sono stati utilizzati per popolare set di dati che saranno eventualmente eseguiti su dati non sintetici, come set di dati che presentano mani e mobili.

In termini di protezione della privacy, i dati sintetici possono essere generati dai dati reali da sistemi di rete generativa avversariale (GAN) che estraggono caratteristiche dai dati reali e creano record fittizi simili che sono probabili da generalizzare bene ai dati reali (non visti) successivi, ma sono destinati a oscurare i dettagli delle persone reali presenti nei dati di origine.

Metodologia

Per gli scopi della nuova ricerca, gli autori hanno valutato i guadagni di privacy su cinque algoritmi di addestramento dei modelli generativi. Tre dei modelli non offrono protezione della privacy esplicita, mentre gli altri due forniscono garanzie di privacy differenziale. Questi modelli tabulari sono stati scelti per rappresentare una vasta gamma di architetture.

I modelli attaccati sono stati BayNet, PrivBay (una derivazione di PrivBayes/BayNet), CTGAN, PATEGAN e IndHist.

Il framework di valutazione per i modelli è stato implementato come libreria Python con due classi principali – GenerativeModels e PrivacyAttacks. Quest’ultimo presenta due aspetti – un avversario di inferenza della membership e un attacco di inferenza della membership. Il framework è anche in grado di valutare i benefici della privacy dei dati ‘sanitizzati’ (cioè anonimizzati) e dei dati sintetici.

I due set di dati utilizzati nei test sono stati il Adult Data Set dall’UCI Machine Learning Repository e il Hospital Discharge Data Public Use Data File dal Texas Department of State Health Services. Il set di dati del Texas utilizzato dai ricercatori contiene 50.000 record campionati da registri di pazienti per l’anno 2013.

Attacchi e Risultati

L’obiettivo generale della ricerca è stabilire la ‘collegabilità’ (la riassociazione dei dati reali con i dati sintetici che li hanno ispirati). I modelli di attacco utilizzati nello studio includono classificatori Logistic Regression, Random Forests e K-Nearest Neighbors.

Gli autori hanno selezionato due gruppi target composti da cinque record selezionati casualmente per ‘categorie di minoranza’ della popolazione, poiché questi sono più probabili di essere suscettibili a un attacco di collegamento. Hanno anche selezionato record con ‘valori categoriali rari’ al di fuori del 95% del quantile di quell’attributo. Esempi includono record relativi a un alto rischio di mortalità, elevate spese ospedaliere totali e gravità della malattia.

Sebbene il documento non si soffermi su questo aspetto, dal punto di vista di attaccanti reali, questi sono esattamente i tipi di ‘pazienti costosi’ o ‘ad alto rischio’ più probabili di essere presi di mira da attacchi di inferenza della membership e altri tipi di approcci di esfiltrazione ai registri dei pazienti.

Multiplici modelli di attacco sono stati addestrati contro informazioni di riferimento pubblico per sviluppare ‘modelli ombra’ su dieci bersagli. I risultati di una serie di esperimenti (come descritto in precedenza) indicano che un certo numero di record sono stati ‘altamente vulnerabili’ agli attacchi di collegamento rivolti contro di loro dai ricercatori. I risultati hanno anche trovato che il 20% di tutti i bersagli nei test ha ricevuto un guadagno di privacy zero dai dati sintetici prodotti dai metodi GAN.

I ricercatori notano che i risultati variavano a seconda del metodo utilizzato per generare i dati sintetici, del vettore di attacco e delle caratteristiche del set di dati bersaglio. Il rapporto trova che in molti casi, la soppressione efficace dell’identità attraverso gli approcci ai dati sintetici riduce l’utilità dei sistemi risultanti. In effetti, l’utilità e l’accuratezza di tali sistemi possono in molti casi essere un indice diretto di quanto siano vulnerabili agli attacchi di riidentificazione.

I ricercatori concludono:

‘Se un set di dati sintetici conserva le caratteristiche dei dati originali con alta accuratezza, e quindi mantiene l’utilità dei dati per i casi d’uso per cui è pubblicizzato, contemporaneamente consente agli avversari di estrarre informazioni sensibili sugli individui.

‘Un alto guadagno in termini di privacy attraverso uno qualsiasi dei meccanismi di anonimizzazione che abbiamo valutato può essere ottenuto solo se la versione pubblicata dei dati sintetici o sanificati non trasmette il segnale dei record individuali nei dati grezzi e di fatto sopprime il loro record.’