Datele sintetice nu protejează în mod fiabil confidențialitatea, susțin cercetătorii

O nouă colaborare de cercetare între Franța și Regatul Unit aruncă îndoieli asupra încrederii tot mai mari din industrie că datele sintetice pot rezolva problemele de confidențialitate, calitate și disponibilitate (printre alte probleme) care amenință progresul în sectorul învățării automatizate.

Printre punctele cheie abordate, autorii afirmă că datele sintetice modelate din date reale păstrează suficientă informație autentică pentru a nu oferi o protecție fiabilă împotriva atacurilor de inferență și de apartenență, care încearcă să deanonymizeze datele și să le reasocieze cu persoane reale.

În plus, persoanele care sunt cel mai mult expuse la astfel de atacuri, inclusiv cele cu afecțiuni medicale critice sau facturi spitalicești ridicate (în cazul anonimizării registrelor medicale) sunt, prin natura lor de “outlier”, cel mai probabil să fie reidentificate prin aceste tehnici.

Raportul observă:

‘Având acces la un set de date sintetice, un adversar strategic poate infera, cu o încredere ridicată, prezența unui înregistrări țintă în datele originale.’

Raportul notează, de asemenea, că datele sintetice cu protecție diferențială, care ascund semnătura înregistrărilor individuale, protejează într-adevăr confidențialitatea persoanelor, dar numai prin compromiterea semnificativă a utilității sistemelor de recuperare a informațiilor care le utilizează.

Dacă este ceva, cercetătorii observă, abordările cu protecție diferențială – care utilizează “informații reale” ‘la o distanță’ prin date sintetice – fac scenariul de securitate mai rău decât ar fi fost altfel:

‘Seturile de date sintetice nu oferă nicio transparență cu privire la acest compromis. Este imposibil de prezis ce caracteristici ale datelor vor fi păstrate și ce modele vor fi suprimate.’

Noul raport, intitulat Date sintetice – Ziua de anonimizare, provine de la doi cercetători de la École Polytechnique Fédérale de Lausanne (EPFL) din Paris și un cercetător de la University College London (UCL).

Cercetătorii au efectuat teste ale algoritmilor de antrenare a modelelor generative private existente și au constatat că anumite decizii de implementare încalcă garanțiile formale de confidențialitate oferite de cadre, lăsând diverse înregistrări expuse la atacuri de inferență.

Autorii oferă o versiune revizuită a fiecărui algoritm care poate mitigă aceste expuneri și pun codul la dispoziție ca o bibliotecă open source. Ei susțin că acest lucru va ajuta cercetătorii să evalueze beneficiile de confidențialitate ale datelor sintetice și să compare util metodele de anonimizare populare. Noul cadru incorporează două metode de atac de securitate pertinente care pot fi aplicate oricărui algoritm de antrenare a modelului generativ.

Date sintetice

Datele sintetice sunt utilizate pentru a antrena modele de învățare automată în diverse scenarii, inclusiv cazurile în care o lipsă de informații cuprinzătoare poate fi posibil să fie completată de date ersatz. Un exemplu al acestui lucru este posibilitatea de a utiliza fețe generate de CGI pentru a oferi ‘fețe dificile’ sau ‘fețe rare’ pentru seturile de date de sinteză a imaginilor, unde imaginile de profil, unghiurile acute sau expresiile neobișnuite sunt adesea rare în materialul sursă.

Alte tipuri de imagini generate de CGI au fost utilizate pentru a popula seturi de date care vor fi ulterior rulate pe date nesintetice, cum ar fi seturile de date care prezintă mâini și mobilier.

În ceea ce privește protecția confidențialității, datele sintetice pot fi generate din date reale prin sisteme de rețele antagoniste generative (GAN) care extrag caracteristici din datele reale și creează înregistrări fictive similare care sunt susceptibile de a se generaliza bine la datele (reale, nevăzute) ulterioare, dar care sunt destinate să ascundă detalii despre persoanele reale din datele sursă.

Metodologie

În scopul noii cercetări, autorii au evaluat beneficiile de confidențialitate în cinci algoritmi de antrenare a modelelor generative. Trei dintre modele nu oferă protecție explicită de confidențialitate, în timp ce celelalte două vin cu garanții de protecție diferențială. Aceste modele tabulare au fost alese pentru a reprezenta o gamă largă de arhitecturi.

Modelele atacate au fost BayNet, PrivBay (o derivare a PrivBayes/BayNet), CTGAN, PATEGAN și IndHist.

Cadru de evaluare pentru modele a fost implementat ca o bibliotecă Python cu două clase principale – GenerativeModels și PrivacyAttacks. Ultimul prezintă două fețe – un adversar de inferență a apartenenței și un atac de inferență a apartenenței. Cadru este, de asemenea, capabil să evalueze beneficiile de confidențialitate ale datelor ‘sanitizate’ (adică anonimizate) și ale datelor sintetice.

Cele două seturi de date utilizate în testele au fost Setul de date Adult de la Repository-ul de învățare automată UCI și Fișierul public de utilizare a datelor de descărcare a spitalului de la Departamentul de Stat pentru Servicii de Sănătate din Texas. Setul de date din Texas utilizat de cercetători conține 50.000 de înregistrări extrase din înregistrările pacienților pentru anul 2013.

Atacuri și rezultate

Obiectivul general al cercetării este de a stabili ‘linkabilitatea’ (reasocierea datelor reale cu datele sintetice care au fost inspirate de acestea). Modelele de atac utilizate în studiu includ clasificatorii de regresie logistică, păduri aleatorii și clasificatorii de vecini cei mai apropiați.

Autorii au selectat două grupuri țintă constând din cinci înregistrări aleatorii pentru categoriile ‘minoritare’ ale populației, deoarece acestea sunt cele mai susceptibile de a fi vulnerabile la un atac de legătură. Ei au selectat, de asemenea, înregistrări cu ‘valori de atribute categorice rare’ în afara cuantilului de 95% al acelui atribut. Exemplele includ înregistrări legate de risc ridicat de mortalitate, facturi spitalicești totale ridicate și gravitatea bolii.

Deși raportul nu detaliază acest aspect, din punctul de vedere al atacatorilor reali, acestea sunt exact tipurile de ‘pacienți scumpi’ sau ‘pacienți cu risc ridicat’ care sunt cel mai probabil să fie țintiți de atacurile de inferență și de alte tipuri de abordări de exfiltrare a înregistrărilor pacienților.

Mai multe modele de atac au fost antrenate împotriva informațiilor de referință publice pentru a dezvolta ‘modele de umbră’ peste zece ținte. Rezultatele obținute într-o serie de experimente (așa cum s-a descris anterior) indică faptul că un număr de înregistrări au fost ‘foarte vulnerabile’ la atacurile de legătură îndreptate către ele de către cercetători. Rezultatele au arătat, de asemenea, că 20% din toate țintele din încercări au primit un beneficiu de confidențialitate de zero din datele sintetice produse de metodele GAN.

Cercetătorii notează că rezultatele au variat, în funcție de metoda utilizată pentru a genera datele sintetice, vectorul de atac și caracteristicile setului de date țintă. Raportul constată că, în multe cazuri, suprimarea eficientă a identității prin abordări de date sintetice reduce utilitatea sistemelor rezultate. În mod efectiv, utilitatea și precizia unor astfel de sisteme pot fi, în multe cazuri, un indice direct al vulnerabilității lor la atacurile de reidentificare.

Cercetătorii concluzionează:

‘Dacă un set de date sintetice păstrează caracteristicile datelor originale cu o acuratețe ridicată și, prin urmare, păstrează utilitatea datelor pentru cazurile de utilizare pentru care este publicat, acesta permite, în același timp, adversarilor să extragă informații sensibile despre indivizi. ‘

‘Un beneficiu ridicat de confidențialitate prin oricare dintre mecanismele de anonimizare pe care le-am evaluat poate fi obținut doar dacă versiunea publicată a datelor sintetice sau a datelor sanitizate nu transmite semnalul înregistrărilor individuale din datele brute și, în efect, suprimă înregistrările lor.’