Synthetische Daten schützen die Privatsphäre nicht zuverlässig, behaupten Forscher

Eine neue Forschungskooperation zwischen Frankreich und dem Vereinigten Königreich wirft Zweifel an der wachsenden Branchenvertrauens auf, dass synthetische Daten die Probleme der Privatsphäre, Qualität und Verfügbarkeit (unter anderem) lösen können, die den Fortschritt im Bereich des maschinellen Lernens bedrohen.

Unter den verschiedenen behandelten Punkten behaupten die Autoren, dass synthetische Daten, die aus echten Daten modelliert werden, genug echte Informationen enthalten, um keinen zuverlässigen Schutz vor Inferenz- und Mitgliedschaftsangriffen zu bieten, die versuchen, Daten zu deanonymisieren und sie wieder mit realen Personen in Verbindung zu bringen.

Darüber hinaus sind die Personen, die am meisten von solchen Angriffen betroffen sind, einschließlich derjenigen mit kritischen medizinischen Zuständen oder hohen Krankenhausrechnungen (im Falle der Anonymisierung von Krankenakten), aufgrund der “Outlier”-Natur ihres Zustands am wahrscheinlichsten, durch diese Techniken wieder identifiziert zu werden.

Die Studie stellt fest:

‘Wenn man Zugang zu einem synthetischen Datensatz hat, kann ein strategischer Angreifer mit hoher Zuverlässigkeit die Anwesenheit eines Zielrecords in den ursprünglichen Daten inferieren.’

Die Studie weist auch darauf hin, dass differenziell private synthetische Daten, die die Signatur von Einzelrecords verschleiern, tatsächlich den Schutz der Privatsphäre der Personen gewährleisten, aber nur, indem sie die Nützlichkeit der Informationsabrufsysteme, die sie verwenden, erheblich beeinträchtigen.

Wenn überhaupt, stellen die Forscher fest, dass differentiell private Ansätze – die ‘echte’ Information ‘auf einem entfernten Weg’ über synthetische Daten verwenden – die Sicherheitslage schlechter machen, als sie sonst wäre:

‘[Synthetische] Datensätze bieten keine Transparenz über diesen Kompromiss. Es ist unmöglich vorherzusagen, welche Datenmerkmale erhalten bleiben und welche Muster unterdrückt werden.’

Die neue Studie, betitelt Synthetische Daten – Anonymisierungs-Tag, stammt von zwei Forschern der École Polytechnique Fédérale de Lausanne (EPFL) in Paris und einem Forscher der University College London (UCL).

Die Forscher führten Tests von bestehenden privaten generativen Modelltrainingsalgorithmen durch und fanden heraus, dass bestimmte Implementierungsentscheidungen die formalen Datenschutzgarantien verletzen, die in den Frameworks bereitgestellt werden, und diverse Records anfällig für Inferenzangriffe machen.

Die Autoren bieten eine überarbeitete Version jedes Algorithmus an, die diese Expositionen möglicherweise mildert, und machen den Code verfügbar als Open-Source-Bibliothek. Sie behaupten, dass dies Forschern helfen wird, die Datenschutzvorteile von synthetischen Daten zu bewerten und nützlich beliebte Anonymisierungsmethoden zu vergleichen. Das neue Framework umfasst zwei relevante Datenschutzangriffsmethoden, die auf jeden generativen Modelltrainingsalgorithmus angewendet werden können.

Synthetische Daten

Synthetische Daten werden verwendet, um maschinelle Lernmodelle in verschiedenen Szenarien zu trainieren, einschließlich Fällen, in denen ein Mangel an umfassenden Informationen möglicherweise durch Ersatzdaten aufgefüllt werden kann. Ein Beispiel dafür ist die Möglichkeit, CGI-generierte Gesichter zu verwenden, um ‘schwierige’ oder seltene Gesichtsfotos für Bildsynthese-Datensätze bereitzustellen, bei denen Profilbilder, scharfe Winkel oder ungewöhnliche Ausdrücke oft selten in Quellenmaterial vorkommen.

Andere Arten von CGI-Bildern wurden verwendet, um Datensätze zu füllen, die schließlich auf nicht-synthetischen Daten ausgeführt werden, wie z. B. Datensätze, die Hände und Möbel enthalten.

In Bezug auf den Schutz der Privatsphäre können synthetische Daten aus echten Daten durch Generative Adversarial Network (GAN)-Systeme generiert werden, die Merkmale aus den echten Daten extrahieren und ähnliche, fiktive Records erstellen, die wahrscheinlich gut auf später (unbekannte, echte) Daten verallgemeinern, aber dazu bestimmt sind, Details von realen Personen in den Quelldaten zu verschleiern.

Methodik

Für die Zwecke der neuen Forschung bewerteten die Autoren die Datenschutzgewinne über fünf generative Modelltrainingsalgorithmen. Drei der Modelle bieten keinen expliziten Datenschutz, während die anderen beiden differentielle Datenschutzgarantien bieten. Diese tabellarischen Modelle wurden ausgewählt, um eine breite Palette von Architekturen zu repräsentieren.

Die angegriffenen Modelle waren BayNet, PrivBay (eine Ableitung von PrivBayes/BayNet), CTGAN, PATEGAN und IndHist.

Das Bewertungsframework für die Modelle wurde als Python-Bibliothek mit zwei Kernklassen implementiert – GenerativeModels und PrivacyAttacks. Letztere verfügt über zwei Aspekte – einen Mitgliedschaftsinferenz-Adversarius und einen Mitgliedschaftsinferenz-Angriff. Das Framework kann auch die Datenschutzvorteile von ‘gesäuberten’ (d. h. anonymisierten) Daten und synthetischen Daten bewerten.

Die beiden in den Tests verwendeten Datensätze waren der Adult Data Set aus dem UCI Machine Learning Repository und der Hospital Discharge Data Public Use Data File von der Texas Department of State Health Services. Der von den Forschern verwendete Texas-Datensatz enthält 50.000 Records, die aus Patientenakten für das Jahr 2013 ausgewählt wurden.

Angriffe und Ergebnisse

Das allgemeine Ziel der Forschung ist es, ‘Linkbarkeit’ (die Wiederzuordnung von echten Daten mit synthetischen Daten, die durch sie inspiriert wurden) herzustellen. Angriffsmodelle, die in der Studie verwendet werden, umfassen logistische Regression, Random Forests und K-Nearest-Neighbors-Klassifizierer.

Die Autoren wählten zwei Zielgruppen aus, bestehend aus fünf zufällig ausgewählten Records für ‘Minderheitengruppen’ der Bevölkerung, da diese am wahrscheinlichsten anfällig für einen Linkage-Angriff sind. Sie wählten auch Records mit ‘seltenen kategorialen Attributwerten’ außerhalb des 95. Quantils dieser Attribute. Beispiele umfassen Records im Zusammenhang mit hohem Sterberisiko, hohen Gesamtkrankenhauskosten und Krankheitsschwere.

Obwohl die Studie diesen Aspekt nicht erläutert, sind dies aus der Sicht wahrscheinlicher realer Angreifer genau die Art von ‘teuren’ oder ‘hochrisiken’ Patienten, die am wahrscheinlichsten von Mitgliedschaftsinferenz und anderen Arten von Exfiltrationsansätzen für Patientenakten betroffen sind.

Mehrere Angriffsmodelle wurden gegen öffentliche Referenzinformationen trainiert, um ‘Schattenmodelle’ über zehn Ziele zu entwickeln. Die Ergebnisse über eine Reihe von Experimenten (wie zuvor beschrieben) zeigen, dass eine Reihe von Records ‘hoch anfällig’ für Linkage-Angriffe waren, die von den Forschern auf sie abzielten. Die Ergebnisse zeigen auch, dass 20 % aller Ziele in den Versuchen einen Datenschutzgewinn von Null von synthetischen Daten erhielten, die durch GAN-Methoden erzeugt wurden.

Die Forscher stellen fest, dass die Ergebnisse je nach Methode, die zur Generierung von synthetischen Daten verwendet wurde, dem Angriffsvektor und den Merkmalen des Ziel-Datensatzes variierten. Der Bericht findet, dass in vielen Fällen eine wirksame Identitätssuppression durch synthetische Datenansätze die Nützlichkeit der resultierenden Systeme verringert. Effektiv kann die Nützlichkeit und Genauigkeit solcher Systeme in vielen Fällen ein direkter Index dafür sein, wie anfällig sie für Wiederidentifizierungsangriffe sind.

Die Forscher kommen zu dem Schluss:

‘Wenn ein synthetischer Datensatz die Merkmale der ursprünglichen Daten mit hoher Genauigkeit bewahrt und somit die Datenverwendung für die Anwendungsfälle, für die sie beworben werden, beibehält, ermöglicht er es Angreifern gleichzeitig, sensible Informationen über Personen zu extrahieren.

‘Ein hoher Gewinn an Privatsphäre durch einen der von uns bewerteten Anonymisierungsmechanismen kann nur erreicht werden, wenn die veröffentlichte synthetische oder gesäuberte Version der ursprünglichen Daten nicht die Signatur von Einzelrecords in den Rohdaten überträgt und somit ihre Records unterdrückt.’