Les données synthétiques ne protègent pas de manière fiable la vie privée, affirment les chercheurs

Une nouvelle collaboration de recherche entre la France et le Royaume-Uni jette des doutes sur la confiance croissante de l’industrie que les données synthétiques peuvent résoudre les problèmes de confidentialité, de qualité et de disponibilité (entre autres) qui menacent les progrès dans le secteur de l’apprentissage automatique.

Parmi les plusieurs points clés abordés, les auteurs affirment que les données synthétiques modélisées à partir de données réelles conservent suffisamment d’informations authentiques pour ne pas offrir de protection fiable contre les attaques d’inférence et de membership, qui visent à déanonymiser les données et à les réassocier avec des personnes réelles.

De plus, les individus les plus à risque de telles attaques, y compris ceux qui ont des conditions médicales critiques ou des factures d’hôpital élevées (dans le cas de l’anonymisation des dossiers médicaux), sont, en raison de la nature « d’exception » de leur état, les plus susceptibles d’être réidentifiés par ces techniques.

Le document observe:

‘Étant donné l’accès à un ensemble de données synthétiques, un adversaire stratégique peut inférer, avec une grande confiance, la présence d’un enregistrement cible dans les données d’origine.’

Le document note également que les données synthétiques à confidentialité différentielle, qui obscurcissent la signature des enregistrements individuels, protègent effectivement la confidentialité des individus, mais seulement en compromettant considérablement l’utilité des systèmes de récupération d’informations qui les utilisent.

Si quoi que ce soit, les chercheurs observent, les approches à confidentialité différentielle – qui utilisent des « informations réelles » ‘à un niveau de distance’ via des données synthétiques – rendent le scénario de sécurité pire qu’il ne le serait autrement:

‘Les ensembles de données synthétiques ne donnent aucune transparence sur ce compromis. Il est impossible de prédire quels caractéristiques de données seront préservées et quels modèles seront supprimés.’

Le nouveau document, intitulé Données synthétiques – Jour de l’anonymisation, provient de deux chercheurs de l’École polytechnique fédérale de Lausanne (EPFL) à Paris et d’un chercheur de l’University College de Londres (UCL).

Les chercheurs ont mené des tests sur des algorithmes de formation de modèles génératifs privés existants et ont constaté que certaines décisions d’implémentation violent les garanties de confidentialité formelles fournies dans les cadres, laissant des enregistrements divers exposés aux attaques d’inférence.

Les auteurs proposent une version révisée de chaque algorithme qui pourrait potentiellement atténuer ces expositions, et mettent le code à disposition en tant que bibliothèque open source. Ils affirment que cela aidera les chercheurs à évaluer les gains de confidentialité des données synthétiques et à comparer utilement les méthodes d’anonymisation populaires. Le nouveau cadre intègre deux méthodes d’attaque de confidentialité pertinentes qui peuvent être appliquées à tout algorithme de formation de modèles génératifs.

Données synthétiques

Les données synthétiques sont utilisées pour former des modèles d’apprentissage automatique dans divers scénarios, notamment les cas où un manque d’informations complètes peut potentiellement être comblé par des données factices. Un exemple de cela est la possibilité d’utiliser des visages générés par ordinateur pour fournir des « visages difficiles » ou des photos de visage peu fréquentes pour la synthèse d’images, où les images de profil, les angles aigus ou les expressions inhabituelles sont souvent peu vues dans le matériel source.

D’autres types d’images générées par ordinateur ont été utilisés pour peupler des ensembles de données qui seront finalement exécutés sur des données non synthétiques, tels que des ensembles de données qui présentent des mains et des meubles.

En termes de protection de la confidentialité, les données synthétiques peuvent être générées à partir de données réelles par des systèmes de réseaux antagonistes génératifs (GAN) qui extraient des fonctionnalités des données réelles et créent des enregistrements fictifs similaires qui sont susceptibles de généraliser bien aux données réelles (non vues, réelles) ultérieures, mais qui sont destinés à obscurcir les détails des personnes réelles présentées dans les données source.

Méthodologie

Pour les besoins de la nouvelle recherche, les auteurs ont évalué les gains de confidentialité sur cinq algorithmes de formation de modèles génératifs. Trois des modèles n’offrent pas de protection de confidentialité explicite, tandis que les deux autres disposent de garanties de confidentialité différentielle. Ces modèles tabulaires ont été choisis pour représenter une large gamme d’architectures.

Les modèles attaqués étaient BayNet, PrivBay (une dérivation de PrivBayes/BayNet), CTGAN, PATEGAN et IndHist.

Le cadre d’évaluation pour les modèles a été mis en œuvre en tant que bibliothèque Python avec deux classes principales – GenerativeModels et PrivacyAttacks. La dernière comporte deux facettes – un adversaire d’inférence de membership et une attaque d’inférence de membership. Le cadre est également capable d’évaluer les avantages de confidentialité des données « sanitaires » (c’est-à-dire anonymisées) et des données synthétiques.

Les deux ensembles de données utilisés dans les tests étaient l’ensemble de données Adult Data Set du dépôt de données d’apprentissage automatique UCI, et l’ensemble de données Hospital Discharge Data Public Use Data File du département des services de santé de l’État du Texas. L’ensemble de données du Texas utilisé par les chercheurs contient 50 000 enregistrements échantillonnés à partir de dossiers de patients pour l’année 2013.

Attaques et résultats

L’objectif général de la recherche est d’établir la « liaison » (la réassociation de données réelles avec des données synthétiques qui les ont inspirées). Les modèles d’attaque utilisés dans l’étude comprennent la régression logistique, les forêts aléatoires et les classificateurs K-Plus proches.

Les auteurs ont sélectionné deux groupes cibles composés de cinq enregistrements sélectionnés au hasard pour des « catégories minoritaires » de la population, puisque celles-ci sont les plus susceptibles d’être sensibles à une attaque de liaison. Ils ont également sélectionné des enregistrements avec des « valeurs d’attributs catégoriels rares » en dehors du quantile à 95 % de cet attribut. Des exemples incluent des enregistrements liés à un risque élevé de mortalité, à des frais d’hôpital élevés et à la gravité de la maladie.

Bien que le document n’élabore pas sur cet aspect, du point de vue des attaquants réels, ce sont exactement les types de « patients coûteux » ou « à haut risque » les plus susceptibles d’être ciblés par des attaques d’inférence de membership et d’autres types d’approches d’exfiltration de dossiers de patients.

Plusieurs modèles d’attaque ont été formés contre des informations de référence publiques pour développer des « modèles d’ombre » sur dix cibles. Les résultats à travers une gamme d’expériences (comme décrit plus tôt) indiquent qu’un certain nombre d’enregistrements étaient « très vulnérables » aux attaques de liaison visant les chercheurs. Les résultats ont également constaté que 20 % de toutes les cibles dans les essais ont reçu un gain de confidentialité de zéro à partir des données synthétiques produites par les méthodes GAN.

Les chercheurs notent que les résultats varient en fonction de la méthode utilisée pour générer les données synthétiques, du vecteur d’attaque et des caractéristiques de l’ensemble de données ciblé. Le rapport constate que dans de nombreux cas, la suppression effective de l’identité par les approches de données synthétiques réduit l’utilité des systèmes qui en résultent. En effet, l’utilité et la précision de tels systèmes peuvent dans de nombreux cas être un indice direct de leur vulnérabilité aux attaques de réidentification.

Les chercheurs concluent:

‘Si un ensemble de données synthétiques conserve les caractéristiques des données d’origine avec une grande précision, et conserve ainsi l’utilité des données pour les cas d’utilisation pour lesquels il est annoncé, il permet en même temps aux adversaires d’extraire des informations sensibles sur les individus.

‘Un gain élevé en matière de confidentialité par l’intermédiaire de l’un des mécanismes d’anonymisation que nous avons évalués ne peut être obtenu que si la version synthétique ou sanitaire publiée des données d’origine ne transmet pas le signal des enregistrements individuels dans les données brutes et supprime en fait leurs enregistrements.’