L’IA explicative peut livrer des données confidentielles plus facilement

Les chercheurs de l’Université nationale de Singapour ont conclu que plus l’IA devient explicative, plus il sera facile de contourner les fonctionnalités de confidentialité essentielles dans les systèmes d’apprentissage automatique. Ils ont également constaté que même lorsque un modèle n’est pas explicatif, il est possible d’utiliser les explications de modèles similaires pour « déchiffrer » des données sensibles dans le modèle non explicatif.

La recherche, intitulée Exploitation des explications pour les attaques d’inversion de modèle, met en évidence les risques liés à l’utilisation de l’« opacité accidentelle » de la façon dont les réseaux de neurones fonctionnent comme si c’était une fonctionnalité de sécurité conçue à dessein – notamment parce qu’une vague de nouvelles initiatives mondiales, notamment le projet de réglementation de l’IA de l’Union européenne, qualifient l’IA explicative (XAI) de condition préalable à la normalisation éventuelle de l’apprentissage automatique dans la société.

Dans la recherche, une identité réelle est reconstruite avec succès à partir de données anonymes relatives aux expressions faciales, grâce à l’exploitation de multiples explications du système d’apprentissage automatique. Source: https://arxiv.org/pdf/2108.10800.pdf

Les chercheurs commentent:

‘L’IA explicative (XAI) fournit plus d’informations pour aider les utilisateurs à comprendre les décisions du modèle, mais ces connaissances supplémentaires exposent des risques supplémentaires pour les attaques de confidentialité. Par conséquent, fournir des explications nuit à la confidentialité.’

Re-Identification de données privées

Les participants aux ensembles de données d’apprentissage automatique peuvent avoir consenti à être inclus dans l’hypothèse de l’anonymat; dans le cas des informations personnelles identifiables (PII) qui se retrouvent dans les systèmes d’IA via la collecte de données ad hoc (par exemple, via les réseaux sociaux), la participation peut être techniquement légale, mais tend la notion de « consentement ».

Plusieurs méthodes ont émergé ces dernières années qui ont prouvé leur capacité à désanonymiser les PII à partir de flux de données d’apprentissage automatique apparemment opaques. L’extraction de modèle utilise l’accès API (c’est-à-dire l’accès « boîte noire », sans disponibilité spéciale du code source ou des données) pour extraire les PII même des fournisseurs de services d’apprentissage automatique à grande échelle, tandis que les attaques d’inférence d’appartenance (MIAs) peuvent potentiellement obtenir des informations médicales confidentielles; en outre, les attaques d’inférence d’attribution (AIAs) peuvent récupérer des données sensibles à partir de la sortie de l’API.

Révélation des visages

Pour le nouveau document, les chercheurs se sont concentrés sur une attaque d’inversion de modèle conçue pour obtenir une identité à partir d’un sous-ensemble de données d’émotion faciale qui ne devraient pas être en mesure de révéler ces informations.

L’objectif du système était d’associer des images trouvées dans la nature (publiées occasionnellement sur Internet ou dans une éventuelle faille de sécurité) à leur inclusion dans les ensembles de données qui sous-tendent un algorithme d’apprentissage automatique.

Les chercheurs ont formé un modèle d’attaque d’inversion capable de reconstruire l’image contributive à partir de la sortie anonyme de l’API, sans accès spécial à l’architecture d’origine. Les travaux précédents dans ce domaine se sont concentrés sur des systèmes où l’identification (protection ou révélation) était l’objectif à la fois du système cible et du système d’attaque; dans ce cas, le cadre a été conçu pour exploiter la sortie d’un domaine et l’appliquer à un domaine différent.

Un réseau de neurones convolutifs transposé a été utilisé pour prédire un « visage source » d’origine en fonction du vecteur de prédiction cible (carte de salience) pour un système de reconnaissance d’émotion, en utilisant une architecture U-Net pour améliorer les performances de reconstruction faciale.

Le système de ré-identification est alimenté et informé par l’IA explicative (XAI), où la connaissance de l’activation des neurones, parmi de nombreux aspects publics de l’IA explicative, est exploitée pour reconstruire les mécanismes internes de l’architecture à partir de sa seule sortie, permettant la ré-identification des images de l’ensemble de données contributives.

Test

Lors du test du système, les chercheurs l’ont appliqué à trois ensembles de données: les expressions faciales iCV-MEFED; CelebA; et les chiffres manuscrits MNIST. Pour tenir compte de la taille du modèle utilisée par les chercheurs, les trois ensembles de données ont été redimensionnés respectivement à 128×128, 265×256 et 32×32 pixels. 50 % de chaque ensemble ont été utilisés comme données de formation, et l’autre moitié a été utilisée comme ensemble de données d’attaque pour former les modèles antagonistes.

Chaque ensemble de données avait des modèles cibles différents, et chaque réseau d’attaque a été dimensionné en fonction des limitations des explications qui sous-tendent le processus, plutôt que d’utiliser des modèles de neurones plus profonds dont la complexité dépasserait la généralisation des explications.

Les types d’explications XAI utilisés pour alimenter les tentatives comprenaient Gradient Explanation, Gradient Input, Grad-CAM et la propagation de pertinence par couche (LRP). Les chercheurs ont également évalué plusieurs explications à travers les expériences.

Reconstruction d’image facilitée par une attaque d’inversion XAI-cognitive à travers les trois ensembles de données, présentant des tâches de cible et d’attaque identiques.

Les métriques pour le test étaient la similarité pixel par pixel évaluée par l’erreur quadratique moyenne (MSE); la similarité d’image (SSIM), un indice de similarité basé sur la perception; la précision de l’attaque, déterminée par la capacité d’un classificateur à relabeliser avec succès une image reconstruite; et la similarité d’intégration d’attaque, qui compare les intégrations de fonctionnalités des données source connues avec les données reconstruites.

La ré-identification a été réalisée, avec des niveaux variables selon la tâche et les ensembles de données, sur l’ensemble des ensembles. De plus, les chercheurs ont constaté qu’en créant un modèle cible de remplacement (qu’ils contrôlaient naturellement entièrement), il était encore possible d’obtenir une ré-identification de données à partir de modèles « fermés » externes, sur la base de principes XAI connus.

Les chercheurs ont constaté que les résultats les plus précis ont été obtenus par des explications basées sur l’activation (carte de salience), qui ont divulgué plus de PII que les approches basées sur la sensibilité (gradient).

À l’avenir, l’équipe prévoit d’intégrer différents types d’explications XAI dans de nouvelles attaques, telles que les visualisations de fonctionnalités et les vecteurs d’activation de concept.