L'IA explicable peut rendre plus facilement des données confidentielles

Des chercheurs de l'Université nationale de Singapour ont conclu que plus l'IA devient explicable, plus il sera facile de contourner les fonctionnalités essentielles de confidentialité des systèmes d'apprentissage automatique. Ils ont également constaté que même lorsqu'un modèle n'est pas explicable, il est possible d'utiliser les explications de modèles similaires pour « décoder » les données sensibles du modèle non explicable.

Le Une étude, Intitulé Exploitation des explications pour les attaques d'inversion de modèle, met en évidence les risques liés à l'utilisation de l'opacité « accidentelle » du fonctionnement des réseaux neuronaux comme s'il s'agissait d'une fonctionnalité de sécurité intégrée - notamment en raison d'une vague de nouvelles initiatives mondiales, notamment celle de l'Union européenne projet de règlement sur l'IA, Sont caractérisant l'IA explicable (XAI) comme condition préalable à la normalisation éventuelle de l'apprentissage automatique dans la société.

Dans la recherche, une identité réelle est reconstruite avec succès à partir de données supposées anonymes relatives aux expressions faciales, grâce à l'exploitation de multiples explications du système d'apprentissage automatique. Source : https://arxiv.org/pdf/2108.10800.pdf

Les chercheurs commentent :

L'intelligence artificielle explicable (IAX) fournit davantage d'informations pour aider les utilisateurs à comprendre les décisions prises par les modèles. Cependant, ces connaissances supplémentaires exposent à des risques supplémentaires d'atteintes à la vie privée. Par conséquent, fournir des explications porte atteinte à la vie privée.

Réidentification des données privées

Les participants aux ensembles de données d'apprentissage automatique peuvent avoir consenti à être inclus en supposant l'anonymat ; dans le cas d'informations personnelles identifiables (PII) qui finissent dans les systèmes d'IA via une collecte de données ad hoc (par exemple, via les réseaux sociaux), la participation peut être techniquement légale, mais met à rude épreuve la notion de « consentement ».

Plusieurs méthodes ont émergé ces dernières années qui se sont avérées capables de désanonymiser les PII des flux de données d'apprentissage automatique apparemment opaques. Extraction de modèle utilise l'accès API (c'est-à-dire l'accès « boîte noire », sans disponibilité particulière du code source ou des données) pour extraire des PII même à partir de fournisseurs MLaaS à grande échelle, y compris Amazon Web Services, tandis que les attaques par inférence d'appartenance (MIA), fonctionnant sous des contraintes similaires, peut potentiellement obtenir informations médicales confidentielles; de plus, les attaques par inférence d'attribution (AIA) peuvent récupérer des données sensibles à partir de la sortie de l'API.

Visages révélateurs

Pour le nouvel article, les chercheurs se sont concentrés sur une attaque d'inversion de modèle conçue pour obtenir une identité à partir d'un sous-ensemble de données d'émotions faciales qui ne devraient pas être capables de révéler ces informations.

L'objectif du système était d'associer des images trouvées dans la nature (publiées par hasard sur Internet ou dans une éventuelle violation de données) avec leur inclusion dans les ensembles de données qui sous-tendent un algorithme d'apprentissage automatique.

Les chercheurs ont formé un modèle d'attaque par inversion capable de reconstruire l'image contributive à partir de la sortie anonymisée de l'API, sans accès spécial à l'architecture d'origine. Les travaux antérieurs dans ce domaine se sont concentrés sur les systèmes où l'identification (protéger ou révéler) était l'objectif à la fois du système cible et du système attaquant; dans ce cas, le framework a été conçu pour exploiter la sortie d'un domaine et l'appliquer à un domaine différent.

A transposé Un réseau neuronal convolutif (CNN) a été utilisé pour prédire un visage source « original » en fonction du vecteur de prédiction cible (carte de saillance) pour un système de reconnaissance des émotions, en utilisant un Architecture U-Net pour améliorer les performances de la reconstruction faciale.

Le système de ré-identification est alimenté et informé par une IA explicable (XAI), où la connaissance de l'activation des neurones, parmi de nombreuses facettes XAI publiques contributives, est exploitée pour reconstruire les machinations internes de l'architecture uniquement à partir de sa sortie, permettant la ré-identification de la contribution images du jeu de données.

Tests

En testant le système, les chercheurs l'ont appliqué à trois ensembles de données :  iCV-MEFED expressions du visage; CélébritéEt Chiffres manuscrits MNIST. Pour s'adapter à la taille du modèle utilisé par les chercheurs, les trois ensembles de données ont été redimensionnés respectivement à 128 × 128, 265 × 256 et 32 ​​× 32 pixels. 50 % de chaque ensemble a été utilisé comme données d'entraînement et l'autre moitié comme ensemble de données d'attaque pour entraîner les modèles antagonistes.

Chaque ensemble de données avait des modèles cibles différents, et chaque réseau d'attaque a été adapté aux limites des explications qui sous-tendent le processus, plutôt que d'utiliser des modèles neuronaux plus profonds dont la complexité dépasserait la généralisation des explications.

Les types d'explication XAI utilisés pour alimenter les tentatives incluses Explication du dégradé, Entrée dégradée, Diplômé-CAM et la propagation de la pertinence par couche (LRP). Les chercheurs ont également évalué plusieurs explications à travers les expériences.

Reconstruction d'image facilitée par une attaque d'inversion XAI-cognizant sur les trois ensembles de données, avec des tâches de cible et d'attaque identiques.

Les métriques du test étaient la similarité pixel par pixel évaluée par Erreur quadratique moyenne (MSE); Similitude d'images (SSIM), un indice de similarité basé sur la perception ; la précision d'attaque, déterminée par le fait qu'un classificateur peut réétiqueter avec succès une image reconstruite ; et la similarité d'intégration d'attaques, qui compare les intégrations de caractéristiques de données sources connues à des données reconstruites.

La réidentification a été réalisée, avec des niveaux variables selon la tâche et les ensembles de données, sur l'ensemble des ensembles. De plus, les chercheurs ont constaté qu'en concoctant un modèle cible de substitution (sur lequel ils avaient naturellement un contrôle total), il était toujours possible de réidentifier des données provenant de modèles externes « fermés », sur la base des principes XAI connus.

Les chercheurs ont découvert que les résultats les plus précis ont été obtenus par des explications basées sur l'activation (carte de saillance), qui ont divulgué plus de PII que les approches basées sur la sensibilité (gradient).

Dans les travaux futurs, l'équipe a l'intention d'incorporer différents types d'explications XAI dans de nouvelles attaques, telles que visualisations d'entités et vecteurs d'activation de concept.