L’IA explicative peut livrer des données confidentielles plus facilement

Les chercheurs de l’Université nationale de Singapour ont conclu que plus l’IA devient explicative, plus il sera facile de contourner les fonctionnalités de confidentialité vitales des systèmes d’apprentissage automatique. Ils ont également constaté que même lorsque un modèle n’est pas explicatif, il est possible d’utiliser les explications de modèles similaires pour « décodifier » des données sensibles dans le modèle non explicatif.

La recherche, intitulée Exploitation des explications pour les attaques d’inversion de modèle, met en évidence les risques d’utilisation de l’« opacité accidentelle » de la façon dont les réseaux de neurones fonctionnent comme si c’était une fonctionnalité de sécurité conçue – notamment parce qu’une vague de nouvelles initiatives mondiales, notamment le projet de réglementation de l’IA de l’Union européenne, caractérisent l’IA explicative (XAI) comme une condition préalable à la normalisation éventuelle de l’apprentissage automatique dans la société.

Dans la recherche, une identité réelle est reconstruite avec succès à partir de données anonymes supposées relatives aux expressions faciales, grâce à l’exploitation de plusieurs explications du système d’apprentissage automatique. Source : https://arxiv.org/pdf/2108.10800.pdf