Forklarlig AI kan overgive fortrolig data lettere

Forskere fra National University of Singapore har konkluderet, at jo mere forklarlig AI bliver, desto lettere vil det blive at omgå vitalt privatlivsbeskyttelse i maskinlæringsystemer. De fandt også ud af, at selv når en model ikke er forklarlig, er det muligt at bruge forklaringer af lignende modeller til at ‘afkode’ følsomme data i den ikke-forklarlige model.

Den forskning, med titlen Exploiting Explanations for Model Inversion Attacks, fremhæver risikoen for at bruge den ’tilfældige’ uigennemsigtighed af, hvordan neurale netværk fungerer, som en sikkerhedsfunktion, der er indbygget i designet – ikke mindst fordi en bølge af nye globale initiativer, herunder Den Europæiske Unions udkast til AI-regler, karakteriserer forklarlig AI (XAI) som en forudsætning for den eventuelle normalisering af maskinlæring i samfundet.

I forskningen blev en virkelig identitet succesfuldt genskabt fra angiveligt anonyme data relateret til ansigtsudtryk, gennem udnyttelse af multiple forklaringer af maskinlæringsystemet. Kilde: https://arxiv.org/pdf/2108.10800.pdf