Forklarbar AI kan avsløre konfidensielle data lettere

Forskere fra National University of Singapore har konkludert med at jo mer forklarbar AI blir, jo lettere blir det å omgå vitale personvernsfunksjoner i maskinlæringsystemer. De fant også ut at selv når en modell ikke er forklarbar, er det mulig å bruke forklaringer fra lignende modeller til å ‘dekodere’ sensitive data i den ikke-forklarbare modellen.

Forskningen, med tittelen Exploiting Explanations for Model Inversion Attacks, fremhever risikoen ved å bruke den ’tilfeldige’ uklarheten i hvordan neurale nettverk fungerer som om det var en by-design-sikkerhetsfunksjon – ikke minst fordi en bølge av nye globale initiativer, inkludert Den europeiske unions utkast til AI-regler, karakteriserer forklarbar AI (XAI) som en forutsetning for den eventuelle normaliseringen av maskinlæring i samfunnet.

I forskningen ble en faktisk identitet suksessfullt rekonstruert fra angivelig anonyme data relatert til ansiktsuttrykk, gjennom utnyttelse av flere forklaringer av maskinlæringsystemet. Kilde: https://arxiv.org/pdf/2108.10800.pdf