Verklaarbare AI kan vertrouwelijke gegevens gemakkelijker prijsgeven

Onderzoekers van de National University of Singapore hebben geconcludeerd dat hoe verklaarbaarder AI wordt, hoe gemakkelijker het zal worden om vitale privacyfuncties in machine learning-systemen te omzeilen. Ze ontdekten ook dat zelfs wanneer een model niet verklaarbaar is, het mogelijk is om uitleg van soortgelijke modellen te gebruiken om ‘gevoelige gegevens in het niet-verklaarbare model te decoderen’.

Het onderzoek, getiteld Exploiting Explanations for Model Inversion Attacks, benadrukt de risico’s van het gebruik van de ‘per ongeluk’ ondoorzichtigheid van de manier waarop neurale netwerken functioneren als een beveiligingsfunctie die is ontworpen – niet in de laatste plaats omdat een golf van nieuwe wereldwijde initiatieven, waaronder de concept-wetgeving van de EU voor AI, karakteriseren verklaarbare AI (XAI) als een vereiste voor de uiteindelijke normalisatie van machine learning in de samenleving.

In het onderzoek wordt een echte identiteit met succes gereconstrueerd uit anonieme gegevens met betrekking tot gezichtsuitdrukkingen, door het exploiteren van meerdere uitleg van het machine learning-systeem. Bron: https://arxiv.org/pdf/2108.10800.pdf