Förklarlig AI kan lämna ifrån sig konfidentiell data lättare

Forskare från National University of Singapore har kommit fram till att ju mer förklarlig AI blir, desto lättare kommer det att bli att kringgå viktiga sekretessfunktioner i maskinlärningssystem. De fann också att även när en modell inte är förklarlig, är det möjligt att använda förklaringar från liknande modeller för att “avkoda” känslig data i den icke-förklarliga modellen.

The research, titeln Exploiting Explanations for Model Inversion Attacks, belyser riskerna med att använda den “oavsiktliga” opaciteten i hur neuronnät fungerar som en säkerhetsfunktion avsiktligt – inte minst eftersom en våg av nya globala initiativ, inklusive EU:s utkast till AI-regler, karakteriserar förklarlig AI (XAI) som en förutsättning för den eventuella normaliseringen av maskinlärning i samhället.

I forskningen återuppbyggs en faktisk identitet från påstått anonym data relaterad till ansiktsuttryck, genom utnyttjande av flera förklaringar av maskinlärningssystemet. Källa: https://arxiv.org/pdf/2108.10800.pdf