Verklaarbare AI kan vertrouwelijke gegevens gemakkelijker prijsgeven

Onderzoekers van de Nationale Universiteit van Singapore hebben geconcludeerd dat hoe verklaarbaarder AI wordt, hoe gemakkelijker het zal worden om vitale privacyfuncties in machine learning-systemen te omzeilen. Zij ontdekten ook dat zelfs wanneer een model niet verklaarbaar is, het mogelijk is om verklaringen van vergelijkbare modellen te gebruiken om ‘gevoelige gegevens te decoderen’ in het niet-verklaarbare model.

Het onderzoek, getiteld Exploiting Explanations for Model Inversion Attacks, benadrukt de risico’s van het gebruik van de ‘per ongeluk’ ondoorzichtigheid van de werking van neurale netwerken als een beveiligingsfunctie die is ontworpen – niet in de laatste plaats omdat een golf van nieuwe wereldwijde initiatieven, waaronder de ontwerp-AI-regels van de Europese Unie, karakteriseren verklaarbare AI (XAI) als een vereiste voor de uiteindelijke normalisatie van machine learning in de samenleving.

In het onderzoek wordt een echte identiteit met succes gereconstrueerd uit anonieme gegevens met betrekking tot gezichtsuitdrukkingen, door het exploiteren van meerdere verklaringen van het machine learning-systeem. Bron: https://arxiv.org/pdf/2108.10800.pdf

De onderzoekers merken op:

‘Verklaarbare kunstmatige intelligentie (XAI) biedt meer informatie om gebruikers te helpen bij het begrijpen van modelbeslissingen, maar deze extra kennis brengt extra risico’s met zich mee voor privacyaanvallen. Daarom schaadt het verstrekken van verklaringen de privacy.’

Heridentificatie van privégegevens

Deelnemers aan machine learning-datasets kunnen hebben ingestemd met deelname onder de veronderstelling van anonimiteit; in het geval van persoonlijk identificeerbare informatie (PII) die via ad-hocgegevensverzameling (bijvoorbeeld via sociale netwerken) in AI-systemen terechtkomt, kan deelname technisch legaal zijn, maar dit brengt de notie van ‘toestemming’ onder druk.

Verschillende methoden zijn in de afgelopen jaren ontwikkeld die in staat zijn gebleken om PII uit ogenschijnlijk ondoorzichtige machine learning-gegevensstromen te de-anonimiseren. Model-extractie gebruikt API-toegang (d.w.z. ‘black box’-toegang, zonder speciale beschikbaarheid van de broncode of gegevens) om PII te extraheren, zelfs uit grote MLaaS-aanbieders, inclusief Amazon Web Services, terwijl Lidmaatschapsinformatie-aanvallen (MIAs) onder vergelijkbare beperkingen mogelijk vertrouwelijke medische informatie kunnen verkrijgen; bovendien kunnen Attributie-informatie-aanvallen (AIAs) gevoelige gegevens van API-uitvoer herstellen.

Gezichten onthullen

Voor het nieuwe artikel hebben de onderzoekers zich gericht op een model-inversie-aanval die is ontworpen om een identiteit te verkrijgen uit een subset van gezichtsemotiegegevens die deze informatie niet zouden moeten kunnen onthullen.

Het doel van het systeem was om afbeeldingen die in het wild worden aangetroffen (ofwel casual op internet worden gepost of in een potentiële gegevenslek) te koppelen aan hun opname in de datasets die ten grondslag liggen aan een machine learning-algoritme.

De onderzoekers hebben een inversie-aanvalmodel getraind dat in staat is om de bijdragende afbeelding te reconstrueren uit de geanonimiseerde API-uitvoer, zonder speciale toegang tot de oorspronkelijke architectuur. Eerder onderzoek op dit gebied heeft zich gericht op systemen waarbij identificatie (beschermen of onthullen) het doel was van zowel het doelsysteem als het aanvallende systeem; in dit geval is het kader ontworpen om de uitvoer van een domein te exploiteren en toe te passen op een ander domein.

Een getransponeerde convolutioneel neuronaal netwerk (CNN) werd gebruikt om een ‘oorspronkelijke’ bronafbeelding te voorspellen op basis van de doelpredictievector (saliency-kaart) voor een emotieherkenningssysteem, met behulp van een U-Net-architectuur om de gezichtsreconstructieprestaties te verbeteren.

Het heridentificatiesysteem wordt aangedreven en geïnformeerd door verklaarbare AI (XAI), waarbij kennis van neuron-activatie, onder veel bijdragende openbare XAI-aspecten, wordt geëxploiteerd om de interne werking van de architectuur alleen uit de uitvoer te reconstrueren, waardoor heridentificatie van bijdragende datasetafbeeldingen mogelijk wordt.

Testen

Bij het testen van het systeem hebben de onderzoekers het toegepast op drie datasets: iCV-MEFED gezichtsuitdrukkingen; CelebA; en MNIST handgeschreven cijfers. Om de modelgrootte die door de onderzoekers werd gebruikt, te accommoderen, werden de drie datasets respectievelijk verkleind tot 128×128, 265×256 en 32×32 pixels. 50% van elke set werd gebruikt als trainingsgegevens, en de andere helft werd gebruikt als aanvalsdataset om de antagonistische modellen te trainen.

Elke dataset had verschillende doelmodellen, en elk aanvalsnetwork werd geschaald naar de beperkingen van de verklaringen die het proces ondersteunden, in plaats van dieper neurale modellen te gebruiken waarvan de complexiteit de generalisatie van de verklaringen zou overschrijden.

De XAI-verklaringstypen die werden gebruikt om de pogingen te ondersteunen, omvatten Gradient-verklaring, Gradient-input, Grad-CAM en Laag-voor-laag-relevantiepropagatie (LRP). De onderzoekers hebben ook meerdere verklaringen over de experimenten geëvalueerd.

Afbeeldingsreconstructie gefaciliteerd door een XAI-bewuste inversie-aanval over de drie datasets, met identieke doel- en aanvaltaken.

De meetwaarden voor de test waren pixelwijze overeenkomst, geëvalueerd door Mean Squared Error (MSE); Beeldovereenkomst (SSIM), een perceptueel-gebaseerde overeenkomstindex; aanvalsprecisie, bepaald door of een classificator een gereconstrueerde afbeelding met succes kan opnieuw labelen; en aanvals-embeddingsimilariteit, die de functie-embeddings van bekende brondata vergelijkt met gereconstrueerde data.

Heridentificatie werd bereikt, met variabele niveaus volgens de taak en de datasets, over alle sets. Bovendien ontdekten de onderzoekers dat door een surrogaat-doelmodel te creëren (waarover zij natuurlijk volledige controle hadden), het nog steeds mogelijk was om heridentificatie van gegevens uit externe, ‘gesloten’ modellen te bereiken, op basis van bekende XAI-principes.

De onderzoekers ontdekten dat de meest nauwkeurige resultaten werden behaald door activatie-gebaseerde (saliency-kaart) verklaringen, die meer PII lekten dan gevoeligheidsgebaseerde (gradient) benaderingen.

In toekomstig onderzoek zijn de onderzoekers van plan om verschillende soorten XAI-verklaringen te incorporeren in nieuwe aanvallen, zoals functievisualisaties en concept-activatievectoren.