Forklarlig AI kan afsløre fortrolig data lettere

Forskere fra National University of Singapore har konkluderet, at jo mere forklarlig AI bliver, desto lettere vil det blive at omgå vigtige privatlivs Funktioner i maskinelæringssystemer. De fandt også ud af, at selv når en model ikke er forklarlig, er det muligt at bruge forklaringer af lignende modeller til at “afkode” følsomme data i den ikke-forklarlige model.

Den forskning, der hedder Exploiting Explanations for Model Inversion Attacks, fremhæver risikoen for at bruge den “tilfældige” uigennemsigtighed i, hvordan neurale netværk fungerer, som en sikkerhedsfunktion – ikke mindst fordi en bølge af nye globale initiativer, herunder Den Europæiske Unions udkast til AI-regler, karakteriserer forklarlig AI (XAI) som en forudsætning for den eventuelle normalisering af maskinelæring i samfundet.

I forskningen blev en reel identitet succesfuldt genskabt fra angiveligt anonyme data omkring ansigtsudtryk, gennem udnyttelse af multiple forklaringer af maskinelæringssystemet. Kilde: https://arxiv.org/pdf/2108.10800.pdf

Forskerne kommenterer:

‘Forklarlig kunstig intelligens (XAI) giver mere information til at hjælpe brugerne med at forstå modelbeslutninger, men denne ekstra viden udsætter for yderligere risici for privatlivsangreb. Derfor skader forklaring privatlivet.’

Genkendelse af private data

Deltagere i maskinelæringssæt kan have givet samtykke til at blive inkluderet under antagelse af anonymitet; i tilfælde af personfølsomme oplysninger (PII), der ender i AI-systemer via ad hoc-dataindsamling (f.eks. gennem sociale netværk), kan deltagelse være teknisk lovlig, men belaster begrebet “samtykke”.

Flere metoder er dukket op i de seneste år, der har vist sig i stand til at af-anonymisere PII fra åbenbart uigennemsigtige maskinelæringdatastrømme. Model-ekstraktion bruger API-adgang (dvs. “sort boks”-adgang, uden specialadgang til kildekoden eller data) til at ekstrahere PII, selv fra store MLaaS-udbydere, herunder Amazon Web Services, mens medlemskabsinferenceangreb (MIAs) under lignende begrænsninger potentielt kan få fortrolige medicinske oplysninger; desuden kan tilskrivningsinferenceangreb (AIAs) genskabe følsomme data fra API-udgang.

Afsløring af ansigter

Til den nye artikel har forskerne koncentreret sig om et model-inversion-angreb designet til at få en identitet fra en undermængde af ansigtsfølelsesdata, der ikke burde være i stand til at afsløre denne information.

Formålet med systemet var at associerer billeder fundet i det vilde (enten offentliggjort af og til på internettet eller i en potentiel dataudladning) med deres inklusion i datasættene, der ligger til grund for en maskinelæringsalgoritme.

Forskerne trænede et inversion-angrebsmodel, der var i stand til at genskabe det bidragende billede fra det anonymiserede API-udgang, uden specialadgang til den oprindelige arkitektur. Tidligere arbejde på dette område har koncentreret sig om systemer, hvor identificering (beskyttelse eller afsløring) var formålet med både målsystemet og angrebsystemet; i dette tilfælde er rammen designet til at udnytte udgangen fra et domæne og anvende det på et andet domæne.

En transponeret convolutional neural network (CNN) blev anvendt til at forudsige en “original” kildeansigt baseret på målforudsigelsesvektoren (saliency-kort) for et ansigtsfølelsesgenkendelsessystem, ved hjælp af en U-Net-arkitektur til at forbedre ansigtsrekonstruktionspræstationen.

Genkendelsessystemet er drevet og informeret af forklarlig AI (XAI), hvor viden om neuronal aktivering, blandt mange bidragende offentlige XAI-facetter, udnyttes til at genskabe den interne maskinering af arkitekturen kun fra dens udgang, og muliggør genkendelse af bidragende datasæt-billeder.

Test

Ved at teste systemet, anvendte forskerne det mod tre datasæt: iCV-MEFED ansigtsudtryk; CelebA; og MNIST håndskrevne cifre. For at tilpasse modellens størrelse, der blev brugt af forskerne, blev de tre datasæt omskaleret til henholdsvis 128×128, 265×256 og 32×32 pixels. 50% af hvert sæt blev brugt som træningsdata, og den anden halvdel blev brugt som et angrebsdatasæt til at træne antagonistmodellerne.

Hvert datasæt havde forskellige målmodeller, og hvert angrebsnetværk var skaleret til begrænsningerne af forklaringerne, der lå til grund for processen, snarere end at bruge dybere neurale modeller, hvis kompleksitet ville overstige generaliseringen af forklaringerne.

XAI-forklarings typerne, der blev brugt til at aktivere forsøgene, omfattede Gradient Forklaring, Gradient Input, Grad-CAM og Lag-Vise Relevance Propagation (LRP). Forskerne evaluerede også multiple forklaringer på tværs af eksperimenterne.

Billede-rekonstruktion faciliteret af et XAI-bevidst inversion-angreb på tværs af de tre datasæt, med identiske mål- og angrebstask.

Målene for testen var pixelvis lignende vurderet ved Mean Squared Error (MSE); Billede-lignelse (SSIM), en percept-baseret lignelse-indeks; angrebsnøjagtighed, bestemt af, om en klassifikator kan succesfuldt gen-label en genskabt billede; og angrebs-indlejring-lignelse, der sammenligner funktion-indlejringerne af kendte kilde-data mod genskabte data.

Genkendelse blev opnået, med varierende niveauer afhængigt af opgaven og datasættene, på tværs af alle sættene. Desuden fandt forskerne ud af, at ved at skabe en surrogat-målmodel (som de naturligvis havde fuld kontrol over), var det stadig muligt at opnå genkendelse af data fra eksterne, “lukkede” modeller, baseret på kendte XAI-principper.

Forskerne fandt ud af, at de mest nøjagtige resultater blev opnået ved aktiveringsbaserede (saliency-kort) forklaringer, som lækkede mere PII end følsomhedsbaserede (gradient) tilgange.

I fremtidigt arbejde har teamet til hensigt at inkorporere forskellige typer XAI-forklaringer i nye angreb, såsom funktionvisualiseringer og konceptaktiveringsvektorer.