Forklarbar AI kan avsløre konfidensielle data lettere

Forskere fra National University of Singapore har konkludert med at jo mer forklarbar AI blir, jo lettere vil det bli å omgå viktige personvernsfunksjoner i maskinlæringsystemer. De fant også ut at selv når en modell ikke er forklarbar, er det mulig å bruke forklaringer av lignende modeller til å “dekodere” følsomme data i den ikke-forklarbare modellen.

Forskningen, med tittelen Exploiting Explanations for Model Inversion Attacks, fremhever risikoen ved å bruke den “tilfeldige” uklarheten i hvordan neurale nettverk fungerer som en by-design-sikkerhetsfunksjon – ikke minst fordi en bølge av nye globale initiativer, inkludert Den europeiske unions utkast til AI-regler, karakteriserer forklarbar AI (XAI) som en forutsetning for den eventuelle normaliseringen av maskinlæring i samfunnet.

I forskningen ble en faktisk identitet suksessfullt rekonstruert fra angivelig anonyme data relatert til ansiktsuttrykk, gjennom utnyttelse av flere forklaringer av maskinlæringsystemet. Kilde: https://arxiv.org/pdf/2108.10800.pdf

Forskerne kommenterte:

‘Forklarbar kunstig intelligens (XAI) gir mer informasjon for å hjelpe brukerne å forstå modellbeslutninger, men denne ekstra kunnskapen eksponerer også ekstra risiko for personvernsangrep. Derfor skader forklaring personvernet.’

Gjenidentifisering av private data

Deltagere i maskinlæringsdatasett kan ha gitt samtykke til å være inkludert på grunn av anonymitet; i tilfelle personlig identifiserbar informasjon (PII) som havner i AI-systemer via ad hoc-datainnsamling (for eksempel gjennom sosiale nettverk), kan deltakelse være teknisk lovlig, men strekker begrepet “samtykke”.

Flere metoder har oppstått de siste årene som har vist seg å være i stand til å av-anonymisere PII fra tilsynelatende uklare maskinlæringsdatastrømmer. Modell-ekstraksjon bruker API-tilgang (dvs. “svart boks”-tilgang, uten spesiell tilgang til kildekoden eller data) for å trekke ut PII, selv fra store MLaaS-tilbydere, inkludert Amazon Web Services, mens medlemskaps-inferensangrep (MIAs) kan potensielt få konfidensiell medisinsk informasjon; i tillegg kan attribusjons-inferensangrep (AIAs) gjenopprette følsomme data fra API-utdata.

Avgjørende ansikter

For den nye artikkelen har forskerne konsentrert seg om en modell-inversjonsangrep designet for å få en identitet fra en undergruppe av ansiktsuttrykksdata som ikke burde være i stand til å avsløre denne informasjonen.

Målet med systemet var å assosiere bilder funnet i villmarken (enten postet av og til på internettet eller i en potensiell datalekkasje) med deres inklusjon i datasettene som ligger under en maskinlæringsalgoritme.

Forskerne trente en inversjonsangrepsmodell i stand til å rekonstruere det bidragende bildet fra det anonymiserte API-utdataet, uten spesiell tilgang til den opprinnelige arkitekturen. Tidligere arbeid i dette feltet har konsentrert seg om systemer hvor identifisering (beskyttelse eller avsløring) var målet for både målsystemet og angrepsystemet; i dette tilfelle er rammen designet for å utnytte utdata fra ett domene og anvende det på et annet domene.

En transponert konvolusjonsneural nettverk (CNN) ble brukt for å forutsi et “opprinnelig” kildeansikt basert på målvekteringsvektoren (salienskarten) for et ansiktsuttrykksgjenkjenningssystem, ved å bruke en U-Net-arkitektur for å forbedre ansiktsrekonstruksjonsytelsen.

Gjenidentifiserings-systemet er drevet og informert av forklarbar AI (XAI), hvor kunnskap om neuronal aktivering, blant mange bidragende offentlige XAI-fakta, blir utnyttet for å rekonstruere de indre mekanismene i arkitekturen bare fra utdata, og muliggjør gjenidentifisering av bidragende datasett-bilder.

Testing

Ved å teste systemet, anvendte forskerne det mot tre datasett: iCV-MEFED ansiktsuttrykk; CelebA; og MNIST håndskrevne tall. For å tilpasse modellstørrelsen som forskerne brukte, ble de tre datasettene større til henholdsvis 128×128, 265×256 og 32×32 piksler. 50% av hver sett ble brukt som treningdata, og den andre halvdelen ble brukt som et angrepsdataset for å trene antagonist-modellene.

Hver datasett hadde forskjellige målmodeller, og hver angrepsnettverk ble skalert til begrensningene av forklaringene som lå under prosessen, snarere enn å bruke dypere neurale modeller hvis kompleksitet ville overstige generaliseringen av forklaringene.

XAI-forklaringstypene som ble brukt for å drive forsøkene inkluderte Gradient forklaring, Gradient inndata, Grad-CAM og Lag-Vis Relevance Propagation (LRP). Forskerne evaluerte også flere forklaringer over eksperimentene.

Bilde-rekonstruksjon muliggjort av en XAI-bevisst inversjonsangrep over de tre datasettene, med identiske mål- og angrepsoppgaver.

Målene for testen var pikselvis likhet evaluert ved Gjennomsnittlig kvadratisk feil (MSE); Bilde-lignhet (SSIM), en perseptivt-basert lignhetsindeks; angrepsnøyaktighet, bestemt av om en klassifikator kan suksessfullt om-labele en rekonstruert bilde; og angreps-inndata-lignhet, som sammenligner funksjons-inndataene til kjente kilde-data mot rekonstruert data.

Gjenidentifisering ble oppnådd, med varierende nivåer i henhold til oppgaven og datasettene, over alle settene. Videre fant forskerne ut at ved å lage en surrogat-målmodell (som de naturligvis hadde full kontroll over), var det fortsatt mulig å oppnå gjenidentifisering av data fra eksterne, “lukkede” modeller, basert på kjente XAI-prinsipper.

Forskerne fant ut at de mest nøyaktige resultatene ble oppnådd ved aktiverings-basert (salienskarten) forklaringer, som lekket mer PII enn sensitivitets-basert (gradient) tilnærminger.

I fremtidig arbeid planlegger teamet å inkorporere forskjellige typer XAI-forklaringer i nye angrep, som funksjonsvisualiseringer og konsept-aktiveringsvektorer.