Förklarlig AI kan avslöja konfidentiell data lättare

Forskare från National University of Singapore har kommit fram till att ju mer förklarlig AI blir, desto lättare blir det att kringgå viktiga sekretessfunktioner i maskinlärningssystem. De fann också att även när en modell inte är förklarlig, är det möjligt att använda förklaringar av liknande modeller för att “avkoda” känslig data i den icke-förklarliga modellen.

Den forskningen, med titeln Exploiting Explanations for Model Inversion Attacks, belyser riskerna med att använda den “oavsiktliga” opaciteten i hur neuronnät fungerar som en säkerhetsfunktion av design – inte minst eftersom en våg av nya globala initiativ, inklusive EU:s utkast till AI-regler, karakteriserar förklarlig AI (XAI) som en förutsättning för den eventuella normaliseringen av maskinlärning i samhället.

I forskningen återuppbyggs en faktisk identitet från påstått anonym data relaterad till ansiktsuttryck, genom utnyttjande av flera förklaringar av maskinlärningssystemet. Källa: https://arxiv.org/pdf/2108.10800.pdf

Forskarna kommenterar:

‘Förklarlig artificiell intelligens (XAI) tillhandahåller mer information för att hjälpa användare att förstå modellbeslut, men denna ytterligare kunskap utsätter för ytterligare risker för integritetsattacker. Därför skadar förklaringar integriteten.’

Omidentifiering av privat data

Deltagare i maskinlärningsdataset kan ha samtyckt till att ingå i dataset med antagandet om anonymitet; i fallet med personligt identifierbar information (PII) som hamnar i AI-system via ad hoc-datainsamling (t.ex. genom sociala nätverk) kan deltagande vara tekniskt lagligt, men anstränger begreppet “samtycke”.

Flera metoder har utvecklats under de senaste åren som har visat sig kunna avanonymisera PII från till synes ogenomskinliga maskinlärningsdataflöden. Modellutvinning använder API-åtkomst (dvs. “svart låda”-åtkomst, utan särskild tillgång till källkoden eller data) för att utvinna PII, även från storskaliga MLaaS-leverantörer, inklusive Amazon Web Services, medan medlemsinferencesattacker (MIAs) kan potentiellt få konfidentiell medicinsk information; dessutom kan attributinferencesattacker (AIAs) återställa känslig data från API-utdata.

Avslöjande av ansikten

För den nya artikeln har forskarna fokuserat på en modellinversionsattack som är utformad för att erhålla en identitet från en undermängd av ansiktsuttrycksdata som inte borde kunna avslöja denna information.

Målet med systemet var att associera bilder som hittats i vilt tillstånd (antingen publicerade slumpmässigt på internet eller i en potentiell dataintrång) med deras inkludering i dataset som ligger till grund för en maskinlärningsalgoritm.

Forskarna tränade en inversionsattackmodell som kunde rekonstruera den bidragande bilden från den anonymiserade API-utdatan, utan särskild åtkomst till den ursprungliga arkitekturen. Tidigare arbete inom detta område har fokuserat på system där identifiering (skydd eller avslöjande) var målet för både målsystemet och angreppssystemet; i detta fall har ramverket utformats för att utnyttja utdatan från en domän och tillämpa den på en annan domän.

En transponerad konvolutionsneuronnät (CNN) användes för att förutsäga en “ursprunglig” källbild baserat på målprediktionsvektorn (salienskarta) för ett ansiktsuttrycksigenkänningsystem, med en U-Net-arkitektur för att förbättra ansiktsrekonstruktionsprestandan.

Omidentifieringssystemet drivs och informeras av förklarlig AI (XAI), där kunskap om neuronnaktivering, bland många bidragande offentliga XAI-facetter, utnyttjas för att rekonstruera den inre mekanismen i arkitekturen endast från dess utdata, vilket möjliggör omidentifiering av bidragande datasetbilder.

Testning

Vid testning av systemet tillämpade forskarna det mot tre dataset: iCV-MEFED ansiktsuttryck; CelebA; och MNIST handskrivna siffror. För att anpassa modellstorleken som forskarna använde, återstorleksförändrades de tre dataseten till 128×128, 265×256 och 32×32 pixlar. 50% av varje uppsättning användes som träningsdata och den andra hälften användes som angreppsdataset för att träna antagonistmodellerna.

<p.Varje dataset hade olika målmodeller och varje angreppsnätverk skalande till begränsningarna av förklaringarna som underlag för processen, snarare än att använda djupare neurala modeller vars komplexitet skulle överstiga generaliseringen av förklaringarna.

XAI-förklaringstyper som användes för att driva försöken inkluderade Gradientförklaring, Gradientinmatning, Grad-CAM och lager-vis relevansspridning (LRP). Forskarna utvärderade också flera förklaringar över experimenten.

Bildrekonstruktion underlättad av en XAI-medveten inversionsattack över de tre dataseten, med identiska mål- och angreppsuppgifter.

Mätetalen för testet var pixelvis likhet utvärderad av Medelkvadratfel (MSE); Bildlikhet (SSIM), ett perceptionsbaserat likhetsindex; angreppssäkerhet, bestämd av om en klassificerare kan lyckas ometikettera en rekonstruerad bild; och angreppsinbäddningslikhet, som jämför funktionsembeddningarna av känd källdata mot rekonstruerad data.

Omidentifiering uppnåddes, med varierande nivåer enligt uppgiften och dataseten, över alla uppsättningar. Dessutom fann forskarna att genom att skapa en surrogatmålmodell (som de naturligtvis hade full kontroll över) var det fortfarande möjligt att uppnå omidentifiering av data från externa, “stängda” modeller, baserat på kända XAI-principer.

Forskarna fann att de mest precisa resultaten erhölls av aktiveringsbaserade (salienskarta) förklaringar, som läckte mer PII än känslighetsbaserade (gradient) tillvägagångssätt.

I framtida arbete avser teamet att inkorporera olika typer av XAI-förklaringar i nya angrepp, såsom funktionvisualiseringar och konceptaktiveringsvektorer.