Stöld av maskinlärningsmodeller genom API-utdata

Ny forskning från Kanada erbjuder en möjlig metod för att stjäla resultaten från dyra maskinlärningsramverk, även när den enda åtkomsten till ett proprietärt system är via en högt sanerad och tydligen väl skyddad API (en gränssnitt eller protokoll som bearbetar användarfrågor på serversidan och returnerar endast utdata svaret).

Som forskningssektorn alltmer fokuserar på att kommersialisera dyra modellträningar genom Machine Learning som en tjänst (MLaaS)-implementeringar, föreslår den nya studien att självständig inlärning (SSL) modeller är mer sårbara för denna typ av modell exfiltration, eftersom de tränas utan användar etiketter, vilket förenklar extraheringen, och vanligtvis returnerar resultat som innehåller en stor mängd användbar information för någon som vill replikera den (dolda) källmodellen.

I ‘black box’-test simuleringar (där forskarna gav sig själva ingen annan åtkomst till en lokal ‘offer’ modell än en typisk slutanvändare skulle ha via en webb-API), kunde forskarna replikera målsystemen med relativt låga resurser:

‘[Vår] attacker kan stjäla en kopia av den utsatta modellen som uppnår betydande nedströmsprestanda i färre än 1/5 av de frågor som användes för att träna den utsatta. Mot en utsatt modell som tränats på 1,2M oetiketterade prover från ImageNet, med en 91,9% noggrannhet på den nedströmsiga Fashion-MNIST-klassificeringen, stal vår direkt extraheringsattack med InfoNCE-förlust en kopia av kodaren som uppnår 90,5% noggrannhet i 200K frågor.

‘På samma sätt, mot en utsatt modell som tränats på 50K oetiketterade prover från CIFAR10, med en 79,0% noggrannhet på den nedströmsiga CIFAR10-klassificeringen, stal vår direkt extraheringsattack med SoftNN-förlust en kopia som uppnår 76,9% noggrannhet i 9 000 frågor.’

Forskarna använde tre attackmetoder och fann att ‘Direkt extrahering’ var den mest effektiva. Dessa modeller stal från en lokalt återskapad CIFAR10-offer-kodare med 9 000 frågor från CIFAR10-testuppsättningen. Källa: https://arxiv.org/pdf/2205.07890.pdf

Forskarna noterar också att metoder som är lämpliga för att skydda övervakade modeller från attacker anpassar sig inte väl till modeller som tränats på ett oövervakat sätt – trots att sådana modeller representerar några av de mest efterlängtade och hyllade resultaten från bildsynthesektorn.

Den nya artikeln heter Om svårigheten att försvara självständig inlärning mot modell extrahering och kommer från University of Toronto och Vector Institute for Artificial Intelligence.

Självmedvetenhet

I självständig inlärning tränas en modell på oetiketterade data. Utan etiketter måste en SSL-modell lära sig associationer och grupper från den implicita strukturen i data, söka liknande aspekter av data och gradvis samla in dessa aspekter i noder eller representationer.

Där en SSL-ansats är möjlig, är den otroligt produktiv, eftersom den kringgår behovet av dyra (ofta outsourcade och kontroversiella) kategoriseringar av crowdworkers, och i princip rationaliserar data autonomt.

De tre SSL-ansatserna som övervägs av artikelförfattarna är SimCLR, en Siamese Network; SimSiam, en annan Siamese Network centrerad på representationsinlärning; och Barlow Twins, en SSL-ansats som uppnådde state-of-the-art ImageNet-klassificeringsprestanda vid dess utgivning 2021.

Modell extrahering för etiketterade data (dvs. en modell som tränats genom övervakad inlärning) är ett relativt väl dokumenterat forskningsområde. Det är också lättare att försvara mot, eftersom angriparen måste erhålla etiketterna från den utsatta modellen för att replikera den.

Från en tidigare artikel, en ‘knockoff-klassificerare’-attackmodell mot en övervakad inlärningsarkitektur. Källa: https://arxiv.org/pdf/1812.02766.pdf

Utan vitboxåtkomst är detta inte en trivial uppgift, eftersom den typiska utdata från en API-förfrågan till en sådan modell innehåller mindre information än en typisk SSL-API.

Från artikeln*:

‘Tidigare arbete om modell extrahering fokuserade på den övervakade inlärningsinställningen, där den utsatta modellen vanligtvis returnerar en etikett eller andra lågdimensionella utdata som förtroendepoäng eller logits.

‘I kontrast, SSL-kodare returnerar högdimensionella representationer; den de facto utdata för en ResNet-50 Sim-CLR-modell, en populär arkitektur i vision, är en 2048-dimensionell vektor.

‘Vi hypoteserar att denna betydligt högre informationsläckage från kodare gör dem mer sårbara för extraheringsattacker än SL-modeller.’

Arkitektur och data

Forskarna testade tre tillvägagångssätt för SSL-modellinferens/extrahering: Direkt extrahering, där API-utdata jämförs med en återskapad kodares utdata via en lämplig förlustfunktion som Medelkvadratfel (MSE); återskapande av projiceringshuvudet, där en kritisk analytisk funktion i modellen, vanligtvis bortkastad före distribution, återskapas och används i en replikamodell; och åtkomst till projiceringshuvudet, som endast är möjligt i fall där de ursprungliga utvecklarna har gjort arkitekturen tillgänglig.

I metod #1, Direkt extrahering, jämförs utdata från den utsatta modellen med utdata från en lokal modell; metod #2 innebär att återskapa projiceringshuvudet som användes i den ursprungliga träningsarkitekturen (och vanligtvis inte ingår i en distribuerad modell).

Forskarna fann att Direkt extrahering var den mest effektiva metoden för att erhålla en fungerande kopia av målmodellen, och har den extra fördelen att vara den svåraste att karakterisera som en ‘attack’ (eftersom den i princip beter sig lika som en vanlig och giltig slutanvändare).

Författarna tränade offermodeller på tre bilduppsättningar: CIFAR10, ImageNet, och Stanford’s Street View House Numbers (SVHN). ImageNet tränades på ResNet50, medan CIFAR10 och SVHN tränades på ResNet18 och ResNet24 över en fritt tillgänglig PyTorch-implementation av SimCLR.

Modellernas nedströmsprestanda (dvs. distribuerad prestanda) testades mot CIFAR100, STL10, SVHN och Fashion-MNIST. Forskarna experimenterade också med mer ‘vitbox’-metoder för modell appropriering, men det visade sig att Direkt extrahering, den minst privilegerade metoden, gav de bästa resultaten.

För att utvärdera representationerna som infördes och replikerades i attackerna, lade författarna till ett linjärt prediktionslager till modellen, som finjusterades på den fullständiga etiketterade träningsuppsättningen från den efterföljande (nedströms) uppgiften, med resten av nätverkslagren frysta. På detta sätt kan testnoggrannheten på prediktionslagret fungera som en prestandamätning. Eftersom det bidrar ingenting till inferensprocessen, representerar detta inte ‘vitbox’-funktionalitet.

Resultat från testkörningarna, möjliggjorda av det (icke-bidragande) linjära utvärderingslagret. Noggrannhetspoäng i fetstil.

När de kommenterar resultaten, säger forskarna:

‘Vi finner att det direkta målet att imitera den utsattas representationer ger hög prestanda på nedströmsuppgifter trots att attacken endast kräver en bråkdel (mindre än 15% i vissa fall) av antalet frågor som behövs för att träna den stulna kodaren från början.’

Och fortsätter:

‘[Det] är svårt att försvara kodare som tränats med SSL eftersom utdatarepresentationerna läcker en betydande mängd information. De mest lovande försvarsmetoderna är reaktiva metoder, såsom vattenstämplar, som kan införa specifika förstärkningar i högkapacitetskodare.’

* Min konvertering av artiklens inline-citationer till hyperlänkar.

Publicerad första gången den 18 maj 2022.