Het stelen van machine learning-modellen via API-uitvoer

Nieuw onderzoek uit Canada biedt een mogelijke methode waarmee aanvallers de resultaten van dure machine learning-kaders kunnen stelen, zelfs als de enige toegang tot een propriëtaire systeem via een sterk gesaniteerde en ogenschijnlijk goed verdedigde API (een interface of protocol dat gebruikersaanvragen server-side verwerkt en alleen de uitvoerreactie retourneert) is.

Terwijl het onderzoekssector steeds meer kijkt naar het monitoren van dure modeltraining via Machine Learning as a Service (MLaaS)-implementaties, suggereert het nieuwe onderzoek dat Self-Supervised Learning (SSL)-modellen kwetsbaarder zijn voor dit type model-exfiltratie, omdat ze zonder gebruikerslabels worden getraind, waardoor extractie wordt vereenvoudigd, en typisch resultaten opleveren die veel nuttige informatie bevatten voor iemand die de (verborgen) bronmodel wilt repliceren.

In ‘black box’-testsimulaties (waar de onderzoekers zichzelf geen meer toegang tot een lokale ‘slachtoffer’-model gaven dan een typische eindgebruiker zou hebben via een web-API), konden de onderzoekers de doelsystemen repliceren met relatief lage middelen:

‘[Onze] aanvallen kunnen een kopie van het slachtoffermodel stelen dat aanzienlijke downstream-prestaties behaalt in minder dan 1/5 van de queries die worden gebruikt om het slachtoffer te trainen. Tegen een slachtoffermodel getraind op 1,2M ongelabelde samples van ImageNet, met een nauwkeurigheid van 91,9% op de downstream Fashion-MNIST-classificatietaken, stal onze directe extractieaanval met de InfoNCE-verlies een kopie van de encoder die 90,5% nauwkeurigheid behaalt in 200K queries.

‘Soortgelijk, tegen een slachtoffer getraind op 50K ongelabelde samples van CIFAR10, met een nauwkeurigheid van 79,0% op de downstream CIFAR10-classificatietaken, stal onze directe extractieaanval met de SoftNN-verlies een kopie die 76,9% nauwkeurigheid behaalt in 9.000 queries.’

De onderzoekers gebruikten drie aanvalsmethoden, waarbij ‘Direct Extraction’ de meest effectieve bleek. Deze modellen werden gestolen van een lokaal gerecreëerd CIFAR10-slachtoffer-encoder met 9.000 queries van de CIFAR10-testset. Bron: https://arxiv.org/pdf/2205.07890.pdf

De onderzoekers merken ook op dat methoden die zijn ontworpen om gesuperviseerde modellen te beschermen tegen aanvallen, niet goed aansluiten bij modellen die op ongesuperviseerde basis zijn getraind – zelfs als dergelijke modellen enkele van de meest verwachte en gevierde resultaten van de beeldsynthesector vertegenwoordigen.

Het nieuwe artikel heeft als titel Over de moeilijkheid van het verdedigen van Self-Supervised Learning tegen model-extractie, en komt van de Universiteit van Toronto en het Vector Institute for Artificial Intelligence.

Self-Awareness

Bij Self-Supervised Learning wordt een model getraind op ongelabelde gegevens. Zonder labels moet een SSL-model associaties en groepen leren uit de impliciete structuur van de gegevens, waarbij het zoekt naar gelijkaardige facetten van de gegevens en deze geleidelijk aan corrigeert in knooppunten of representaties.

Waar een SSL-benadering haalbaar is, is het enorm productief, omdat het de noodzaak omvat om dure (vaak uitbesteed en omstreden) categorisatie door crowdworkers te omzeilen, en de gegevens feitelijk rationeel maakt.

De drie SSL-benaderingen die in het nieuwe artikel worden overwogen, zijn SimCLR, een Siamese Network; SimSiam, een andere Siamese Network gericht op representatielearning; en Barlow Twins, een SSL-benadering die state-of-the-art ImageNet-classificatieprestaties behaalde bij de release in 2021.

Model-extractie voor gelabelde gegevens (d.w.z. een model getraind via gesuperviseerd leren) is een relatief goed gedocumenteerd onderzoeksgebied. Het is ook gemakkelijker om te verdedigen, omdat de aanvaller de labels van het slachtoffermodel moet verkrijgen om het te repliceren.

Een ‘knockoff classifier’-aanvalmodel tegen een gesuperviseerd leren-architectuur. Bron: https://arxiv.org/pdf/1812.02766.pdf

Zonder white-box-toegang is dit geen triviale taak, omdat de typische uitvoer van een API-aanvraag voor een dergelijk model minder informatie bevat dan met een typische SSL-API.

Uit het artikel*:

‘Eerder onderzoek naar model-extractie richtte zich op de gesuperviseerde leren (SL)-instelling, waarbij het slachtoffermodel typisch een label of andere laagdimensionale uitvoer retourneert, zoals vertrouwensscores of logits.

‘In tegenstelling tot SSL-encoders, die hoogdimensionale representaties retourneren; de de facto uitvoer voor een ResNet-50 Sim-CLR-model, een populaire architectuur in visie, is een 2048-dimensionale vector.

‘We gaan ervan uit dat deze significant hogere informatie-uitstroom van encoders ze kwetsbaarder maakt voor extractieaanvallen dan SL-modellen.’

Architectuur en gegevens

De onderzoekers testten drie benaderingen voor SSL-model-inferentie/extractie: Direct Extraction, waarbij de API-uitvoer wordt vergeleken met de uitvoer van een gerecreëerde encoder via een geschikte verliesfunctie, zoals Mean Squared Error (MSE); het opnieuw maken van de projectie-header, waarbij een cruciale analytische functionaliteit van het model, normaal gesproken verwijderd voordat het wordt geïmplementeerd, opnieuw wordt samengesteld en gebruikt in een replica-model; en toegang tot de projectie-header, die alleen mogelijk is in gevallen waarin de oorspronkelijke ontwikkelaars de architectuur beschikbaar hebben gemaakt.

In methode #1, Direct Extraction, wordt de uitvoer van het slachtoffermodel vergeleken met de uitvoer van een lokaal model; methode #2 omvat het opnieuw maken van de projectie-header die in de oorspronkelijke trainingsarchitectuur wordt gebruikt (en meestal niet is opgenomen in een geïmplementeerd model).

De onderzoekers vonden dat Direct Extraction de meest effectieve methode was om een functionele replica van het doelmodel te verkrijgen en het voordeel had dat het het moeilijkst was om te karakteriseren als een ‘aanval’ (omdat het weinig anders gedraagt dan een typische en valide eindgebruiker).

De auteurs trainden slachtoffermodellen op drie beeldgegevenssets: CIFAR10, ImageNet, en Stanford’s Street View House Numbers (SVHN). ImageNet werd getraind op ResNet50, terwijl CIFAR10 en SVHN werden getraind op ResNet18 en ResNet24 over een vrij beschikbare PyTorch-implementatie van SimCLR.

De downstream (d.w.z. geïmplementeerde) prestaties van de modellen werden getest tegen CIFAR100, STL10, SVHN, en Fashion-MNIST. De onderzoekers experimenteerden ook met meer ‘white box’-methoden van model-overname, hoewel het bleek dat Direct Extraction, de minst bevoorrechte benadering, de beste resultaten opleverde.

Om de representaties die worden afgeleid en gerepliceerd in de aanvallen te evalueren, voegden de auteurs een lineaire voorspellingslaag toe aan het model, die werd gefinetuned op de volledige gelabelde trainingsset van de volgende (downstream)-taak, met de rest van de netwerklaag bevroren. Op deze manier kan de testnauwkeurigheid op de voorspellingslaag fungeren als een metric voor prestaties. Aangezien het niets bijdraagt aan het inferentieproces, vertegenwoordigt dit geen ‘white box’-functionaliteit.

Resultaten van de testruns, mogelijk gemaakt door de (niet-bijdragende) Lineaire Evaluatielaag. Nauwkeurigheidsscores in vet.

In commentaar op de resultaten, stellen de onderzoekers:

‘We vinden dat het directe doel van het imiteren van de representaties van het slachtoffer hoge prestaties oplevert op downstream-taken, ondanks dat de aanval slechts een fractie (minder dan 15% in bepaalde gevallen) van het aantal queries nodig heeft dat nodig is om het gestolen encoder in de eerste plaats te trainen.’

En vervolgen:

‘[Het] is moeilijk om encoders getraind met SSL te verdedigen, omdat de uitvoerrepresentaties een aanzienlijke hoeveelheid informatie lekken. De meest veelbelovende verdedigingen zijn reactieve methoden, zoals watermerken, die specifieke augmentaties kunnen embedden in high-capacity encoders.’

* Mijn conversie van de inline citaten van het artikel naar hyperlinks.

Publicatie op 18 mei 2022.