MLaaS: API-gedreven modeldiefstal voorkomen met Variational Autoencoders

Machine Learning As a Service (MLaaS) maakt de resultaten van dure onderzoek en modeltraining via API’s toegankelijk voor klanten, waardoor ze inzicht kunnen krijgen in het systeem. Hoewel de redenering van het systeem onvermijdelijk tot op zekere hoogte wordt onthuld via deze transacties, worden de kernarchitectuur van het model, de gewichten die de bruikbaarheid van het model bepalen en de specifieke trainingsdata die het nuttig maken, uit angst voor verschillende redenen angstvallig bewaard.

Ten eerste is het kader waarschijnlijk gebaseerd op een aantal gratis of open-source (FOSS) coderepositories, en potentiële rivalen kunnen dit eveneens doen om dezelfde doelen na te streven; ten tweede vertegenwoordigen de gewichten die door de modellen worden gebruikt in veel gevallen 95% of meer van de mogelijkheid van het model om trainingsdata beter te interpreteren dan rivaliserende modellen, en vormen ze mogelijk de kernwaarde van een dure investering, zowel in termen van onderzoeksuren als in grote, goed uitgeruste modeltraining op industrie-grade GPU’s.

Bovendien is de combinatie van propriëtaire en openbaar toegankelijke data achter de trainingsdataset van het model een potentieel brandbaar onderwerp: waar de data ‘oorspronkelijk’ werk is dat op kosten is verkregen, kan de mogelijkheid van een API-gebruiker om de datstructuur of -inhoud af te leiden via API-toegestane verzoeken hen in wezen in staat stellen de waarde van het werk te reconstrueren, hetzij door de schema van de data te begrijpen (waardoor praktische reproductie mogelijk wordt), hetzij door de gewichten te reproduceren die de kenmerken van de data orkestreren, wat potentieel de reproductie van een ‘leeg’ maar effectief architectuur mogelijk maakt, waarin vervolgens materiaal nuttig kan worden verwerkt.

Gegevenswassen

Verder wordt de manier waarop data wordt geabstraheerd in de latent space van het machine learning-model tijdens de training het in wezen ‘gewassen’ in gegeneraliseerde functies die het moeilijk maken voor auteursrechthouders om te begrijpen of hun oorspronkelijke werk zonder toestemming in een model is opgenomen.

De huidige laissez faire-klimaat over de hele wereld met betrekking tot deze praktijk zal waarschijnlijk in de komende 5-10 jaar onder steeds zwaardere regulering vallen. De conceptregels van de EU voor AI bevatten al bepalingen over de herkomst van data en een vermeend transparantiekader dat het moeilijk zou maken voor dataverzamelingsbedrijven om domeinregels over webscraping voor onderzoeksdoeleinden te omzeilen. Andere regeringen, waaronder de VS, verbinden zich nu aan soortgelijke regelgevingskaders op lange termijn.

Naarmate het machine learning-veld evolueert van een proof-of-concept-cultuur naar een levensvatbare commerciële ecostructuur, kunnen ML-modellen die inbreuk maken op beperkingen van data, zelfs in veel eerdere iteraties van hun producten, zich mogelijk juridisch blootgesteld zien.

Derhalve houdt het risico van het afleiden van gegevensbronnen via API-aanroepen niet alleen verband met industriële spionage via modelomkering en andere methoden, maar ook met opkomende forensische methoden voor IP-bescherming die mogelijk op bedrijven neerkomen nadat de ‘wilde west’-periode van machine learning-onderzoek ten einde loopt.

API-gedreven exfiltratie als middel om een adversarial aanval te ontwikkelen

Sommige machine learning-kaders werken de trainingsdata en algoritmen constant bij, in plaats van een definitief, langdurig enkel model af te leiden uit een grote historische gegevensverzameling (zoals bij GPT-3). Dit omvat systemen die verband houden met verkeersinformatie en andere sectoren waar real-time data essentieel is voor de voortdurende waarde van een ML-gedreven dienst.

Als de logica of gegevensgewicht van een model kan worden ‘gekaart’ door het systeem systematisch te polleren via API’s, kunnen deze factoren mogelijk tegen het systeem worden gebruikt in de vorm van adversarial aanvallen, waarbij kwaadwillig vervaardigde data in het wild kan worden achtergelaten op plaatsen waar het doelsysteem deze waarschijnlijk oppikt; of door de gegevensverwervingsroutines te infiltreren met andere methoden.

Derhalve hebben maatregelen tegen API-gecentreerde mapping ook implicaties voor de beveiliging van machine learning-modellen.

API-gedreven exfiltratie voorkomen

Er zijn in de afgelopen jaren verschillende onderzoeksinitiatieven ontstaan om methoden te bieden die de afleiding van modelarchitectuur en specifieke brondata via API-aanroepen kunnen voorkomen. De laatste hiervan wordt uitgelegd in een preprint-samenwerking tussen onderzoekers van het Indian Institute of Science in Bangalore en Nference, een AI-gebaseerd softwareplatform gevestigd in Cambridge, Massachusetts.

De onderzoeksstudie, getiteld Stateful Detection of Model Extraction Attacks, stelt een systeem voor dat VarDetect heet, waarvoor voorlopige code beschikbaar is gesteld op GitHub.

VarDetect werkt op de server en bewaakt voortdurend gebruikersaanvragen naar een API, waarbij het drie verschillende patronen van herhaalde model-extractieaanvallen zoekt. De onderzoekers melden dat VarDetect het eerste verdedigingsmechanisme van zijn soort is dat het tegen alle drie kan opnemen. Bovendien kan het de tegenmaatregelen van aanvallers die zich bewust worden van een verdedigingsmechanisme en die proberen het te verslaan door de aanvalspatronen te verbergen met pauzes of door het volume van aanvragen te verhogen om de verzoeken die proberen een kaart van het model te maken te verhullen.

De VarDetect-architectuur. Bron: https://arxiv.org/pdf/2107.05166.pdf

VarDetect gebruikt Variational Autoencoders (VAE’s) om effectief een heuristiekstijl evaluatie-sonde voor inkomende verzoeken te creëren. In tegenstelling tot eerdere methoden is het systeem getraind op propriëtaire data, waardoor de noodzaak voor toegang tot aanvallersdata, een zwakte van eerdere benaderingen, en een onwaarschijnlijke situatie, wordt geëlimineerd.

Het aangepaste model dat voor het project is ontwikkeld, is afgeleid van drie openbaar beschikbare datasets of benaderingen: het werk dat in 2016 is ontwikkeld door de Zwitserse Federale Technische Hochschule en Cornell Tech; door ruis toe te voegen aan ‘probleemdomein’-data, zoals voor het eerst aangetoond in de PRADA-paper uit 2017 uit Finland; en door openbaar toegankelijke afbeeldingen te crawlen, geïnspireerd door de ActiveThief 2020 onderzoek van het Indian Institute of Science.

Een vergelijking van benigne en ‘kwaadwillige’ gegevenssamples over de vijf datasets die in VarDetect worden gebruikt.

Frequentieverdelingen die overeenkomen met kenmerken uit de onboard-dataset worden gemarkeerd als extractiesignalen.

De onderzoekers geven toe dat gewone aanvraagpatronen van benigne eindgebruikers mogelijk vals-positieve resultaten in het systeem kunnen veroorzaken, waardoor normaal gebruik wordt voorkomen. Derhalve kunnen dergelijke vermeende ‘veilige’ signalen mogelijk later worden toegevoegd aan de VarDetect-dataset, waardoor ze in het algoritme worden opgenomen via een rollende trainschema, afhankelijk van de voorkeuren van het host-systeem.