MLaaS: Estäen API-käyttöön perustuva mallin varastointi Variational Autoencodereilla

Koneoppimisen palveluna (MLaaS) kommodisoi kalliiden tutkimusten ja mallikoulutuksen hedelmät asiakkaille API:n kautta, joka antaa asiakkaille pääsyn järjestelmän oivalluksiin. Vaikka järjestelmän päättely paljastetaan vääjäämättä jossain määrin näiden transaktioiden kautta, mallin ydinarkkitehtuuri, mallin hyödyllisyyttä määrittävät painot ja mallin hyödyllisyyttä luoneet koulutusdatat ovat tarkkaan suojattuina useista syistä.

Ensinnäkin, kehyksessä on todennäköisesti hyödynnetty useita ilmaisia tai avoimia (FOSS) koodirepositorioita, ja potentiaaliset kilpailijat voivat helposti tehdä samoin samojen päämäärien saavuttamiseksi; toiseksi, useissa tapauksissa mallin käyttämät painot edustavat 95 % tai enemmän mallin kyvystä tulkita koulutusdataa paremmin kuin kilpailevat mallit, ja ne muodostavat todennäköisesti kalliiden investointien ydinarvon sekä tutkimustuntien että laajamittaisen, hyvin resursoidun mallikoulutuksen osalta teollisuusluokan GPU:illa.

Lisäksi mallin koulutusaineistoon liittyvän julkisen ja omistajan datan sekoitus on potentiaalisesti räjähdysväline: jos data on “alkuperäistä” työtä, joka on hankittu kalliiden menetelmien kautta, API-käyttäjän kyky päätellä datan rakennetta tai sisältöä API-sallituilla pyynnöillä voi antaa heille mahdollisuuden käytännössä rekonstruoida työn arvoa joko ymmärtämällä datan skeeman (jolloin voidaan tehdä käytännön rekonstruktio) tai toistamalla painot, jotka orkestroivat datan ominaisuuksia, mikä mahdollisesti sallii “tyhjän” mutta tehokkaan arkkitehtuurin, johon voidaan myöhemmin käsitellä hyödyllistä materiaalia.

Datahuuhdanta

Lisäksi tapa, jolla data abstrahoidaan koneoppimismallin latenttiavaruudessa koulutuksen aikana, “huuhdantaa” sen yleistetyiksi funktioiksi, jotka tekevät siitä vaikeaa tekijänoikeudenhaltijoille ymmärtää, onko heidän alkuperäistä työtään assimiloitu ilman lupaa malliin.

Nykyinen laissez faire -ilmapiiri maailmalla tämän käytännön suhteen on todennäköisesti joutumassa yhä voimakkaampiin sääntelyihin seuraavien 5-10 vuoden aikana. EU:n luonnos AI-sääntelystä sisältää jo määräyksiä datan alkuperästä ja oletetun avoimuuskehyksen, joka tekee siitä vaikeaa datan kerääjille kiertää verkkokäyttöön liittyviä sääntelyjä tutkimustarkoituksiin. Muiden hallitusten, mukaan lukien Yhdysvallat, on nyt sitoutunut samankaltaisiin sääntelykehyksiin pitkällä aikavälillä.

Koneoppimisen ala kehittyy osoitustodistekulttuurista kaupalliseksi ekosysteemiksi, ja ML-mallit, joilla on havaittu rikkoavan datan käyttöön liittyviä rajoituksia, vaikka vain aiemmissa tuotteidensa versioissa, voivat löytää itsensä laillisesti alttiina.

Siten datalähteen päättelemisen riski API-kutsujen kautta liittyy ei vain teollisuusvakoiluun mallin kääntämisen ja muiden menetelmien kautta, vaan myös kehittyviin oikeudellisiin menetelmiin immateriaalioikeuksien suojaamiseksi, jotka voivat vaikuttaa yrityksiin koneoppimisen “villien lännen” -aikakauden päättymisen jälkeen.

API-käyttöön perustuva tiedon salamisen esto kehittämiseksi vastustuskykyiseksi hyökkäykseksi

Jotkut koneoppimiskehykset päivittävät jatkuvasti koulutusdataa ja algoritmejaan eikä johda määrättyä, pitkäaikaista yhtä mallia suuresta historiallisesta datavirrasta (kuten GPT-3:ssa). Niihin kuuluvat järjestelmät, jotka liittyvät liikenneinformaatioon ja muihin aloihin, joissa reaaliaikainen data on välttämätöntä ML-palvelun jatkuvan arvon kannalta.

Jos mallin logiikkaa tai data-painotusta voidaan “kartoittaa” systemaattisesti kysymällä sitä API:n kautta, nämä tekijät voidaan kääntää järjestelmää vastaan vastustuskykyisen hyökkäyksen muodossa, jossa väärinkäytöksi tarkoitetut datat voidaan jättää villiin, alueisiin, joissa kohdejärjestelmä todennäköisesti löytää ne; tai tunkeutumalla datahankintamenetelmiin muilla tavoilla.

Siten API-keskeisten kartoitusten estoilla on vaikutuksia myös koneoppimismallien turvallisuuteen.

API-käyttöön perustuvan tiedon salamisen esto

Useita tutkimushankkeita on kehitetty viime vuosina tarjoamaan menetelmiä, joilla voidaan estää mallin arkkitehtuurin ja tietyn lähdedatan päättelemistä API-kutsujen kautta. Uusin näistä on esitetty esitutkimusyhteistyössä Intian tieteen instituutin tutkijoiden ja Nferencen, Cambridgen, Massachusettsin AI-pohjaisen ohjelmistokehyksen välillä.

Tutkimuksessa ehdotetaan järjestelmää nimeltä VarDetect, josta on julkaistu alkuperäinen koodi GitHubissa.

VarDetect toimii palvelimella ja seurataan jatkuvasti käyttäjien pyynnöitä API:lle etsimällä kolmea erilaista toistuvaa mallin salamis hyökkäyskuviota. Tutkijat ilmoittavat, että VarDetect on ensimmäinen puolustusmekanismi, joka kestää kaikki kolme kuviota. Se voi myös torjua hyökkääjien vastatoimet, jotka tulevat tietoisiksi puolustusmekanismista ja yrittävät voittaa sen piilottamalla hyökkäyskuviot taukojen avulla tai lisäämällä pyyntöjen määrää, jotta pyynnöt, jotka yrittävät luoda kartan mallista, voidaan peittää.

VarDetect-arkkitehtuuri. Lähde: https://arxiv.org/pdf/2107.05166.pdf

VarDetect käyttää Variational Autoencodereita (VAE) luomaan heuristiikkaa muistinomaisen arviointityökalun saapuville pyynnöille. Toisin kuin aiemmat menetelmät, järjestelmä on koulutettu omistajien datalla, mikä poistaa tarpeen pääsyä hyökkääjien dataan, jonka aiemmat lähestymistavat olivat heikkoja ja epätodennäköisiä.

Hankkeen mukainen mukautettu malli perustuu kolmeen julkisiin tietokantoihin tai lähestymistapoihin: työhön, jonka Sveitsin liittokansallinen teknillinen korkeakoulu ja Cornell Tech kehittivät vuonna 2016; lisäämällä melua “ongelma-alueen” dataan, kuten ensimmäisen kerran todettiin vuoden 2017 PRADA-tutkimuksessa Suomesta; ja etsimällä julkisia kuvia, inspiraationa ActiveThief -tutkimuksesta Intian tieteen instituutista vuonna 2020.

Vertailu harmiton ja “pahantahtoinen” otosdatan näytteistä VarDetectissa käytetyistä viidestä tietokannasta.

<p-Taajuusjakaumat, jotka vastaavat tietokannan ominaisuuksia, merkitään poistumismerkeiksi.

Tutkijat myöntävät, että tavalliset pyyntökuvat harmittomilta loppukäyttäjiltä voivat aiheuttaa virheellisiä positiivisia tuloksia järjestelmässä, estäen normaalin käytön. Siksi nämä kohteen “turvalliset” signaalit voidaan myöhemmin lisätä VarDetect-tietokantaan, ja ne voidaan sisällyttää algoritmiin kierron koulutusohjelman mukaan, riippuen isäntäjärjestelmän asetuksista.