MLaaS: Prevenirea furtului de modele prin API cu autoencoderi variationali

Machine Learning As a Service (MLaaS) comercializează roadele cercetărilor scumpe și a antrenamentului de modele prin intermediul API-urilor care oferă clienților acces la informații din sistem. Deși raționamentul sistemului este inevitabil dezvăluit într-o anumită măsură prin aceste tranzacții, arhitectura de bază a modelului, greutățile care definesc utilitatea modelului și datele specifice de antrenament care l-au făcut util sunt păzite cu strictețe din mai multe motive.

În primul rând, cadrul este probabil să fi exploatat o serie de depozite de cod cu sursă deschisă (FOSS) și potențiali rivali ar putea face la fel în căutarea acelorași scopuri; în al doilea rând, în multe cazuri, greutățile utilizate de modele reprezintă 95% sau mai mult din capacitatea modelului de a interpreta datele de antrenament mai bine decât modelele rivale și, în mod evident, constituie valoarea de bază a investițiilor scumpe, atât în ceea ce privește orele de cercetare, cât și antrenamentul de modele la scară largă și bine dotat pe GPU-uri de industrie.

De asemenea, amestecul de date proprietare și publice din spatele setului de date de antrenament al modelului este o chestiune potențial incendiară: în cazul în care datele sunt “lucrări originale” obținute prin metode costisitoare, capacitatea unui utilizator API de a infera structura sau conținutul datelor prin solicitări API-permise ar putea permite acestuia să reconstruiască esențial valoarea lucrării, fie prin înțelegerea schemei datelor (permițând reproducerea practică), fie prin reproducerea greutăților care orchestrează caracteristicile datelor, ceea ce ar putea permite reproducerea unei arhitecturi “goale” dar eficiente, în care materialul ulterior ar putea fi procesat util.

Spălarea datelor

Mai mult, modul în care datele sunt abstractizate în spațiul latent al modelului de învățare automată în timpul antrenamentului le “spală” efectiv în funcții generalizate care fac dificilă pentru deținătorii de drepturi de autor să înțeleagă dacă lucrările lor originale au fost asimilate fără permisiune într-un model.

Climatul actual laissez faire de pe glob cu privire la această practică este probabil să cadă sub reglementări din ce în ce mai stricte în următorii 5-10 ani. Reglementările proiectate de UE pentru IA conțin deja prevederi cu privire la proveniența datelor și un cadru de transparență care ar face dificilă pentru companiile de colectare a datelor să ocolească reglementările de domeniu cu privire la extragerea de date de pe web în scopuri de cercetare. Alte guverne, inclusiv SUA, se angajează acum să adopte cadre de reglementare similare pe termen lung.

Pe măsură ce domeniul învățării automate evoluează de la o cultură de demonstrație a conceptului la o ecostructură comercială viabilă, modelele de învățare automate care se dovedesc a fi încălcate restricțiile privind datele, chiar și în versiunile anterioare ale produselor, ar putea găsi expunere legală.

Prin urmare, riscul de a infera surse de date prin apeluri API se referă nu numai la spionajul industrial prin inversarea modelului și alte metode, ci și la metodele de urmărire a proprietății intelectuale care ar putea fi aplicate companiilor după ce “epoca de vest a învățării automate” se va încheia.

Exfiltrarea prin API ca mijloc de a dezvolta atacuri adverse

Unele cadre de învățare automată actualizează în mod constant datele de antrenament și algoritmii, mai degrabă decât derivă un model definitiv și pe termen lung dintr-un corpus mare de date istorice (cum ar fi GPT-3, de exemplu). Acestea includ sisteme legate de informații despre trafic și alte sectoare în care datele în timp real sunt critice pentru valoarea continuă a unui serviciu bazat pe IA.

Dacă logica sau greutățile unui model pot fi “hărțite” prin sondarea sistematică a acestuia prin intermediul API-urilor, aceste factori pot fi posibil transformați împotriva sistemului sub forma unor atacuri adverse, în care datele create în mod malign pot fi lăsate în sălbăticie, în zone în care sistemul țintă este probabil să le preia; sau prin infiltrarea rutinelor de achiziție a datelor prin alte metode.

Prin urmare, măsurile împotriva hărțuirii prin API au implicații și pentru securitatea modelelor de învățare automată.

Prevenirea exfiltrării prin API

Au apărut o serie de inițiative de cercetare în ultimii ani pentru a oferi metodologii care pot preveni inferența arhitecturii modelului și a datelor specifice prin apeluri API. Ultima dintre acestea este prezentată într-un preprint colaborativ între cercetători de la Institutul Indian de Știință de la Bangalore și Nference, o platformă de software bazată pe IA, cu sediul în Cambridge, Massachusetts.

Intitulat Detectarea cu stare a atacurilor de extragere a modelului, cercetarea propune un sistem numit VarDetect, pentru care codul preliminar a fost făcut disponibil pe GitHub.

Rulând pe partea de server, VarDetect monitorizează în mod continuu solicitările utilizatorilor către un API, căutând trei tipuri distincte de atacuri de extragere a modelului. Cercetătorii raportează că VarDetect este primul mecanism de apărare de acest fel care face față tuturor celor trei tipuri. În plus, poate contracara măsurile de contraatac ale atacatorilor care devin conștienți de un mecanism de apărare și care încearcă să-l învingă prin ascunderea tiparelor de atac cu pauze sau prin creșterea volumului de solicitări pentru a ascunde cererile care încearcă să creeze o hartă a modelului.

Arhitectura VarDetect. Sursă: https://arxiv.org/pdf/2107.05166.pdf

VarDetect utilizează autoencoderi variationali (VAE) pentru a crea în mod eficient o sondă evaluativă de tip heuristici pentru solicitările care sosesc. În contrast cu metodele anterioare, sistemul este antrenat pe date proprietare, eliminând nevoia de acces la datele atacatorilor, o slăbiciune a abordărilor anterioare și un scenariu puțin probabil.

Modelul personalizat proiectat pentru proiect este derivat din trei seturi de date publice sau abordări disponibile: lucrarea dezvoltată în 2016 de Institutul Federal Elvețian de Tehnologie și Cornell Tech; prin adăugarea de zgomot la datele “domeniului problemelor”, așa cum a fost demonstrat pentru prima dată în articolul PRADA din 2017 din Finlanda; și prin trecerea prin imagini publice, inspirat de cercetarea ActiveThief 2020 de la Institutul Indian de Știință.

O comparație a mostrelor de date benigne și ‘maligne’ în cele cinci seturi de date utilizate în VarDetect.

Distribuțiile de frecvență care corespund caracteristicilor din setul de date încorporat vor fi marcate ca semnale de extragere.

Cercetătorii recunosc că tiparele obișnuite de solicitări de la utilizatori benini pot declanșa în mod potențial false pozitive în sistem, împiedicând utilizarea normală. Prin urmare, astfel de semnale “sigure” percepute pot fi adăugate ulterior la setul de date VarDetect, fiind incorporate în algoritm prin intermediul unui program de antrenament în derulare, în funcție de preferințele sistemului gazdă.