Crearea unui model de învățare automată care să uite despre tine

Eliminarea unei anumite piese de date care a contribuit la un model de învățare automată este similară cu încercarea de a elimina a doua linguriță de zahăr dintr-o ceașcă de cafea. Datele, până la acest moment, au devenit deja legate în mod intrinsec de multe alte neuroni din model. Dacă un punct de date reprezintă date “definitorii” care au fost implicate în partea inițială, de înaltă dimensiune, a antrenamentului, atunci eliminarea lor poate redesena radical modul în care funcționează modelul sau poate necesita ca acesta să fie reantrenat la o cheltuială de timp și bani.

În ciuda acestui fapt, în Europa, cel puțin, Articolul 17 din Regulamentul General privind Protecția Datelor (GDPR) cere companiilor să elimine astfel de date ale utilizatorilor la cerere. Deoarece actul a fost formulat pe baza înțelegerii că această ștergere va fi nu mai mult decât o interogare “drop” a bazei de date, legislația care urmează să apară din Proiectul de lege al UE privind inteligența artificială va copia și lipi spiritul GDPR în legi care se aplică sistemelor de inteligență artificială antrenate, și nu datelor tabulare.

Mai multă legislație este în curs de examinare în întreaga lume, care va da dreptul indivizilor să ceară ștergerea datelor lor din sistemele de învățare automată, în timp ce Legea privind confidențialitatea consumatorilor din California (CCPA) din 2018 acordă deja acest drept rezidenților statului.

De ce este important

Când un set de date este antrenat într-un model de învățare automată funcțional, caracteristicile acelor date devin generalizate și abstracte, deoarece modelul este proiectat să deducă principii și tendințe largi din date, producând în cele din urmă un algoritm care va fi util în analiza datelor specifice și nongeneralizate.

Însă, tehnici precum inversia modelului au arătat posibilitatea de a reidentifica datele care contribuie la algoritmul final, abstract, în timp ce atacurile de inferență a apartenenței pot expune, de asemenea, datele sursă, inclusiv date sensibile care ar fi putut fi incluse în setul de date doar pe baza anonimității.

Interesul crescând pentru această urmărire nu trebuie să se bazeze pe activismul pentru confidențialitate la nivel de bază: pe măsură ce sectorul învățării automate se comercializează în următorii zece ani și națiunile se confruntă cu presiunea de a pune capăt culturii actuale laissez faire asupra utilizării “scraping-ului” de ecran pentru generarea setului de date, va exista un stimulent comercial tot mai mare pentru organizațiile care aplică drepturile de proprietate intelectuală (și “troll-ii” de drepturi de proprietate intelectuală) pentru a decoda și examina datele care au contribuit la cadrele de inteligență artificială clasificatoare, inferențiale și generative cu venituri mari.

Inducerea amneziei în modelele de învățare automată

Prin urmare, ne rămâne cu provocarea de a scoate zahărul din cafea. Este o problemă care a vexat cercetătorii în ultimii ani: în 2021, studiul susținut de UE Un studiu comparativ privind riscurile de confidențialitate ale bibliotecilor de recunoaștere a feței a constatat că mai multe algoritmi de recunoaștere a feței populare erau capabili să permită discriminarea bazată pe sex sau rasă în atacurile de reidentificare; în 2015, cercetătorii de la Universitatea Columbia au propus o metodă de “dezînvățare a mașinii” bazată pe actualizarea unui număr de sumări în date; și în 2019, cercetătorii de la Stanford au oferit algoritmi de ștergere noi pentru implementări de clustering K-means.

Acum, un consorțiu de cercetare din China și Statele Unite a publicat o lucrare nouă care introduce o metrică uniformă pentru evaluarea succesului abordărilor de ștergere a datelor, împreună cu o nouă metodă de “dezînvățare” numită Forsaken, pe care cercetătorii o consideră capabilă să atingă o rată de uitare de peste 90%, cu o pierdere de precizie de numai 5% în performanța generală a modelului.

Lucrarea se numește Învață să uiți: Dezînvățarea mașinii prin mascarea neuronilor și prezintă cercetători din China și Berkeley.

Principiul mascării neuronilor, care stă la baza Forsaken, utilizează un generator de gradient de mască ca filtru pentru eliminarea datelor specifice dintr-un model, actualizându-l în mod eficient, fără a fi nevoie de reantrenarea acestuia de la zero sau de la o copie care a precedat includerea datelor (în cazul modelelor bazate pe fluxuri care sunt actualizate în mod continuu).

Arhitectura generatorului de gradient de mască. Sursă: https://arxiv.org/pdf/2003.10933.pdf

Origini biologice

Cercetătorii afirmă că această abordare a fost inspirată de procesul biologic de “uitare activă”, în care utilizatorul ia măsuri stricte pentru a șterge toate celulele engram pentru o anumită amintire prin manipularea unui tip special de dopamină.

Forsaken evocă în mod continuu un gradient de mască care replică această acțiune, cu măsuri de siguranță pentru a încetini sau a opri acest proces, pentru a evita uitarea catastrofică a datelor nontarget.

Avantajele sistemului sunt că este aplicabil pentru multe tipuri de rețele neuronale existente, în timp ce lucrările recente similare au avut succes în mare parte în rețelele de viziune computerizată; și că nu interferează cu procedurile de antrenament ale modelului, ci acționează ca un adjunct, fără a necesita ca arhitectura de bază să fie modificată sau datele reantrenate.

Restrictarea efectului

Ștergerea datelor contributive poate avea un efect potențial dăunător asupra funcționalității unui algoritm de învățare automată. Pentru a evita acest lucru, cercetătorii au exploatat regularizarea normei, o caracteristică a antrenamentului normal al rețelelor neuronale, care este utilizată în mod obișnuit pentru a evita suprantrenarea. Implementarea specifică aleasă este proiectată pentru a se asigura că Forsaken nu eşuează în a converge în timpul antrenamentului.

Pentru a stabili o dispersie utilă a datelor, cercetătorii au utilizat date din afara distribuției (OOD) (adică, date care nu au fost incluse în setul de date real, imitând “date sensibile” din setul de date real) pentru a calibra modul în care algoritmul ar trebui să se comporte.

Testarea pe seturi de date

Metoda a fost testată pe opt seturi de date standard și, în general, a atins rate de uitare apropiate sau mai mari decât reantrenarea completă, cu un impact foarte mic asupra preciziei modelului.

Se pare imposibil ca reantrenarea completă pe un set de date editat să poată face mai rău decât orice altă metodă, deoarece datele țintă sunt complet absente. Cu toate acestea, modelul a abstractizat, până la acest moment, diverse caracteristici ale datelor șterse într-un mod “holografic”, în felul în care (prin analogie) o picătură de cerneală redefinește utilitatea unei cești de apă.

În efect, greutățile modelului au fost deja influențate de datele eliminate, iar singura modalitate de a elimina complet influența lor este de a reantrena modelul de la zero absolut, și nu de a reantrena modelul ponderat pe un set de date editat, o abordare mult mai rapidă.