Crearea unui model de învățare automată care să uite despre tine

Îndepărtarea unei anumite piese de date care a contribuit la un model de învățare automată este ca încercarea de a îndepărta a doua linguriță de zahăr dintr-o ceașcă de cafea. Datele, până la acest moment, au devenit deja intrinsec legate de multe alte neuroni din model. Dacă un punct de date reprezintă date “definitorii” care au fost implicate în partea cea mai timpurie, de înaltă dimensiune a antrenamentului, atunci îndepărtarea acestuia poate redesena radical modul în care funcționează modelul, sau chiar poate necesita ca acesta să fie reantrenat la un anumit cost de timp și bani.

Cu toate acestea, în Europa, cel puțin, Articolul 17 din Regulamentul General privind Protecția Datelor (GDPR) cere companiilor să îndepărteze astfel de date ale utilizatorilor la cerere. Deoarece actul a fost formulat pe baza înțelegerii că această ștergere ar fi nu mai mult decât o interogare “drop” a bazei de date, legislația care urmează să apară din Proiectul de act al UE privind Inteligența Artificială va copia efectiv spiritul GDPR în legi care se aplică sistemelor de inteligență artificială antrenate, și nu datelor tabulare.

Se ia în considerare legislație suplimentară în întreaga lume care să acorde indivizilor dreptul de a cere ștergerea datelor lor din sistemele de învățare automată, în timp ce Legea privind Confidențialitatea Consumatorilor din California (CCPA) din 2018 acordă deja acest drept rezidenților statului.

De ce este important

Când un set de date este antrenat într-un model de învățare automată utilizabil, caracteristicile acelor date devin generalizate și abstracte, deoarece modelul este proiectat să inferă principii și tendințe largi din date, producând în cele din urmă un algoritm care va fi util în analiza datelor specifice și nongeneralizate.

Cu toate acestea, tehnici precum inversia modelului au arătat posibilitatea de a reidentifica datele care contribuie la algoritmul final, abstract, în timp ce atacurile de inferență a apartenenței sunt, de asemenea, capabile să expună datele sursă, inclusiv date sensibile care ar fi putut fi incluse într-un set de date numai pe baza anonimității.

Interesul crescând în această urmărire nu trebuie să se bazeze pe activismul pentru confidențialitate de la nivelul comunității: pe măsură ce sectorul de învățare automată se comercializează în următorii zece ani și națiunile se confruntă cu presiunea de a pune capăt culturii actuale laissez faire asupra utilizării extragerii de date pentru generarea setului de date, va exista un stimulent comercial crescând pentru organizațiile care aplică drepturile de proprietate intelectuală (și trollii de proprietate intelectuală) pentru a decoda și examina datele care au contribuit la cadrele de clasificare, inferență și inteligență artificială generativă cu venituri ridicate.

Inducerea amneziei în modelele de învățare automată

Prin urmare, ne confruntăm cu provocarea de a scoate zahărul din cafea. Este o problemă care a chinuit cercetătorii în ultimii ani: în 2021, studiul susținut de UE Un studiu comparativ privind riscurile de confidențialitate ale bibliotecilor de recunoaștere a feței a constatat că mai multe algoritmi de recunoaștere a feței populare erau capabile să permită discriminarea bazată pe sex sau rasă în atacurile de reidentificare; în 2015, cercetătorii de la Universitatea Columbia au propus o metodă de “dezînvățare a mașinii” bazată pe actualizarea unui număr de sume în date; și în 2019, cercetătorii de la Stanford au oferit algoritmi de ștergere noi pentru implementările de clustering K-means.

Acum, un consorțiu de cercetare din China și SUA a publicat o lucrare nouă care introduce o metrică uniformă pentru evaluarea succesului abordărilor de ștergere a datelor, împreună cu o nouă metodă de “dezînvățare” numită Forsaken, pe care cercetătorii o consideră capabilă să atingă o rată de uitare de peste 90%, cu o pierdere de precizie de numai 5% în performanța generală a modelului.

Lucrarea se numește Învățați să uitați: Dezînvățarea mașinii prin mascarea neuronilor și prezintă cercetători din China și Berkeley.

Mascarea neuronilor, principiul din spatele Forsaken, utilizează un generator de gradient de mascare ca filtru pentru îndepărtarea datelor specifice dintr-un model, actualizându-l efectiv în loc să-l forțeze să fie reantrenat fie de la zero, fie de la o imagine care a apărut înainte de includerea datelor (în cazul modelului de flux continuu care este actualizat în mod continuu).

Arhitectura generatorului de gradient de mascare. Source: https://arxiv.org/pdf/2003.10933.pdf

Origini biologice

Cercetătorii afirmă că această abordare a fost inspirată de procesul biologic de “uitare activă”, în care utilizatorul ia măsuri stricte pentru a șterge toate celulele engram pentru o anumită amintire prin manipularea unei tipuri speciale de dopamină.

Forsaken evocă în mod continuu un gradient de mascare care replică această acțiune, cu măsuri de siguranță pentru a încetini sau a opri acest proces pentru a evita uitarea catastrofică a datelor nontarget.

Avantajele sistemului sunt că este aplicabil multor tipuri de rețele neurale existente, în timp ce lucrările recente similare au avut succes în mare parte în rețelele de viziune computerizată; și că nu interferează cu procedurile de antrenament ale modelului, ci mai degrabă acționează ca un adjunct, fără a necesita ca arhitectura de bază să fie modificată sau ca datele să fie reantrenate.

Restricting The Effect

Ștergerea datelor care au contribuit poate avea un efect potențial dăunător asupra funcționalității unui algoritm de învățare automată. Pentru a evita acest lucru, cercetătorii au exploatat norma de regularizare, o caracteristică a antrenamentului normal al rețelelor neurale, care este utilizată în mod obișnuit pentru a evita suprantrenarea. Implementarea specifică aleasă este proiectată pentru a asigura că Forsaken nu eşuează în convergența antrenamentului.

Pentru a stabili o dispersie utilă a datelor, cercetătorii au utilizat datele din afara distribuției (OOD) (adică date care nu au fost incluse în setul de date real, imitând “date sensibile” din setul de date real) pentru a calibra modul în care algoritmul ar trebui să se comporte.

Testarea pe seturi de date

Metoda a fost testată pe opt seturi de date standard și, în general, a obținut rate de uitare aproape de sau mai mari decât reantrenarea completă, cu un impact foarte mic asupra preciziei modelului.

Pare imposibil ca reantrenarea completă pe un set de date editat să poată face mai rău decât orice altă metodă, deoarece datele țintă sunt complet absente. Cu toate acestea, modelul a abstractizat deja diverse caracteristici ale datelor șterse într-un mod “holografic”, în felul în care (prin analogie) o picătură de cerneală redefinește utilitatea unui pahar de apă.

În esență, greutățile modelului au fost deja influențate de datele eliminate, iar singura modalitate de a înlătura complet influența acestora este de a reantrena modelul de la zero absolut, și nu de a reantrena modelul ponderat pe un set de date editat, o abordare mult mai rapidă.