Fare in modo che un modello di machine learning si dimentichi di te

Rimuovere un particolare dato che ha contribuito a un modello di machine learning è come cercare di rimuovere il secondo cucchiaio di zucchero da una tazza di caffè. I dati, a questo punto, sono già diventati intrinsecamente collegati a molti altri neuroni all’interno del modello. Se un punto dati rappresenta i dati di "definizione" coinvolti nella prima parte ad alta dimensione dell'addestramento, la sua rimozione può ridefinire radicalmente il funzionamento del modello o addirittura richiedere che venga riaddestrato con un certo dispendio di tempo e soldi.

Tuttavia, almeno in Europa, l'articolo 17 del regolamento generale sulla protezione dei dati (GDPR) richiede che le aziende rimuovano tali dati utente su richiesta. Poiché l'atto è stato formulato con l'intesa che tale cancellazione non sarebbe stata altro che un'interrogazione di 'drop' della banca dati, la normativa destinata a emergere dal Ddl UE Legge sull'intelligenza artificiale sarà efficace copia e incolla lo spirito del GDPR in leggi che si applicano ai sistemi di intelligenza artificiale addestrati piuttosto che ai dati tabulari.

In tutto il mondo si sta valutando un'ulteriore legislazione che darà il diritto agli individui di richiedere la cancellazione dei propri dati dai sistemi di apprendimento automatico, mentre il California Consumer Privacy Act (CCPA) del 2018 prevede già questo diritto ai residenti statali.

Perchè é importante

Quando un set di dati viene addestrato in un modello di machine learning utilizzabile, le caratteristiche di tali dati diventano generalizzate e astratte, perché il modello è progettato per dedurre principi e tendenze generali dai dati, producendo infine un algoritmo che sarà utile per analizzare dati specifici e non generalizzati.

Tuttavia, tecniche come inversione del modello hanno rivelato la possibilità di reidentificare i dati che contribuiscono alla base dell'algoritmo finale astratto, mentre attacchi di inferenza di appartenenza sono anche in grado di esporre i dati di origine, compresi i dati sensibili che potrebbero essere stati inclusi solo in un set di dati sulla base dell'anonimato.

Il crescente interesse per questa ricerca non deve fare affidamento sull'attivismo di base per la privacy: poiché il settore dell'apprendimento automatico si commercializzerà nei prossimi dieci anni e le nazioni subiranno pressioni per porre fine all'attuale cultura del laissez faire rispetto all'uso dello screen scraping per la generazione di set di dati, ci sarà un crescente incentivo commerciale per le organizzazioni che applicano la proprietà intellettuale (e i troll IP) a decodificare e rivedere i dati che hanno contribuito alla classificazione proprietaria e ad alto guadagno, all'inferenza e ai framework di intelligenza artificiale generativa.

Indurre l'amnesia nei modelli di apprendimento automatico

Quindi ci resta la sfida di eliminare lo zucchero dal caffè. È un problema che è stato fastidioso ricercatori negli ultimi anni: nel 2021 il paper sostenuto dall'UE Uno studio comparativo sui rischi per la privacy delle librerie di riconoscimento facciale ha scoperto che diversi popolari algoritmi di riconoscimento facciale erano in grado di consentire la discriminazione basata sul sesso o sulla razza negli attacchi di reidentificazione; nel 2015 ricerca presso la Columbia University proposto un metodo di "disapprendimento automatico" basato sull'aggiornamento di una serie di sommatorie all'interno dei dati; e nel 2019 i ricercatori di Stanford offerto nuovi algoritmi di cancellazione per implementazioni di clustering K-means.

Ora un consorzio di ricerca dalla Cina e dagli Stati Uniti ha pubblicato un nuovo lavoro che introduce una metrica uniforme per valutare il successo degli approcci di cancellazione dei dati, insieme a un nuovo metodo di "disapprendimento" chiamato Forsaken, che secondo i ricercatori è in grado di raggiungere più di 90 % tasso di dimenticanza, con solo una perdita di accuratezza del 5% nelle prestazioni complessive del modello.

carta è chiamato Impara a dimenticare: Machine Unlearning tramite Neuron Masking, e comprende ricercatori provenienti dalla Cina e da Berkeley.

Il mascheramento dei neuroni, il principio alla base di Forsaken, utilizza a gradiente di maschera generatore come filtro per la rimozione di dati specifici da un modello, aggiornandolo in modo efficace piuttosto che costringerlo a riaddestrarlo da zero o da uno snapshot che si è verificato prima dell'inclusione dei dati (nel caso di modelli basati su streaming che sono in continuo aggiornamento).

L'architettura del generatore di gradienti maschera. Fonte: https://arxiv.org/pdf/2003.10933.pdf

Origini biologiche

I ricercatori affermano che questo approccio è stato ispirato dal processo biologico di "oblio attivo", in cui l'utente intraprende un'azione stridente per cancellare tutte le cellule engram per un particolare ricordo mediante la manipolazione di un tipo speciale di dopamina.

Forsaken evoca continuamente un gradiente di maschera che replica questa azione, con protezioni per rallentare o arrestare questo processo al fine di evitare l'oblio catastrofico dei dati non target.

I vantaggi del sistema sono che è applicabile a molti tipi di reti neurali esistenti, mentre recenti lavori simili hanno avuto successo soprattutto nelle reti di visione artificiale; e che non interferisce con le procedure di addestramento del modello, ma piuttosto agisce come un componente aggiuntivo, senza richiedere che l'architettura principale venga modificata o che i dati vengano riqualificati.

Limitare l'effetto

L'eliminazione dei dati forniti può avere un effetto potenzialmente deleterio sulla funzionalità di un algoritmo di apprendimento automatico. Per evitare questo, i ricercatori hanno sfruttato regolarizzazione normativa, una caratteristica del normale addestramento della rete neurale comunemente utilizzata per evitare il sovrallenamento. La particolare implementazione scelta è progettata per garantire che I Rinnegati non manchino di convergere nell'addestramento.

Per stabilire una dispersione di dati utilizzabile, i ricercatori hanno utilizzato dati fuori distribuzione (OOD) (ovvero dati non inclusi nel set di dati effettivo, che imitano i dati "sensibili" nel set di dati effettivo) per calibrare il modo in cui l'algoritmo dovrebbe comportarsi .

Test su set di dati

Il metodo è stato testato su otto set di dati standard e in generale ha raggiunto tassi di oblio vicini o superiori rispetto al riaddestramento completo, con un impatto minimo sull'accuratezza del modello.

Sembra impossibile che il riaddestramento completo su un set di dati modificato possa effettivamente fare peggio di qualsiasi altro metodo, poiché i dati di destinazione sono completamente assenti. Tuttavia, il modello ha a questo punto astratto varie caratteristiche dei dati cancellati in modo "olografico", nel modo in cui (per analogia) una goccia d'inchiostro ridefinisce l'utilità di un bicchiere d'acqua.

In effetti, i pesi del modello sono già stati influenzati dai dati asportati e l'unico modo per rimuovere completamente la sua influenza è riaddestrare il modello dallo zero assoluto, piuttosto che l'approccio molto più rapido di riaddestrare il modello ponderato su un set di dati modificato .