Fare in modo che un modello di apprendimento automatico dimentichi di te

Rimuovere un particolare pezzo di dati che ha contribuito a un modello di apprendimento automatico è come cercare di rimuovere il secondo cucchiaio di zucchero da una tazza di caffè. I dati, a questo punto, sono già diventati intrinsecamente legati a molti altri neuroni all’interno del modello. Se un punto di dati rappresenta dati “definitori” che sono stati coinvolti nella parte iniziale, ad alta dimensionalità, dell’addestramento, allora rimuoverlo può ridefinire radicalmente il modo in cui funziona il modello, o addirittura richiedere che venga riaddestrato a spese di tempo e denaro.

Tuttavia, almeno in Europa, l’articolo 17 del Regolamento generale sulla protezione dei dati (GDPR) richiede che le aziende rimuovano tali dati utente su richiesta. Dal momento che l’atto è stato formulato sulla base della comprensione che questa cancellazione sarebbe stata solo una query di “drop” del database, la legislazione destinata a emergere dal progetto di legge dell’Unione europea sull’intelligenza artificiale copierà e incollerà lo spirito del GDPR in leggi che si applicano a sistemi di intelligenza artificiale addestrati piuttosto che a dati tabulari.

Ulteriore legislazione è in corso di discussione in tutto il mondo che darà agli individui il diritto di richiedere la cancellazione dei loro dati da sistemi di apprendimento automatico, mentre il California Consumer Privacy Act (CCPA) del 2018 già fornisce questo diritto ai residenti dello stato.

Perché è importante

Quando un set di dati viene addestrato in un modello di apprendimento automatico azionabile, le caratteristiche di quei dati diventano generalizzate e astratte, perché il modello è progettato per inferire principi e tendenze generali dai dati, producendo infine un algoritmo che sarà utile nell’analizzare dati specifici e non generalizzati.

Tuttavia, tecniche come l’inversione del modello hanno rivelato la possibilità di riconoscere nuovamente i dati che contribuiscono algoritmo finale e astratto, mentre gli attacchi di inferenza di appartenenza sono anche in grado di esporre i dati di origine, compresi dati sensibili che possono essere stati autorizzati a essere inclusi in un set di dati solo sulla base dell’anonimato.

L’interesse crescente per questo obiettivo non deve necessariamente dipendere da un’attivismo per la privacy di base: man mano che il settore dell’apprendimento automatico si commercializza nei prossimi dieci anni e le nazioni sono sotto pressione per porre fine alla cultura attuale di laissez faire sull’uso dello screen scraping per la generazione di set di dati, ci sarà un crescente incentivo commerciale per le organizzazioni che fanno rispettare la proprietà intellettuale (e i troll della proprietà intellettuale) per decodificare e rivedere i dati che hanno contribuito a framework di classificazione, inferenza e generazione di intelligenza artificiale proprietari e ad alto reddito.

Indurre l’amnesia nei modelli di apprendimento automatico

Quindi ci rimane la sfida di rimuovere lo zucchero dal caffè. È un problema che ha vessato i ricercatori negli ultimi anni: nel 2021 il documento supportato dall’UE Uno studio comparativo sui rischi per la privacy delle librerie di riconoscimento facciale ha scoperto che diversi algoritmi di riconoscimento facciale popolari erano in grado di abilitare la discriminazione basata sul sesso o sulla razza negli attacchi di riconoscimento; nel 2015 la ricerca della Columbia University ha proposto un metodo di “disapprendimento della macchina” basato sull’aggiornamento di un certo numero di somme all’interno dei dati; e nel 2019 i ricercatori di Stanford hanno offerto nuovi algoritmi di cancellazione per le implementazioni del clustering K-means.

Ora un consorzio di ricerca della Cina e degli Stati Uniti ha pubblicato un nuovo lavoro che introduce una metrica uniforme per valutare il successo degli approcci di cancellazione dei dati, insieme a un nuovo metodo di “disapprendimento” chiamato Forsaken, che i ricercatori affermano essere in grado di raggiungere un tasso di oblio superiore al 90%, con una perdita di accuratezza del modello complessivo solo del 5%.

Il documento si intitola Imparare a dimenticare: disapprendimento della macchina tramite mascheramento dei neuroni e presenta ricercatori della Cina e di Berkeley.

Il mascheramento dei neuroni, il principio alla base di Forsaken, utilizza un generatore di gradienti di maschera come filtro per la rimozione di dati specifici da un modello, aggiornandolo efficacemente invece di costringerlo a essere riaddestrato da zero o da uno snapshot che si è verificato prima dell’inclusione dei dati (nel caso di modelli basati su flussi di dati che vengono aggiornati continuamente).

L’architettura del generatore di gradienti di maschera. Fonte: https://arxiv.org/pdf/2003.10933.pdf

Origini biologiche

I ricercatori affermano che questo approccio è stato ispirato dal processo biologico di “dimenticanza attiva”, in cui l’utente prende azioni energiche per cancellare tutte le cellule di engramma per un particolare ricordo manipolando un tipo speciale di dopamina.

Forsaken evoca continuamente un gradiente di maschera che replica questa azione, con salvaguardie per rallentare o interrompere questo processo per evitare di dimenticare catastroficamente i dati non target.

I vantaggi del sistema sono che è applicabile a molti tipi di reti neurali esistenti, mentre lavori recenti simili hanno goduto di successo principalmente nelle reti di visione computerizzata; e che non interferisce con le procedure di addestramento del modello, ma agisce come un ausilio, senza richiedere che l’architettura di base venga alterata o che i dati vengano riaddestrati.

Limitare l’effetto

La cancellazione dei dati contribuiti può avere un effetto potenzialmente deleterio sulla funzionalità di un algoritmo di apprendimento automatico. Per evitare ciò, i ricercatori hanno sfruttato la regolarizzazione della norma, una caratteristica dell’addestramento delle reti neurali normali che viene comunemente utilizzata per evitare il sovraddestramento. La particolare implementazione scelta è progettata per garantire che Forsaken non fallisca nella convergenza dell’addestramento.

Per stabilire una dispersione di dati utilizzabile, i ricercatori hanno utilizzato dati fuori distribuzione (OOD) (ovvero dati non inclusi nel set di dati effettivo, che mimano i “dati sensibili” nel set di dati effettivo) per calibrare il modo in cui l’algoritmo dovrebbe comportarsi.

Test sui set di dati

Il metodo è stato testato su otto set di dati standard e in generale ha raggiunto tassi di oblio vicini o superiori a quelli del riaddestramento completo, con un impatto molto limitato sull’accuratezza del modello.

Sembra impossibile che il riaddestramento completo su un set di dati modificato possa effettivamente fare peggio di qualsiasi altro metodo, poiché i dati target sono completamente assenti. Tuttavia, il modello ha già astratto varie caratteristiche dei dati cancellati in modo “olografico”, nel modo (per analogia) in cui una goccia di inchiostro ridefinisce l’utilità di un bicchiere d’acqua.

In effetti, i pesi del modello sono già stati influenzati dai dati excisi, e l’unico modo per rimuovere completamente la loro influenza è riaddestrare il modello da zero assoluto, piuttosto che il metodo molto più veloce di riaddestrare il modello pesato su un set di dati modificato.