At få et maskinlæringsmodel til at glemme dig

Fjernelse af en bestemt data, der har bidraget til en maskinlæringsmodel, er som at forsøge at fjerne den anden skefuld sukker fra en kop kaffe. Dataene er på dette tidspunkt allerede blevet intrinsisk forbundet med mange andre neuroner i modellen. Hvis en datapunkt repræsenterer ‘definerende’ data, der var involveret i den tidligste, højdimensionelle del af træningen, kan fjernelse af den radikalt omdefinere, hvordan modellen fungerer, eller endda kræve, at den skal gen-trænes på bekostning af tid og penge.

Trods alt kræver Artikel 17 i Den Generelle Databeskyttelsesforordning (GDPR) i Europa, at virksomheder fjerner sådanne brugerdata på anmodning. Da loven blev formuleret med den forståelse, at denne sletning kun ville være en database-‘drop’-forespørgsel, vil lovgivningen, der skal udvikles fra Udkastet til EU’s Kunstig Intelligens Lov, effektivt kopiere og indsætte ånden fra GDPR i love, der gælder for trænede AI-systemer snarere end tabeldata.

Der overvejes yderligere lovgivning verden over, som vil give individer ret til at anmode om sletning af deres data fra maskinlæringsystemer, mens California Consumer Privacy Act (CCPA) fra 2018 allerede giver denne ret til statens beboere.

Hvorfor det betyder noget

Når en dataset trænes ind i en handlingsdygtig maskinlæringsmodel, bliver dataens karakteristika generaliseret og abstrakt, fordi modellen er designet til at slutte principper og brede tendenser fra dataene, og til sidst producerer en algoritme, der vil være nyttig til at analysere specifikke og ikke-generaliserede data.

Men teknikker som model-inversion har afsløret muligheden for at genkende de bidragende data, der ligger til grund for den endelige, abstraherede algoritme, mens medlemskabsinferenceangreb også er i stand til at afsløre kildedata, herunder følsomme data, der kun måtte være tilladt at være inkluderet i en dataset på betingelse af anonymitet.

Den øgede interesse for denne forfølgning behøver ikke at afhænge af grassroots-privataktivisme: Da maskinlæringssektoren kommercieliseres over de næste ti år, og nationer kommer under pres for at stoppe den nuværende laissez faire-kultur over brugen af skærm-skrabning til dataset-generering, vil der være en stigende kommerciel incitament for IP-gennemførende organisationer (og IP-troll) til at afkode og gennemgå de data, der har bidraget til proprietære og høj-indsamlingsklassificerings-, slutnings- og generative AI-rammer.

At fremkalde amnesi i maskinlæringsmodeller

Derfor er vi tilbage ved udfordringen med at få sukkeret ud af kaffen. Det er et problem, der har forvirret forskere i de seneste år: I 2021 fandt den EU-støttede artikel En sammenlignende studie af privatlivsrisikoen for ansigtsgenkendelsesbiblioteker ud, at flere populære ansigtsgenkendelsesalgoritmer var i stand til at aktivere køns- eller racebaseret diskrimination i genkendelsesangreb; I 2015 foreslog forskning fra Columbia University en ‘maskinlæringsmetode’ baseret på opdatering af et antal summeringer i dataene; og i 2019 tilbød Stanford-forskere nye sletningsalgoritmer for K-means-klyngingsimplementeringer.

Nu har et forskningskonsortium fra Kina og USA offentliggjort nyt arbejde, der introducerer en ensartet målestok for evaluering af succesen for data-sletningsmetoder, sammen med en ny ‘glemske’-metode kaldet Forsaken, som forskerne hævder er i stand til at opnå en glemme-rate på over 90% med kun en 5% tab af nøjagtighed i modellens samlede præstation.

Artiklen hedder Lær at glemme: Maskinlæringsglemske via Neuronmaskning og omfatter forskere fra Kina og Berkeley.

Neuronmaskning, princippen bag Forsaken, bruger en maskeringsgradientgenerator som filter til fjernelse af bestemt data fra en model, effektivt opdaterer den i stedet for at tvinge den til at blive gen-trænet enten fra scratch eller fra et snapshot, der fandt sted før inklusionen af dataene (i tilfælde af streaming-baserede modeller, der kontinuerligt opdateres).

Arkitekturen for maskeringsgradientgenerator. Kilde: https://arxiv.org/pdf/2003.10933.pdf

Biologiske rødder

Forskerne angiver, at denne tilgang blev inspireret af den biologiske proces ‘aktiv glemme’, hvor brugeren tager kraftige handlinger for at slette alle engramceller for en bestemt hukommelse ved manipulation af en speciel type dopamin.

Forsaken fremkalder kontinuerligt en maskeringsgradient, der gentager denne handling, med sikkerhedsforanstaltninger for at afbremse eller standse denne proces for at undgå katastrofalt glemme af ikke-mål-data.

Fordelene ved systemet er, at det kan anvendes på mange typer eksisterende neurale netværk, hvorimod seneste lignende arbejde har haft succes primært i computer-vision-netværk; og at det ikke forstyrrer modellens træningsprocedurer, men snarere fungerer som et tilføjelse, uden at kræve, at den grundlæggende arkitektur ændres eller dataene gen-trænes.

At begrænse effekten

Sletning af bidragende data kan have en potentielt skadelig effekt på funktionen af en maskinlæringsalgoritme. For at undgå dette har forskerne udnyttet normregularisering, en funktion i normal neuralt netværkstræning, der ofte bruges til at undgå overtræning. Den valgte implementering er designet til at sikre, at Forsaken ikke mislykkes i at konvergere under træning.

For at etablere en brugbar spredning af data brugte forskerne out-of-distribution (OOD)-data (dvs. data, der ikke er inkluderet i den faktiske dataset, efterligner ‘følsomme’ data i den faktiske dataset) til at kalibrere, hvordan algoritmen skulle opføre sig.

Test på datasets

Metoden blev testet på otte standard-datasets og opnåede generelt en glemme-rate på eller højere end fuld gen-træning, med meget lille indvirkning på modellens nøjagtighed.

Det synes umuligt, at fuld gen-træning på en redigeret dataset faktisk kan gøre værre end nogen anden metode, da måldata er fuldstændigt fraværende. Men modellen har på dette tidspunkt abstraheret forskellige funktioner af de slettede data på en ‘holografisk’ måde, på samme måde (i analogi) som en dråbe blæk gendefinerer nyttigheden af et glas vand.

I virkeligheden har modellens vægte allerede været påvirket af de fjernede data, og den eneste måde at fuldstændigt fjerne deres indvirkning er at gen-træne modellen fra absolut nul, snarere end den langt hurtigere tilgang med at gen-træne den vægtede model på en redigeret dataset.