Få en maskinlæringsmodell til å glemme deg

Å fjerne et bestemt stykke data som bidro til en maskinlæringsmodell er som å prøve å fjerne den andre skjeen sukker fra en kopp kaffe. Dataene, på dette tidspunktet, har allerede blitt iboende knyttet til mange andre nevroner inne i modellen. Hvis et datapunkt representerer "definerende" data som var involvert i den tidligste, høydimensjonale delen av opplæringen, kan fjerning av det radikalt omdefinere hvordan modellen fungerer, eller til og med kreve at den trenes på nytt med en viss tidsbruk og penger.

Ikke desto mindre, i det minste i Europa, artikkel 17 i den generelle databeskyttelsesloven (GDPR) Krever at selskaper fjerner slike brukerdata på forespørsel. Siden loven ble formulert under forutsetning av at denne slettingen ikke ville være mer enn et "slipp"-søk i databasen, var lovgivningen bestemt til å komme fra utkastet til EU Lov om kunstig intelligens vil effektivt kopiere og lime inn ånden til GDPR inn i lover som gjelder trente AI-systemer i stedet for tabelldata.

Ytterligere lovgivning vurderes rundt om i verden som vil gi enkeltpersoner rett til å be om sletting av dataene sine fra maskinlæringssystemer, mens California Consumer Privacy Act (CCPA) av 2018 gir allerede denne retten til statens innbyggere.

Hvorfor det gjelder

Når et datasett trenes opp til en håndterbar maskinlæringsmodell, blir egenskapene til disse dataene generaliserte og abstrakte, fordi modellen er designet for å utlede prinsipper og brede trender fra dataene, og til slutt produsere en algoritme som vil være nyttig for å analysere spesifikke og ikke-generaliserte data.

Men teknikker som f.eks modellinversjon har avslørt muligheten for å re-identifisere de bidragende dataene som ligger til grunn for den endelige, abstraherte algoritmen, mens medlemskapsslutningsangrep er også i stand til å avsløre kildedata, inkludert sensitive data som kanskje bare har vært tillatt å inkludere i et datasett for å forstå anonymitet.

Økende interesse for denne jakten trenger ikke å stole på grasrota personvernaktivisme: ettersom maskinlæringssektoren kommersialiseres i løpet av de neste ti årene, og nasjoner kommer under press for å avslutte den nåværende laissez faire kultur over bruken av skjermskraping for datasettgenerering, vil det være et økende kommersielt insentiv for IP-håndhevende organisasjoner (og IP-troll) til å dekode og gjennomgå dataene som har bidratt til proprietær og høyinntjenende klassifisering, slutninger og generative AI-rammeverk.

Fremkalle hukommelsestap i maskinlæringsmodeller

Derfor står vi igjen med utfordringen med å få sukkeret ut av kaffen. Det er et problem som har vært irriterende forskere de siste årene: i 2021 det EU-støttede papiret En sammenlignende studie om personvernrisikoen ved biblioteker for ansiktsgjenkjenning fant at flere populære algoritmer for ansiktsgjenkjenning var i stand til å muliggjøre kjønns- eller rasebasert diskriminering i re-identifikasjonsangrep; i 2015 forskning fra Columbia University foreslått en "maskinavlæring"-metode basert på oppdatering av en rekke summeringer i dataene; og i 2019 Stanford-forskere tilbudt nye slettealgoritmer for K-betyr klyngeimplementeringer.

Nå har et forskningskonsortium fra Kina og USA publisert nytt arbeid som introduserer en enhetlig metrikk for å evaluere suksessen til dataslettingsmetoder, sammen med en ny 'avlæringsmetode' kalt Forsaken, som forskerne hevder er i stand til å oppnå mer enn 90 % glemmehastighet, med bare et tap på 5 % nøyaktighet i den generelle ytelsen til modellen.

Ocuco papir er kalt Lær å glemme: Machine Unlearning via Neuron Masking, og har forskere fra Kina og Berkeley.

Nevronmaskering, prinsippet bak Forsaken, bruker en maskegradient generator som et filter for fjerning av spesifikke data fra en modell, som effektivt oppdaterer den i stedet for å tvinge den til å bli omskolert enten fra bunnen av eller fra et øyeblikksbilde som skjedde før inkluderingen av dataene (i tilfelle av strømmebaserte modeller som oppdateres fortløpende).

Arkitekturen til maskegradientgeneratoren. Kilde: https://arxiv.org/pdf/2003.10933.pdf

Biologisk opprinnelse

Forskerne uttaler at denne tilnærmingen var inspirert av biologisk prosess av 'aktiv glemsel', der brukeren tar iherdig handling for å slette alle engram-celler for et bestemt minne ved å manipulere en spesiell type dopamin.

Forsaken fremkaller kontinuerlig en maskegradient som replikerer denne handlingen, med sikkerhetstiltak for å bremse eller stoppe denne prosessen for å unngå katastrofal glemsel av ikke-måldata.

Fordelene med systemet er at det kan brukes på mange typer eksisterende nevrale nettverk, mens nylig lignende arbeid har hatt suksess i stor grad i datasynsnettverk; og at det ikke forstyrrer modellopplæringsprosedyrer, men snarere fungerer som et tillegg, uten at det kreves at kjernearkitekturen endres eller dataene trenes om.

Begrense effekten

Sletting av innsendte data kan ha en potensielt skadelig effekt på funksjonaliteten til en maskinlæringsalgoritme. For å unngå dette har forskerne utnyttet normregularisering, en funksjon ved normal nevrale nettverkstrening som ofte brukes for å unngå overtrening. Den spesielle implementeringen som er valgt er designet for å sikre at Forsaken ikke mislykkes i å konvergere i trening.

For å etablere en brukbar spredning av data, brukte forskerne data utenfor distribusjon (OOD) (dvs. data som ikke er inkludert i det faktiske datasettet, og etterlignet "sensitive" data i det faktiske datasettet) for å kalibrere måten algoritmen skulle oppføre seg på .

Testing på datasett

Metoden ble testet over åtte standard datasett og oppnådde generelt nær eller høyere glemmehastigheter enn full omskolering, med svært liten innvirkning på modellens nøyaktighet.

Det virker umulig at full omskolering på et redigert datasett faktisk kan gjøre det verre enn noen annen metode, siden måldataene er helt fraværende. Imidlertid har modellen på dette tidspunktet abstrahert ulike trekk ved de slettede dataene på en "holografisk" måte, på den måten (i analogi) at en dråpe blekk omdefinerer nytten av et glass vann.

I realiteten har vektene til modellen allerede blitt påvirket av de utskårne dataene, og den eneste måten å fjerne innflytelsen fullstendig på er å omskolere modellen fra absolutt null, i stedet for den langt raskere tilnærmingen med å omskolere den vektede modellen på et redigert datasett .