Zorgen dat een machine learning-model u vergeet

Het verwijderen van een bepaald stukje data dat heeft bijgedragen aan een machine learning-model is hetzelfde als proberen de tweede lepel suiker uit een kop koffie te halen. De gegevens zijn tegen die tijd al intrinsiek gekoppeld aan veel andere neuronen in het model. Als een datapunt ‘definiërende’ data vertegenwoordigt die betrokken waren bij het vroegste, hoogdimensionale deel van de training, dan kan het verwijderen ervan de manier waarop het model functioneert radicaal herdefiniëren, of zelfs vereisen dat het met enige tijd en moeite opnieuw moet worden getraind. geld.

Desalniettemin geldt, in ieder geval in Europa, artikel 17 van de Algemene Verordening Gegevensbescherming (AVG). vereist dat bedrijven dergelijke gebruikersgegevens op verzoek verwijderen. Aangezien de wet is opgesteld met dien verstande dat deze verwijdering niet meer zou zijn dan een 'drop'-query in de database, is de wetgeving die voorbestemd is om voort te komen uit de Draft EU Wet kunstmatige intelligentie zal effectief knippen en plakken de geest van de AVG omzetten in wetten die van toepassing zijn op getrainde AI-systemen in plaats van op tabelgegevens.

Wereldwijd wordt er nagedacht over verdere wetgeving die personen het recht geeft om te verzoeken hun gegevens te verwijderen uit systemen voor machinaal leren, terwijl de California Consumer Privacy Act (CCPA) van 2018 geeft dit recht al staatsbewoners.

Waarom het uitmaakt

Wanneer een dataset wordt getraind in een bruikbaar machine learning-model, worden de kenmerken van die gegevens gegeneraliseerd en abstract, omdat het model is ontworpen om principes af te leiden en brede trends uit de gegevens, en produceert uiteindelijk een algoritme dat nuttig zal zijn bij het analyseren van specifieke en niet-gegeneraliseerde gegevens.

Maar technieken zoals model inversie hebben de mogelijkheid onthuld om de bijdragende gegevens die ten grondslag liggen aan het uiteindelijke, geabstraheerde algoritme opnieuw te identificeren, terwijl lidmaatschap gevolgtrekking aanvallen zijn ook in staat om brongegevens openbaar te maken, inclusief gevoelige gegevens die mogelijk alleen mogen worden opgenomen in een dataset op basis van anonimiteit.

De toenemende belangstelling voor dit streven hoeft niet te berusten op privacyactivisme van onderop: naarmate de machine learning-sector de komende tien jaar commercialiseert en landen onder druk komen te staan ​​om de huidige laissez faire-cultuur over het gebruik van screen scraping voor het genereren van datasets, zal er een groeiende commerciële prikkel zijn voor IP-afdwingende organisaties (en IP-trollen) om de gegevens te decoderen en te beoordelen die hebben bijgedragen aan eigen en goed verdienende classificatie-, inferentie- en generatieve AI-frameworks.

Geheugenverlies veroorzaken in modellen voor machinaal leren

Daarom staan ​​we voor de uitdaging om de suiker uit de koffie te halen. Het is een probleem dat is geweest irritant onderzoekers in de afgelopen jaren: in 2021 het door de EU ondersteunde artikel Een vergelijkend onderzoek naar de privacyrisico's van gezichtsherkenningsbibliotheken ontdekte dat verschillende populaire algoritmen voor gezichtsherkenning in staat waren om discriminatie op basis van geslacht of ras mogelijk te maken bij heridentificatieaanvallen; in 2015 onderzoek van Columbia University voorgestelde een 'machine unlearning'-methode gebaseerd op het updaten van een aantal optellingen binnen de data; en in 2019 Stanford-onderzoekers aangeboden nieuwe verwijderingsalgoritmen voor implementaties van K-means clustering.

Nu heeft een onderzoeksconsortium uit China en de VS nieuw werk gepubliceerd dat een uniforme maatstaf introduceert voor het evalueren van het succes van benaderingen voor het verwijderen van gegevens, samen met een nieuwe 'afleren'-methode genaamd Forsaken, waarvan de onderzoekers beweren dat het in staat is om meer dan 90 te bereiken. % vergeetpercentage, met slechts 5% nauwkeurigheidsverlies in de algehele prestaties van het model.

De papier wordt genoemd Leren vergeten: machinaal afleren via Neuron Masking, en bevat onderzoekers uit China en Berkeley.

Neuron masking, het principe achter Forsaken, maakt gebruik van een masker verloop generator als een filter voor het verwijderen van specifieke gegevens uit een model, waardoor het effectief wordt bijgewerkt in plaats van het te dwingen om helemaal opnieuw te worden getraind of vanaf een momentopname die plaatsvond voordat de gegevens werden opgenomen (in het geval van op streaming gebaseerde modellen die worden continu bijgewerkt).

De architectuur van de maskergradiëntgenerator. Bron: https://arxiv.org/pdf/2003.10933.pdf

Biologische oorsprong

De onderzoekers stellen dat deze aanpak is geïnspireerd door de biologisch proces van 'actief vergeten', waarbij de gebruiker brutaal actie onderneemt om alle engramcellen voor een bepaalde herinnering te wissen door manipulatie van een speciaal type dopamine.

Forsaken roept continu een maskergradiënt op die deze actie repliceert, met beveiligingen om dit proces te vertragen of te stoppen om catastrofaal vergeten van niet-doelgegevens te voorkomen.

De voordelen van het systeem zijn dat het toepasbaar is op vele soorten bestaande neurale netwerken, terwijl recent soortgelijk werk vooral succes heeft gehad in computer vision-netwerken; en dat het de modeltrainingsprocedures niet verstoort, maar eerder als een aanvulling fungeert, zonder dat de kernarchitectuur hoeft te worden gewijzigd of de gegevens opnieuw moeten worden getraind.

Het effect beperken

Het verwijderen van bijgedragen gegevens kan een potentieel schadelijk effect hebben op de functionaliteit van een machine learning-algoritme. Om dit te voorkomen, hebben de onderzoekers uitgebuit norm regularisatie, een kenmerk van normale neurale netwerktraining dat vaak wordt gebruikt om overtraining te voorkomen. De specifieke gekozen implementatie is ontworpen om ervoor te zorgen dat Forsaken niet faalt in training.

Om een ​​bruikbare verspreiding van gegevens vast te stellen, gebruikten de onderzoekers out-of-distribution (OOD)-gegevens (dwz gegevens die niet zijn opgenomen in de eigenlijke dataset, die 'gevoelige' gegevens in de eigenlijke dataset nabootsen) om de manier te kalibreren waarop het algoritme zich zou moeten gedragen. .

Testen op datasets

De methode is getest op acht standaard datasets en bereikte over het algemeen bijna of hogere vergeetpercentages dan volledige omscholing, met zeer weinig invloed op de modelnauwkeurigheid.

Het lijkt onmogelijk dat volledige omscholing op een bewerkte dataset eigenlijk slechter zou zijn dan welke andere methode dan ook, aangezien de doelgegevens volledig ontbreken. Het model heeft tegen die tijd echter verschillende kenmerken van de verwijderde gegevens op een 'holografische' manier geabstraheerd, op de manier (naar analogie) dat een druppel inkt het nut van een glas water herdefinieert.

In feite zijn de gewichten van het model al beïnvloed door de uitgesneden gegevens, en de enige manier om de invloed ervan volledig weg te nemen, is door het model opnieuw te trainen vanaf het absolute nulpunt, in plaats van de veel snellere benadering van het opnieuw trainen van het gewogen model op een bewerkte dataset .