Een Machine Learning Model Laten Vergeten Over Jou

Het verwijderen van een specifiek stukje data dat heeft bijgedragen aan een machine learning model is als proberen om de tweede lepel suiker uit een kop koffie te verwijderen. De data is op dat moment al intrinsiek verbonden met veel andere neuronen in het model. Als een datapunt ‘definiërende’ data vertegenwoordigt die betrokken was bij het vroegste, hoogdimensionale deel van de training, dan kan het verwijderen ervan de functionaliteit van het model radicaal herschrijven, of zelfs vereisen dat het opnieuw getraind moet worden tegen een aanzienlijke tijds- en geldinvestering.

Desondanks vereist artikel 17 van de Algemene Verordening Gegevensbescherming (AVG) in Europa dat bedrijven dergelijke gebruikersgegevens op verzoek verwijderen. Aangezien de wet is opgesteld met de veronderstelling dat deze verwijdering niet meer zou zijn dan een database ‘drop’ query, zal de wetgeving die voortkomt uit het ontwerp EU Artificial Intelligence Act effectief kopiëren en plakken de geest van de AVG in wetten die van toepassing zijn op getrainde AI-systemen in plaats van tabulaire gegevens.

Verdere wetgeving wordt overwogen in de hele wereld die individuen het recht geeft om te vragen om verwijdering van hun gegevens uit machine learning-systemen, terwijl de California Consumer Privacy Act (CCPA) van 2018 dit recht al biedt aan inwoners van de staat.

Waarom Het Ertoe Doet

Wanneer een dataset getraind wordt in een actief machine learning model, worden de kenmerken van die data gegeneraliseerd en geabstraheerd, omdat het model is ontworpen om principes en brede trends af te leiden uit de data, uiteindelijk resulterend in een algoritme dat nuttig zal zijn bij het analyseren van specifieke en niet-gegeneraliseerde gegevens.

Echter, technieken zoals model inversie hebben de mogelijkheid onthuld om de bijdragende gegevens die ten grondslag liggen aan het uiteindelijke, geabstraheerde algoritme te heridentificeren, terwijl lidmaatschapsinferentie-aanvallen ook in staat zijn om brondata te onthullen, inclusief gevoelige gegevens die mogelijk alleen zijn toegestaan om te worden opgenomen in een dataset onder de voorwaarde van anoniemheid.

Het toenemende belang bij deze onderneming hoeft niet te berusten op grassroots-privacyactivisme: naarmate de machine learning-sector de komende tien jaar commercialiseert en landen onder druk komen te staan om de huidige laissez faire-cultuur over het gebruik van scherm schrapen voor datasetgeneratie te beëindigen, zal er een groeiende commerciële stimulans zijn voor IP-afdwingende organisaties (en IP-trollen) om de gegevens te decoderen en te bekijken die hebben bijgedragen aan propriëtaire en hoogrenderende classificatie-, inferentie- en generatieve AI-kaders.

Amnesie Induceren in Machine Learning Modellen

We zijn dus geconfronteerd met de uitdaging om de suiker uit de koffie te krijgen. Het is een probleem dat onderzoekers in recente jaren heeft geplaagd: in 2021 vond het EU-ondersteunde paper Een Vergelijkende Studie naar de Privacyrisico’s van Gezichtsherkenningbibliotheken dat verschillende populaire gezichtsherkenningalgoritmen in staat waren om sekse- of rasgebaseerde discriminatie mogelijk te maken in heridentificatieaanvallen; in 2015 stelde onderzoek uit Columbia University een ‘machine unlearning’-methode voor op basis van het bijwerken van een aantal sommaties in de gegevens; en in 2019 boden onderzoekers van Stanford nieuwe verwijderingsalgoritmen voor K-means clustering-implementaties.

Nu heeft een onderzoeksconsortium uit China en de VS nieuw werk gepubliceerd dat een uniforme maatstaf introduceert voor het evalueren van het succes van gegevensverwijderingsbenaderingen, samen met een nieuwe ‘unlearning’-methode genaamd Forsaken, die de onderzoekers claimen in staat is om een vergetingspercentage van meer dan 90% te bereiken, met slechts een verlies van 5% in de algehele prestatie van het model.

Het paper heet Learn to Forget: Machine Unlearning via Neuron Masking en bevat onderzoekers uit China en Berkeley.

Neuron masking, het principe achter Forsaken, gebruikt een maskergradiëntgenerator als filter voor het verwijderen van specifieke gegevens uit een model, effectief updaten in plaats van het model opnieuw te trainen vanaf het begin of vanaf een momentopname die plaatsvond vóór de opname van de gegevens (in het geval van streaming-gebaseerde modellen die continu worden bijgewerkt).

De architectuur van de maskergradiëntgenerator. Bron: https://arxiv.org/pdf/2003.10933.pdf

Biologische Oorsprong

De onderzoekers stellen dat deze benadering is geïnspireerd door het biologische proces van ‘actief vergeten’, waarbij de gebruiker actief handelt om alle engramcellen voor een bepaalde herinnering te wissen door manipulatie van een speciaal type dopamine.

Forsaken roept continu een maskergradiënt op die deze actie nabootst, met waarborgen om dit proces te vertragen of te stoppen om catastrofale vergetelheid van niet-doelgegevens te voorkomen.

De voordelen van het systeem zijn dat het toepasbaar is op veel soorten bestaande neurale netwerken, terwijl recente soortgelijk werk voornamelijk succes heeft behaald in computerzichtnetwerken; en dat het niet interfereert met modeltrainingsprocedures, maar eerder als een aanvulling werkt, zonder dat de kernarchitectuur hoeft te worden gewijzigd of de gegevens opnieuw getraind.

De Invloed Beperken

Het verwijderen van bijdragende gegevens kan een potentieel nadelig effect hebben op de functionaliteit van een machine learning-algoritme. Om dit te voorkomen, hebben de onderzoekers normregularisatie uitgebuit, een kenmerk van normale neurale netwerktraining dat vaak wordt gebruikt om overtrainen te voorkomen. De specifieke implementatie die is gekozen, is ontworpen om ervoor te zorgen dat Forsaken niet faalt om te convergeren tijdens de training.

Om een bruikbare dispersie van gegevens tot stand te brengen, gebruikten de onderzoekers out-of-distribution (OOD) gegevens (d.w.z. gegevens die niet zijn opgenomen in de daadwerkelijke dataset, nabootsend ‘gevoelige’ gegevens in de daadwerkelijke dataset) om te kalibreren hoe het algoritme zou moeten functioneren.

Testen Op Datasets

De methode werd getest op acht standaarddatasets en bereikte in het algemeen vergelijkbare of hogere vergetingspercentages dan volledige hertraining, met zeer weinig invloed op modelnauwkeurigheid.

Het lijkt onmogelijk dat volledige hertraining op een bewerkte dataset eigenlijk slechter kan zijn dan elke andere methode, aangezien de doelgegevens volledig afwezig zijn. Echter, het model heeft op dat moment de abstracte kenmerken van de verwijderde gegevens in een ‘holografische’ manier geabstraheerd, op een manier (door analogie) dat een druppel inkt de functionaliteit van een glas water herschrijft.

In feite zijn de gewichten van het model al beïnvloed door de verwijderde gegevens, en de enige manier om hun invloed volledig te verwijderen is om het model opnieuw te trainen vanaf het absolute nulpunt, in plaats van de veel snellere benadering van het opnieuw trainen van het gewogen model op een bewerkte dataset.