Tworzenie modelu uczenia maszynowego, który zapomina o Tobie

Usunięcie konkretnego fragmentu danych, które przyczyniły się do powstania modelu uczenia maszynowego, jest jak usunięcie drugiej łyżki cukru z filiżanki kawy. Dane te już na tym etapie stały się nieodłącznie związane z wieloma innymi neuronami w modelu. Jeśli punkt danych reprezentuje “definiujące” dane, które były zaangażowane w najwcześniejszej, wysokowymiarowej części szkolenia, to usunięcie ich może radykalnie zmienić sposób funkcjonowania modelu lub nawet wymagać, aby został on przeszkolony ponownie, przy pewnym wydatku czasu i pieniędzy.

Niemniej, w Europie co najmniej, artykuł 17 Ogólnego Rozporządzenia o Ochronie Danych (RODO) wymaga, aby firmy usunęły takie dane użytkowników na żądanie. Ponieważ akt ten został sformułowany z założeniem, że takie usunięcie będzie nie więcej niż zapytanie “drop” w bazie danych, legislacja, która ma powstać z projektu unijnego Aktu o Sztucznej Inteligencji, skutecznie skopiuje ducha RODO do praw, które dotyczą przeszkolonych systemów sztucznej inteligencji, a nie danych tabelarycznych.

Dalsze prawodawstwo jest rozważane na całym świecie, które upoważniłoby osoby do żądania usunięcia ich danych z systemów uczenia maszynowego, podczas gdy Kalifornijski Akt o Prywatności Konsumentów (CCPA) z 2018 roku już zapewnia to prawo mieszkańcom stanu.

Dlaczego to ma znaczenie

Gdy zestaw danych jest szkolony w aktywny model uczenia maszynowego, cechy tych danych stają się uogólnione i abstrakcyjne, ponieważ model jest zaprojektowany do wnioskowania zasad i szerokich trendów z danych, ostatecznie wytwarzając algorytm, który będzie przydatny w analizowaniu konkretnych i nieujętych danych.

Jednak techniki takie jak odwrócenie modelu ujawniły możliwość ponownego identyfikowania danych, które leżą u podstaw ostatecznego, abstrakcyjnego algorytmu, podczas gdy ataki inferencyjne są również w stanie ujawnić dane źródłowe, w tym wrażliwe dane, które mogły być dołączone do zestawu danych tylko pod warunkiem anonimowości.

Zwiększające się zainteresowanie tym podejściem nie musi polegać na aktywizmie na rzecz prywatności: gdy sektor sztucznej inteligencji komercjalizuje się w ciągu najbliższych dziesięciu lat, a narody znajdą się pod presją, aby zakończyć obecnie panującą kulturę laissez-faire w odniesieniu do wykorzystania screen scraping do generowania zestawów danych, będzie rosło komercyjne zachęcanie do odkodowania i przeglądania danych, które przyczyniły się do ram sztucznej inteligencji.

Wprowadzanie amnezji w modelach uczenia maszynowego

Zatem zostajemy z wyzwaniem usunięcia cukru z kawy. To problem, który dręczy badaczy w ostatnich latach: w 2021 roku wspierany przez Unię Europejską artykuł Porównawcze badanie ryzyka prywatności bibliotek rozpoznawania twarzy stwierdził, że kilka popularnych algorytmów rozpoznawania twarzy było w stanie umożliwić dyskryminację opartą na płci lub rasy w atakach identyfikacji; w 2015 roku badania z Uniwersytetu Columbia zaproponowały metodę “nieuczenia się” opartą na aktualizacji pewnych sum w danych; a w 2019 roku badacze z Uniwersytetu Stanforda zaoferowali nowe algorytmy usunięcia dla implementacji grupowania K-means.

Teraz konsorcjum badawcze z Chin i Stanów Zjednoczonych opublikowało nową pracę, która wprowadza jednolity wskaźnik do oceny sukcesu podejść do usunięcia danych, wraz z nową metodą “nieuczenia się” o nazwie Forsaken, którą badacze twierdzą, że jest w stanie osiągnąć stopień zapomnienia powyżej 90%, z jedynie 5% utraty dokładności w ogólnej wydajności modelu.

Artykuł nosi tytuł Ucz się zapominać: nieuczenie się maszynowe za pomocą maskowania neuronów i zawiera badaczy z Chin i Berkeley.

Zasada maskowania neuronów, która leży u podstaw Forsaken, wykorzystuje generator gradientu maski jako filtr do usunięcia określonych danych z modelu, efektywnie aktualizując go, zamiast zmuszać go do ponownego szkolenia od podstaw lub ze zdjęcia, które wystąpiło przed włączeniem danych (w przypadku modeli opartych na strumieniach, które są ciągle aktualizowane).

Architektura generatora gradientu maski. Źródło: https://arxiv.org/pdf/2003.10933.pdf

Pochodzenie biologiczne

Badacze twierdzą, że podejście to zostało zainspirowane biologicznym procesem “aktywnego zapomnienia”, gdzie użytkownik podejmuje zdecydowane działanie, aby usunąć wszystkie komórki engramu dla określonej pamięci poprzez manipulację specjalnym typem dopaminy.

Forsaken ciągle wywołuje gradient maski, który replikuje to działanie, z zabezpieczeniami, aby spowolnić lub zatrzymać ten proces, aby uniknąć katastrofalnego zapomnienia niecelowych danych.

Zalety systemu polegają na tym, że jest on stosowalny do wielu rodzajów istniejących sieci neuronowych, podczas gdy ostatnie podobne prace odniosły sukces głównie w sieciach komputerowych; oraz że nie zakłóca procedur szkolenia modelu, ale działa jako dodatek, bez wymogu, aby zmienić architekturę lub ponownie przeszkolić dane.

Ograniczanie efektu

Usunięcie danych, które przyczyniły się do powstania modelu, może mieć potencjalnie szkodliwy wpływ na funkcjonalność algorytmu uczenia maszynowego. Aby uniknąć tego, badacze wykorzystali normę regularizacji, cechę normalnego szkolenia sieci neuronowej, która jest powszechnie stosowana, aby uniknąć przeuczenia. Wybrana implementacja jest zaprojektowana, aby zapewnić, że Forsaken nie zawiedzie w szkoleniu.

Aby ustalić przydatne rozpraszanie danych, badacze wykorzystali dane poza zestawem (OOD) (tj. dane, które nie są uwzględnione w rzeczywistym zestawie danych, naśladując “wrażliwe” dane w rzeczywistym zestawie danych), aby skalibrować sposób, w jaki algorytm powinien działać.

Testowanie na zestawach danych

Metoda ta została przetestowana na ośmiu standardowych zestawach danych i ogólnie osiągnęła stopy zapomnienia bliskie lub wyższe niż pełne ponowne szkolenie, z bardzo małym wpływem na dokładność modelu.

Wygląda na to, że pełne ponowne szkolenie na edytowanym zestawie danych nie może być gorsze niż jakakolwiek inna metoda, ponieważ dane docelowe są całkowicie nieobecne. Jednak model na tym etapie już abstrakcyjnie uogólnił pewne cechy usuniętych danych w “holograficzny” sposób, tak jak (przez analogię) kropla atramentu zmienia użyteczność szklanki wody.

W efekcie wagi modelu zostały już wpłynięte przez usunięte dane, a jedynym sposobem, aby całkowicie usunąć ich wpływ, jest ponowne szkolenie modelu od zera, zamiast znacznie szybszego podejścia ponownego szkolenia ważonego modelu na edytowanym zestawie danych.