Sprawienie, że model uczenia maszynowego zapomni o Tobie

Usunięcie konkretnego fragmentu danych, który przyczynił się do powstania modelu uczenia maszynowego, przypomina próbę usunięcia drugiej łyżki cukru z filiżanki kawy. Do tego czasu dane zostały już nierozerwalnie powiązane z wieloma innymi neuronami w modelu. Jeśli punkt danych reprezentuje dane „definiujące”, które były zaangażowane w najwcześniejszą, wielowymiarową część uczenia, wówczas usunięcie go może radykalnie przedefiniować sposób funkcjonowania modelu, a nawet wymagać jego ponownego przeszkolenia, co wiąże się z pewnym nakładem czasu i pieniądze.

Niemniej jednak, przynajmniej w Europie, art. 17 ustawy o ogólnym rozporządzeniu o ochronie danych (RODO) Wymaga aby firmy usuwały takie dane użytkowników na żądanie. Ponieważ ustawę opracowano przy założeniu, że usunięcie to będzie jedynie zapytaniem o „usunięcie” bazy danych, przepisy, które mają wyłonić się z Projektu UE Ustawa o sztucznej inteligencji będzie skutecznie kopiuj i wklej ducha RODO w przepisy mające zastosowanie do wytrenowanych systemów sztucznej inteligencji, a nie do danych tabelarycznych.

Na całym świecie rozważane są kolejne przepisy, które umożliwią osobom fizycznym żądanie usunięcia swoich danych z systemów uczenia maszynowego, podczas gdy ustawa o ochronie prywatności konsumentów w Kalifornii (CCPA) z 2018 r. już zapewnia to prawo mieszkańcom stanu.

Dlaczego jest to ważne

Kiedy zbiór danych zostanie przeszkolony w praktyczny model uczenia maszynowego, cechy tych danych stają się uogólnione i abstrakcyjne, ponieważ model ma na celu wnioskowanie o zasadach i szerokie trendy na podstawie danych, tworząc ostatecznie algorytm, który będzie przydatny w analizie konkretnych i nieuogólnionych danych.

Jednak techniki takie jak odwrócenie modelu ujawniły możliwość ponownej identyfikacji danych składowych, które leżą u podstaw ostatecznego, abstrakcyjnego algorytmu, podczas gdy ataki polegające na wnioskowaniu o członkostwie są również w stanie ujawnić dane źródłowe, w tym dane wrażliwe, których włączenie do zbioru danych można było uzyskać jedynie pod warunkiem zachowania anonimowości.

Rosnące zainteresowanie tym dążeniem nie musi opierać się na oddolnym aktywizmie w zakresie ochrony prywatności: w miarę komercjalizacji sektora uczenia maszynowego w ciągu najbliższych dziesięciu lat, a narody znajdują się pod presją, aby zakończyć obecną kulturę leseferyzmu w związku ze stosowaniem screen scrapingu do generowania zestawów danych wzrośnie komercyjna zachęta dla organizacji egzekwujących prawa własności intelektualnej (i trolli IP) do dekodowania i przeglądania danych, które przyczyniły się do powstania zastrzeżonych i przynoszących wysokie dochody ram klasyfikacji, wnioskowania i generatywnej sztucznej inteligencji.

Wywoływanie amnezji w modelach uczenia maszynowego

Dlatego pozostaje nam wyzwanie polegające na usunięciu cukru z kawy. To problem, który już istniał dokuczliwy badacze w ostatnich latach: w 2021 r. opublikowano dofinansowany ze środków UE dokument Badanie porównawcze zagrożeń dla prywatności związanych z bibliotekami rozpoznawania twarzy odkryło, że kilka popularnych algorytmów rozpoznawania twarzy było w stanie umożliwić dyskryminację ze względu na płeć lub rasę w atakach polegających na ponownej identyfikacji; w badaniach przeprowadzonych w 2015 roku na Uniwersytecie Columbia zaproponowane metoda „oduczania maszynowego” polegająca na aktualizacji szeregu podsumowań w danych; a w 2019 r. badacze ze Stanford oferowany nowatorskie algorytmy usuwania dla implementacji grupowania K-średnich.

Teraz konsorcjum badawcze z Chin i Stanów Zjednoczonych opublikowało nową pracę, która wprowadza jednolity miernik oceny skuteczności podejść do usuwania danych, wraz z nową metodą „oduczania się” o nazwie Forsaken, która według badaczy jest w stanie osiągnąć ponad 90 % zapominania, przy jedynie 5% utracie dokładności w ogólnej wydajności modelu.

papier jest nazywany Naucz się zapominać: oduczenie maszynowe za pomocą maski neuronowejg, w którym biorą udział badacze z Chin i Berkeley.

Maskowanie neuronów, zasada stojąca za Porzuconymi, wykorzystuje: gradient maski generator jako filtr do usuwania określonych danych z modelu, skutecznie go aktualizując, a nie zmuszając do ponownego uczenia się od zera lub na podstawie migawki, która powstała przed włączeniem danych (w przypadku modeli opartych na strumieniowaniu, które są na bieżąco aktualizowane).

Architektura generatora gradientu maski. Źródło: https://arxiv.org/pdf/2003.10933.pdf

Pochodzenie biologiczne

Naukowcy twierdzą, że takie podejście zostało zainspirowane przez proces biologiczny „aktywnego zapominania”, podczas którego użytkownik podejmuje zdecydowane działania, aby wymazać wszystkie komórki engramów dla określonego wspomnienia poprzez manipulację specjalnym rodzajem dopaminy.

Forsaken stale wywołuje gradient maski, który replikuje to działanie, z zabezpieczeniami spowalniającymi lub zatrzymującymi ten proces, aby uniknąć katastrofalnego zapomnienia danych innych niż docelowe.

Zaletami systemu jest to, że można go zastosować w wielu rodzajach istniejących sieci neuronowych, podczas gdy ostatnio podobne prace odniosły sukces głównie w komputerowych sieciach wizyjnych; oraz że nie koliduje z procedurami uczenia modeli, lecz raczej działa jako dodatek, nie wymagając zmiany podstawowej architektury ani ponownego uczenia danych.

Ograniczanie efektu

Usunięcie przesłanych danych może mieć potencjalnie szkodliwy wpływ na funkcjonalność algorytmu uczenia maszynowego. Aby tego uniknąć, naukowcy wykorzystali regularyzacja norm, cecha normalnego treningu sieci neuronowej, powszechnie stosowana w celu uniknięcia przetrenowania. Wybrana konkretna implementacja ma na celu zapewnienie, że Opuszczeni nie zawiodą podczas szkolenia.

Aby ustalić użyteczne rozproszenie danych, badacze wykorzystali dane poza dystrybucją (OOD) (tj. dane nieuwzględnione w rzeczywistym zbiorze danych, naśladujące „wrażliwe” dane w rzeczywistym zbiorze danych), aby skalibrować sposób, w jaki powinien zachowywać się algorytm .

Testowanie na zbiorach danych

Metodę przetestowano na ośmiu standardowych zbiorach danych i ogólnie uzyskano współczynnik zapominania bliski lub wyższy niż w przypadku pełnego ponownego uczenia, przy bardzo niewielkim wpływie na dokładność modelu.

Wydaje się niemożliwe, aby pełne przeszkolenie na edytowanym zbiorze danych mogło faktycznie przynieść gorsze rezultaty niż jakakolwiek inna metoda, ponieważ dane docelowe są całkowicie nieobecne. Jednak do tego czasu model wyabstrahował różne cechy usuniętych danych w sposób „holograficzny”, w sposób (przez analogię), w którym kropla atramentu na nowo definiuje użyteczność szklanki wody.

W rezultacie wycięte dane miały już wpływ na wagi modelu i jedynym sposobem całkowitego usunięcia tego wpływu jest ponowne nauczenie modelu od zera absolutnego, zamiast znacznie szybszego podejścia polegającego na ponownym szkoleniu modelu ważonego na edytowanym zbiorze danych .