Vytvoření modelu strojového učení, který zapomene na vás

Odstranění konkrétní části dat, které přispěly k modelu strojového učení, je podobné jako pokus o odstranění druhé lžičky cukru z šálku kávy. Data jsou v tomto okamžiku již vnitřně propojena s mnoha jinými neurony uvnitř modelu. Pokud bod dat reprezentuje “definující” data, která se účastnila nejranější, vysoce dimenzionální části tréninku, pak jejich odstranění může radikálně předefinovat, jak model funguje, nebo dokonce vyžadovat, aby byl znovu vyškoleno při určitých nákladech na čas a peníze.

Nicméně, alespoň v Evropě, článek 17 Obecného nařízení o ochraně osobních údajů (GDPR) požaduje, aby společnosti odstranily taková uživatelská data na žádost. Jelikož byl tento akt formulován na základě předpokladu, že toto vymazání bude pouze databázový dotaz “drop”, legislativa, která má vzniknout z návrhu EU o umělé inteligenci, bude účinně kopírovat a vkládat ducha GDPR do zákonů, které se vztahují na vyškolené systémy umělé inteligence, spíše než na tabulková data.

Další legislativa je zvažována po celém světě, která bude opravňovat jednotlivce požadovat odstranění svých dat z systémů strojového učení, zatímco zákon o ochraně spotřebitelů v Kalifornii (CCPA) z roku 2018 již poskytuje toto právo státním residentům.

Proč to záleží

Když je dataset vyškoleno do akčního modelu strojového učení, charakteristiky tohoto dat se stávají zobecněnými a abstraktními, protože model je navržen tak, aby odvozoval principy a široké trendy z dat, nakonec produkující algoritmus, který bude užitečný při analýze specifických a nezobecněných dat.

Nicméně, techniky, jako je model inversion, odhalily možnost opětovného identifikování přispívajících dat, která leží v podkladu konečného, abstraktního algoritmu, zatímco členství inference útoky jsou také schopné odhalit zdroj dat, včetně citlivých dat, která mohla být povolena být zahrnuta do datasetu pouze na základě anonymity.

Zvyšující se zájem o toto úsilí nemusí spoléhat na aktivismus ochrany soukromí: jak se sektor strojového učení kommercializuje v příštích deseti letech a národy budou pod tlakem ukončit současnou laissez faire kulturu při používání screen scrapingu pro generování datasetů, bude zde rostoucí komerční pobídka pro IP-enforcing organizace (a IP trollů) dekódovat a přezkoumat data, která přispěla k proprietárním a vysokopříjmovým klasifikačním, inferenčním a generativním rámcům umělé inteligence.

Indukování amnézie u modelů strojového učení

Proto jsme zbývající s výzvou, jak dostat cukr z kávy. Je to problém, který trápí výzkumníky v posledních letech: v roce 2021 EU-podporovaný papír Srovnávací studie o soukromých rizicích knihoven rozpoznávání obličeje zjistil, že několik populárních algoritmů rozpoznávání obličeje bylo schopno umožnit sex nebo rasově založenou diskriminaci v opětovných identifikačních útocích; v roce 2015 výzkum z Kolumbijské univerzity navrhl metodu “strojového zapomínání” založenou na aktualizaci počtu součtů v datech; a v roce 2019 výzkumníci ze Stanfordu nabídli nové algoritmy pro odstranění pro implementace K-means clusteringu.

Nyní výzkumný konsorcium z Číny a USA publikovalo novou práci, která představuje uniformní metriku pro hodnocení úspěchu přístupů k odstranění dat, spolu s novou “nezapomínající” metodou nazvanou Forsaken, kterou výzkumníci tvrdí, že je schopna dosáhnout více než 90% zapomínání, s pouze 5% ztrátou přesnosti v celkovém výkonu modelu.

Papír se jmenuje Naučte se zapomenout: strojové zapomínání prostřednictvím neuronového maskování a obsahuje výzkumníky z Číny a Berkeley.

Neuronové maskování, princip za Forsaken, používá mask gradient generátor jako filtr pro odstranění specifických dat z modelu, účinně aktualizuje model, spíše než donucuje jej k opětovnému vyškolování buď ze scratch nebo ze snapshotu, který nastal před zahrnutím dat (v případě streamovaných modelů, které jsou průběžně aktualizovány).

Architektura mask gradient generátoru. Zdroj: https://arxiv.org/pdf/2003.10933.pdf

Biologické původ

Výzkumníci uvádějí, že tento přístup byl inspirován biologickým procesem “aktivního zapomínání”, kde uživatel podniká rázné kroky k vymazání všech engram buněk pro konkrétní paměť manipulací se speciálním typem dopaminu.

Forsaken neustále vyvolává mask gradient, který replikuje tuto akci, s ochrannými opatřeními, aby zpomalil nebo zastavil tento proces, aby se zabránilo katastrofickému zapomínání necílových dat.

Výhody systému spočívají v tom, že je aplikovatelný na mnoho druhů existujících neuronových sítí, zatímco nedávná podobná práce se těšila úspěchu hlavně v počítačových sítích; a že nezasahuje do procedur školení modelu, ale spíše působí jako doplněk, bez požadavku na změnu základní architektury nebo opětovné školení dat.

Omezení účinku

Odstranění přispívajících dat může mít potenciálně škodlivý účinek na funkčnost algoritmu strojového učení. Aby se tomu zabránilo, výzkumníci využili normální regularizaci, rys normálního školení neuronové sítě, který je běžně používán k zabránění přeučení. Konkrétní implementace zvolená je navržena tak, aby zajistila, že Forsaken ne selže při školení.

K zajištění použitelného rozptylu dat výzkumníci použili out-of-distribution (OOD) data (tj. data, která nejsou zahrnuta v skutečném datasetu, napodobující “citlivá” data v skutečném datasetu) ke kalibraci způsobu, jak by měl algoritmus fungovat.

Testování na datech

Metoda byla testována na osmi standardních datech a obecně dosáhla blízké nebo vyšší zapomínání než plné opětovné školení, s velmi malým dopadem na přesnost modelu.

Zdá se nemožné, že plné opětovné školení na upraveném datasetu by mohlo skutečně hůře než jakákoli jiná metoda, protože cíl dat je zcela nepřítomen. Nicméně, model již abstrahoval různé rysy odstraněných dat v “holografickém” způsobem, podobně jako kapka inkoustu předefinuje utilitu sklenice vody.

V skutečnosti váhy modelu byly již ovlivněny excizovanými daty a jediný způsob, jak zcela odstranit jejich vliv, je reškolit model z absolutní nuly, spíše než mnohem rychlejší přístup k reškolování váženého modelu na upraveném datasetu.