Jak udělat, aby se model strojového učení zapomněl na vás

Odstranění konkrétního kusu dat, který přispěl k modelu strojového učení, je jako pokus o odstranění druhého lžičky cukru z šálky kávy. Data jsou v tomto okamžiku již vnitřně propojena s mnoha dalšími neurony v modelu. Pokud bod dat reprezentuje “definující” data, která se podílela na nejranější, vysokodimenzionální části tréninku, pak jeho odstranění může radikálně změnit, jak model funguje, nebo dokonce vyžadovat, aby byl znovu vyškolen, a to za určitých nákladů času a peněz.

Přestože v Evropě alespoň článek 17 Obecného nařízení o ochraně osobních údajů (GDPR) požaduje, aby společnosti odstranily taková uživatelská data na žádost. Jelikož tento akt byl formulován na základě toho, že toto vymazání bude pouze databázovým dotazem “drop”, legislativa, která má vzniknout z návrhu EU o umělé inteligenci, bude účinně kopírovat a vkládat ducha GDPR do zákonů, které se vztahují na trénované systémy umělé inteligence, spíše než na tabulární data.

Další legislativa je zvažována po celém světě, aby jednotlivcům umožnila požadovat odstranění svých dat z systémů strojového učení, zatímco kalifornský zákon o ochraně spotřebitelů z roku 2018 již poskytuje toto právo státním residentům.

Proč je to důležité

Když je dataset trénován do akčního modelu strojového učení, charakteristiky tohoto dat se stávají zobecněnými a abstraktními, protože model je navržen tak, aby odvozoval principy a široké trendy z dat, nakonec produkující algoritmus, který bude užitečný pro analýzu specifických a nezobecněných dat.

Jednak techniky, jako je inverze modelu, odhalily možnost reidentifikace přispívajících dat, která leží pod konečným, abstraktním algoritmem, zatímco útoky na inferenci členství jsou také schopny odhalit zdrojová data, včetně citlivých dat, která mohla být zahrnuta do datasetu pouze na základě anonymity.

Zvyšující se zájem o toto úsilí nemusí záviset na aktivismu za soukromí: protože se sektor strojového učení komercializuje v příštích deseti letech a národy budou pod tlakem, aby ukončily současnou laissez faire kulturu při používání screen scrapingu pro generování datasetů, bude zde rostoucí komerční pobídka pro organizace, které vymáhají práva duševního vlastnictví (a trollů), aby dekódovaly a prohlédly data, která přispěla k proprietárním a vysokodosažným rámcům klasifikace, inferenze a generativních AI.

Vyvolání amnézie u modelů strojového učení

Proto jsme zůstali s výzvou, jak dostat cukr z kávy. Je to problém, který trápí výzkumníky v posledních letech: v roce 2021 Evropsky podporovaný článek Srovnávací studie o rizicích soukromí knihoven rozpoznávání obličeje zjistil, že několik populárních algoritmů rozpoznávání obličeje je schopno umožnit sexuální nebo rasové diskriminaci při reidentifikačních útocích; v roce 2015 výzkum z Kolumbijské univerzity navrhl metodu “mašinového zapomínání” založenou na aktualizaci počtu součtů v datech; a v roce 2019 výzkumníci ze Stanfordu nabídli nové algoritmy odstranění pro implementace K-means clusteringu.

Nyní výzkumný konsorcium z Číny a USA zveřejnilo novou práci, která představuje uniformní metriku pro hodnocení úspěchu přístupů k odstranění dat, spolu s novou “nezapomínající” metodou nazvanou Forsaken, kterou výzkumníci tvrdí, že je schopna dosáhnout zapomínání více než 90 % s pouze 5% ztrátou přesnosti v celkovém výkonu modelu.

Článek se jmenuje Naučte se zapomenout: Mašinové zapomínání prostřednictvím maskování neuronů a obsahuje výzkumníky z Číny a Berkeley.

Maskování neuronů, princip Forsaken, používá maskový gradient generátor jako filtr pro odstranění specifických dat z modelu, efektivní aktualizaci místo toho, aby byl model nucen být znovu vyškolen buď ze scratche nebo ze snapshotu, který nastal před zahrnutím dat (v případě streamovaných modelů, které jsou průběžně aktualizovány).

Architektura maskového gradientu generátoru. Source: https://arxiv.org/pdf/2003.10933.pdf

Biologické původy

Výzkumníci uvádějí, že tento přístup byl inspirován biologickým procesem “aktivního zapomínání”, kde uživatel podniká rázné kroky k vymazání všech engramových buněk pro konkrétní paměť manipulací se speciálním typem dopaminu.

Forsaken kontinuálně vyvolává maskový gradient, který replikuje tuto akci, se zárukami, aby zpomalil nebo zastavil tento proces, aby se zabránilo katastrofickému zapomínání necílových dat.

Výhody systému spočívají v tom, že je aplikovatelný na mnoho druhů existujících neuronových sítí, zatímco nedávná podobná práce měla úspěch převážně v počítačových sítích vidění; a že neinterferuje s procedurami školení modelu, ale spíše funguje jako doplněk, bez požadavku na změnu základní architektury nebo opětovné školení dat.

Omezení účinku

Odstranění přispívajících dat může mít potenciálně škodlivý účinek na funkčnost algoritmu strojového učení. Aby se tomu zabránilo, výzkumníci využili normální regularizaci, funkci normálního trénování neuronových sítí, která se běžně používá k zabránění přeučení. Konkrétní implementace je navržena tak, aby zajistila, že Forsaken ne selže při konvergenci trénování.

Pro stanovení použitelného rozptylu dat výzkumníci použili out-of-distribution (OOD) data (tj. data, která nejsou zahrnuta v skutečném datasetu, napodobující “citlivá” data v skutečném datasetu) ke kalibraci toho, jak by měl algoritmus fungovat.

Testování na datech

Metoda byla testována na osmi standardních datech a obecně dosáhla zapomínání blízkého nebo vyššího než úplné opětovné trénování, s velmi malým dopadem na přesnost modelu.

Zdá se nemožné, že úplné opětovné trénování na upraveném datasetu by mohlo skutečně hůře než jakákoli jiná metoda, protože cílová data jsou zcela nepřítomná. Nicméně, model již v tomto okamžiku abstrahoval různé rysy odstraněných dat “holografickým” způsobem, způsobem (pomocí analogie), že kapka inkoustu předefinuje užitečnost sklenice vody.

V skutečnosti již váhy modelu byly ovlivněny excizovanými daty, a jediný způsob, jak zcela odstranit jejich vliv, je retrainovat model z absolutní nuly, spíše než mnohem rychlejší přístup k retrainování váhového modelu na upraveném datasetu.