Řízené zapomínání: Další velký výzvou v paměti AI

Already roky se zaměřovala na jeden cíl: udělat systémy, které si lépe pamatují. Školicíme modely na obrovských datech a postupně zlepšujeme jejich schopnost uchovávat a vybavovat informace. Ale nyní si uvědomujeme nepříjemnou realitu. Stejné systémy, které nikdy nezapomínají, jsou nyní uvězněny ve své vlastní paměti. Co dříve vypadalo jako síla, se stalo vážnou slabinou.

Lidé zapomínají přirozeně. Pouštíme informace, přizpůsobujeme se a jdeme dál. Systémy AI fungují jinak. Zapomínají pouze tehdy, když je tomu učíme. To vytváří skutečné problémy. AI má potíže s porušením soukromí, zastaralými informacemi, zabudnutými předsudky a systémy, které se rozpadají, když se učí nové úkoly. Před námi není výzva učinit AI, aby si pamatovalo více. Musíme naučit AI, aby zapomínalo moudře.

Dvě tváře zapomínání

Zapomínání v AI se objevuje ve dvou různých formách, každá se svými vlastními problémy.

První je katastrofické zapomínání. To se stává, když neuronová síť ztratí dříve naučené znalosti po školení na nových úkolech. Například model, který byl školen na rozpoznávání koček a psů, může zapomenout na tuto schopnost po naučení identifikace ptáků.

Druhá forma je řízené zapomínání. To je úmyslné. Zahrnuje úmyslné odstranění určitých informací z naučených modelů. Zákony o ochraně soukromí, jako je GDPR, dávají lidem „právo být zapomenuti“, které vyžaduje, aby společnosti vymazaly data na vyžádání. To není o opravě vadných systémů. Je to o úmyslném odstranění dat, která by neměla být nikdy uložena nebo musí být vymazána na vyžádání.

Tyto dva problémy táhnou v opačných směrech. Jeden vyžaduje, abychom zastavili zapomínání. Druhý vyžaduje, abychom umožnili zapomínání. Řízení obou současně je jednou z nejobtížnějších výzev AI.

Když paměť se stává zátěží

Výzkum AI se dlouho zaměřoval na zlepšení paměti. Modely se staly většími, datové sady většími a kontextové okna delšími. Systémy jako GPT-4o mohou nyní zpracovat 128 000 kontextů, a Claude může dosáhnout 200 000. Tyto pokroky zlepšily výkon, ale také přinesly nové problémy.

Když model zapomíná příliš mnoho, může vyvolat zastaralé nebo irelevantní informace. To plýtvá výpočtem a může zmást uživatele. Například si vezměte chatbota zákaznické podpory, který byl školen na znalostní bázi vaší společnosti. Aktualizujete zásadu, ale po několika interakcích se bot vrátí k staré informaci. To se stává, protože AI nemůže správně priorizovat paměť. AI nemůže rozlišit, co je aktuální a co je staré.

Zákony o ochraně soukromí situaci zhoršují. Podle GDPR, když uživatel požaduje vymazání svých dat, společnosti musí data odstranit. Ale odstranění dat z modelu AI není jako odstranění souboru z počítače. Jakmile se osobní data stanou součástí parametrů modelu, rozšiřují se po milionech spojení uvnitř sítě. Přesvědčování celého systému k odstranění těchto dat je nákladné a často nemožné. Výzkum ukazuje, že větší modely jsou více zranitelné vůči kybernetickým útokům. Čím větší je model, tím více si pamatuje a může reprodukovat soukromá data, když je požádán o pečlivě vytvořené podněty. Útočníci mohou extrahovat informace, ke kterým by se jinak neměli dostat.

Co dělá zapomínání obtížným

Modely AI neukládají školicí příklady jako soubory ve složce. Komprimují a mísí školicí informace do svých váh a aktivací. Odstranění jednoho kusu dat bez narušení všeho ostatního je extrémně obtížné. Kromě toho nemůžeme snadno sledovat, jak konkrétní školicí data ovlivňují vnitřní váhy modelu. Jakmile model naučí data, znalosti se rozšiřují skrze jeho parametry způsobem, který je těžké stopovat.

Přesvědčování modelů od začátku po každém požadavku na vymazání není proveditelné. Když někdo požádá o vymazání svých osobních dat podle GDPR, musíte je odstranit ze systému AI. Ale přesvědčování modelu od začátku každým dnem je příliš nákladné a pomalé ve většině produkčních prostředí. Pro velké jazykové modely školené na miliardách datových bodů by tento přístup byl prohibitivně nákladný a časově náročný.

Ověření zapomínání představuje další výzvu. Jak prokázat, že data byla skutečně zapomenuta? Společnosti potřebují externí audity, aby prokázaly, že data vymazala. Bez spolehlivých metod ověření nemohou podniky prokázat soulad a uživatelé nemohou důvěřovat, že jejich data jsou skutečně pryč.

Tyto výzvy vedly k vytvoření nového oboru zvaného strojové zapomínání. Zaměřuje se na techniky pro odstranění vlivu konkrétních dat z naučených modelů. Ale tyto metody jsou stále v raném stádiu. Přesné zapomínání často vyžaduje přesvědčování modelu, zatímco aproximativní metody mohou zanechat stopy vymazaných informací.

Stabilita-plasticita dilema

Jádrovou výzvou, kterou musíme řešit, je zabránit katastrofickému zapomínání a umožnit řízené zapomínání. To nás vede k hlavnímu problému, se kterým se AI potýká: stabilita-plasticita dilema. Modely musí být dostatečně flexibilní, aby se naučily nové informace, ale dostatečně stabilní, aby si uchovávaly staré znalosti. Pokud tlačíme model příliš daleko směrem ke stabilitě, nemůže se přizpůsobit. Na druhou stranu, pokud tlačíme model příliš daleko směrem k flexibilitě, může zapomenout vše, co dříve naučil.

Lidská paměť poskytuje užitečné nápady, jak řešit toto dilema. Neurověda říká, že zapomínání není chyba. Je to aktivní proces. Mozek zapomíná úmyslně, aby se učení lépe dařilo. Odstraňuje nebo potlačuje staré nebo nízkohodnotné informace, aby nové vzpomínky zůstaly přístupné. Když lidé naučí nový jazyk, nezmazávají starý. Ale pokud přestanou jej používat, vzpomínka se stává obtížnější. Informace jsou stále tam, pouze deprioritizované. Mozek používá selektivní potlačení, ne mazání.

Vědci AI začínají přijímat podobné nápady. Generativní přehrávání techniky napodobují, jak mozek ukládá vzpomínky. Vytvářejí abstraktní reprezentace minulých znalostí místo ukládání surových dat. To snižuje katastrofické zapomínání a udržuje paměť kompaktní. Další slibný nápad je inteligentní úpadek. Uložené vzpomínky jsou ohodnoceny podle toho, jak nedávné jsou, jak relevantní jsou a jak užitečné jsou. Méně důležité vzpomínky postupně ztrácejí prioritu a jsou zřídka vyvolávány. To udržuje informace dostupné, ale skryté, pokud nejsou potřeba. Systémy AI mohou spravovat velké znalostní báze bez odhazování potenciálně cenných informací.

Cílem není vymazat, ale vyvážit paměť a zapomínání inteligentně.

Jak vypadá budoucnost

Průmysl se pohybuje ve třech hlavních směrech.

První jsou hybridní architektury paměti. Tyto systémy kombinují epizodickou paměť (konkrétní zkušenosti) se sémantickou pamětí (obecné znalosti). Používají mechanismy rankingu a prořezávání, aby udržely důležité informace, zatímco potlačují to, co je méně relevantní. Vektorové databáze, jako Pinecone a Weaviate, pomáhají spravovat a vyvolávat takovou paměť efektivně.

Druhé jsou technologie, které zlepšují soukromí. Techniky, jako je federované učení, diferenciální soukromí a homomorfické šifrování, snižují potřebu citlivých osobních dat. Tyto metody umožňují modelům školení spolupracující nebo zabezpečené bez sběru citlivých uživatelských informací. Neřeší zapomínání přímo, ale snižují množství osobních dat, která musí být později zapomenuta.

Třetí je strojové zapomínání, které zlepšuje. Nové metody mohou upravit parametry modelu spojené se specifickými daty bez úplného přesvědčování. Tyto přístupy jsou v raném stádiu, ale pohybují se směrem k souladu s požadavky na vymazání dat. Přesto zůstává obtížné ověřit, zda zapomínání skutečně odstraní všechny stopy dat. Vědci vyvíjejí testy, aby měřili, jak dobře funguje.

Závěrečné shrnutí

Systémy AI se staly excelentními v paměti. Ale jsou stále špatné v zapomínání. Tato mezera se stává obtížnější ignorovat. Jak AI roste silnější a regulace přísnější, schopnost zapomínat moudře bude mít stejnou důležitost jako schopnost pamatovat. Abychom udělali AI bezpečnější, přizpůsobivější a více vědomou soukromí, musíme naučit AI, aby zapomínalo pečlivě, selektivně a inteligentně. Řízené zapomínání nejen ochrání soukromí dat, ale také pomůže systémům AI vyvíjet se bez toho, aby se staly vězni své vlastní paměti.