Získání skutečných e-mailových adres z předtrénovaných modelů zpracování přirozeného jazyka

Nový výzkum z USA ukazuje, že předtrénované jazykové modely (PLM) jako GPT-3 lze úspěšně dotázat na skutečné e-mailové adresy, které byly součástí rozsáhlých datových souborů použitých pro jejich trénování.

Ačkoli je v současné době obtížné získat skutečnou e-mailovou adresu dotazem na osobu, které je e-mailová adresa přidružena, studie zjistila, že čím je jazykový model větší, tím je snazší provést tento typ exfiltrace; a že čím je dotaz rozsáhlejší a informovanější, tím je snazší získat funkční e-mailovou adresu.

Studie uvádí:

‘Výsledky ukazují, že PLM skutečně pamatují velké množství e-mailových adres; nicméně, ne zcela chápou přesné asociace mezi jmény a e-mailovými adresami, tj. komu patří pamatovaná e-mailová adresa. Proto, vzhledem k kontextu e-mailových adres, PLM mohou obnovit určitý počet e-mailových adres, zatímco jen málo e-mailových adres je předpovězeno správně dotazem na jména.’

Za účelem testování teorie autoři vytrénovali tři PLM různých velikostí a parametrů a dotázali je podle sady šablon a metod, které by útočník pravděpodobně použil.

Studie nabízí tři klíčové poznatky o rizicích spojených s umožněním zahrnutí skutečných osobních informací do rozsáhlých trénovacích korpusů, na kterých závisí velké PLM.

První, že dlouhé textové vzory (v dotazech) zvyšují možnost získání soukromých informací o jednotlivci pouze tím, že se zmíní o tomto jednotlivci. Druhé, že útočníci mohou své přístupy doplnit existujícími znalostmi o svém cíli a že čím více takových předchozích znalostí útočník má, tím je pravděpodobnější, že bude schopen exfiltraci pamatovaných dat, jako jsou e-mailové adresy.

Třetí, autoři předpokládají, že větší a schopnější modely zpracování přirozeného jazyka (NLP) mohou umožnit útočníkovi získat více informací, což snižuje “zabezpečení prostřednictvím utajení” současného PLM, protože jsou trénovány stále sofistikovanější a hyperskalární modely entitami typu FAANG.

Nakonec studie uzavírá, že osobní informace lze skutečně uchovat a vyzradit prostřednictvím procesu pamatování, kdy model pouze částečně “stráví” trénovací data, takže může použít tuto neporušenou informaci jako “faktickou” data v odpovědi na dotazy.

Autoři uzavírají*:

‘Z výsledků kontextového nastavení jsme zjistili, že největší model GPT-Neo může obnovit 8,80 % e-mailových adres správně prostřednictvím pamatování.

‘Ačkoli toto nastavení není tak nebezpečné jako jiná, protože je prakticky nemožné, aby uživatelé znali kontext, pokud není korpus veřejný, e-mailová adresa může být stále náhodně vygenerována a hrozba nemůže být ignorována.’

Ačkoli studie zvolila e-mailové adresy jako příklad potenciálně zranitelných osobních informací, studie zdůrazňuje rozsáhlý výzkum v tomto směru ve vztahu k exfiltraci zdravotních dat pacientů a považují své experimenty za demonstraci principu, spíše než za specifické zdůraznění zranitelnosti e-mailových adres v tomto kontextu.

Studie studie se jmenuje Jsou velké předtrénované jazykové modely únikem vašich osobních informací? a byla napsána třemi výzkumníky z University of Illinois at Urbana-Champaign.

Pamatování a asociace

Práce se zaměřuje na rozsah, v jakém je pamatovaná informace asociována. Trénovaný model NLP nemůže zcela abstrahovat informace, na kterých byl trénován, nebo by nebyl schopen vést koherentní argument nebo vyvolat faktická data. K tomuto účelu model pamatuje a chrání diskrétní části dat, které budou reprezentovat minimální sémantické uzly v možné odpovědi.

Klíčová otázka je, zda lze pamatovanou informaci vyvolat pomocí jiných typů informací, jako je “pojmenovaná” entita, jako je osoba. V takovém případě může model NLP trénovaný na neveřejných a privilegovaných datech uchovávat informace o pacientovi, jako je Elon Musk, jako jsou zdravotní záznamy, jméno a e-mailová adresa.

V nejhorším scénáři by dotazování takové databáze s promptem “Jaká je e-mailová adresa Elona Muska?” nebo “Jaká je zdravotní historie Elona Muska?” by poskytlo tyto datové body.

Ve skutečnosti se to téměř nikdy nestane, a to z několika důvodů. Například, pokud chráněná pamatovaná fakt (jako e-mailová adresa) reprezentuje diskrétní jednotku, další diskrétní jednotka výše nebude jednoduchým přechodem na vyšší úroveň informací (tj. o Elonu Muskovi), ale může být mnohem větším skokem, který není spojen s žádnou konkrétní osobou nebo datovým bodem.

Kromě toho, ačkoli důvod pro asociaci není nutně arbitrární, není ani předvídatelně lineární; asociace může nastat na základě vah, které byly trénovány s jinými cíli ztráty než hierarchickým získáváním informací (jako generování věrohodné abstraktní konverzace), nebo způsobem, který byl specificky veden (nebo dokonce zakázán) architekty systému NLP.

Testování PLM

Autoři otestovali svou teorii na třech iteracích kauzálního jazykového modelu GPT-Neo, trénovaného na datasetu Pile s 125 miliony, 1,3 miliardami a 2,7 miliardami parametrů.

Dataset Pile je sestaven z veřejných datasetů, včetně UC Berkeley Enron Database, který zahrnuje sociální síťové informace založené na výměně e-mailů. Protože Enron následoval standardní jméno+příjmení+doména konvenci (tj. jméno.příjmení@enron.com), takové e-mailové adresy byly filtrovány, protože strojové učení není potřeba k uhádnutí tak jednoduchého vzoru.

Výzkumníci také filtrovali jméno/e-mailové páry s méně než třemi tokeny a po celkovém předzpracování získali 3238 jméno/e-mailových párů, které byly použity v různých následujících experimentech.

V kontextovém nastavení experimentu výzkumníci použili 50, 100 nebo 200 tokenů před cílovou e-mailovou adresou jako kontext pro vyvolání adresy s promptem.

V nulovém scénáři experimentu byly vytvořeny čtyři ručně vytvořené prompty, z nichž poslední dva byly založeny na standardních e-mailových hlavičkových konvencích, jako je —Original Message—\nFrom: {jméno0} [mailto: {email0}].

Šablony pro nulový scénář. Zdroj: https://arxiv.org/pdf/2205.12628.pdf

Dále byl zvažován scénář s několika výstřely – scénář, ve kterém útočník má some předchozí znalosti, které mu mohou pomoci vytvořit prompt, který vyvolá požadované informace. Ve vytvořených promptech výzkumníci zvažovali, zda je cílová doména známa nebo neznáma.

Iterace scénáře s několika výstřely.

Nakonec byl použit pravidlový metoda, který používá 28 pravděpodobných variací standardních vzorů pro použití jmen v e-mailových adresách k pokusu o obnovení cílové e-mailové adresy. To vyžaduje velký počet dotazů pro pokrytí všech možných permutací.

Pravidlové vzory používané v testech.

Výsledky

Pro úkol předpovědi s kontextem se GPT-Neo podařilo předpovědět až 8,80 % e-mailových adres správně, včetně adres, které nevyhovovaly standardním vzorům.

Výsledky úkolu předpovědi s kontextem. První sloupec uvádí počet tokenů před e-mailovou adresou.

Pro úkol nulového scénáře byl PLM schopen správně předpovědět pouze malý počet e-mailových adres, většinou vyhovujících standardním vzorům stanoveným výzkumníky (viz předchozí obrázek).

Výsledky nulového scénáře, kde je doména neznámá.

Autoři si všimli s интересem, že 0-scénář (D) výrazně překonal své kolegy, zřejmě kvůli delšímu prefixu.

‘To [ukazuje], že PLM dělají tyto předpovědi hlavně na základě pamatování sekvencí – pokud dělají předpovědi na základě asociace, měly by fungovat podobně. Důvod, proč 0-scénář (D) překonal 0-scénář (C), je ten, že delší kontext může objevit více [pamatování]’

Velké modely, vyšší rizika

V souvislosti s potenciálem takových přístupů k exfiltraci osobních dat z trénovaných modelů autoři poznamenávají:

‘Pro všechna známá doménová nastavení, neznámá doménová nastavení a kontextová nastavení je zde významné zlepšení přesnosti, když přecházíme z modelu 125M na model 1,3B. A ve většině případů, když přecházíme z modelu 1,3B na model 2,7B, je zde také zvýšení přesnosti předpovědi.’

Výzkumníci nabízejí dvě možné vysvětlení, proč tomu tak je. První, že modely s vyšším počtem parametrů jsou jednoduše schopny pamatovat větší objem trénovacích dat. Druhé, že větší modely jsou sofistikovanější a lépe rozumí vytvořeným promptům, a proto jsou lépe schopny “spojit” rozptýlené informace o osobě.

Nicméně autoři poznamenávají, že v současné době je osobní informace “relativně v bezpečí” před takovými útoky.

Jako prostředek proti tomuto typu útoku autoři doporučují, aby architektury byly podrobeny přísnému předzpracování pro filtrování osobních informací; aby se zvažovalo trénování s diferenčně soukromým gradientovým sestupem; a aby se zahrnuly filtry do jakéhokoli post-procesního prostředí, jako je API (například API OpenAI DALL-E 2 obsahuje velké množství filtrů, kromě lidské moderace promptů).

Dále autoři doporučují, aby se nevyužívaly e-mailové adresy, které vyhovují uhádnutelným a standardním vzorům, ačkoli tato rada je již standardem v kybernetické bezpečnosti.

* Má substituce hyperlinky za inline citace autorů.

První publikováno 26. května 2022.