Syntetická data spolehlivě nechrání soukromí, tvrdí výzkumníci

Nová výzkumná spolupráce mezi Francií a Spojeným královstvím vyvolává pochybnosti o rostoucí důvěře v to, že syntetická data mohou řešit problémy s ochranou soukromí, kvalitou a dostupností (mezi jinými problémy), které ohrožují pokrok v oblasti strojového učení.

Mezi několika důležitými body, které autoři adresují, se tvrdí, že syntetická data modelovaná z reálných dat uchovávají dostatek skutečných informací, aby neposkytovala spolehlivou ochranu proti útokům na inferenci a členství, které se snaží deanonimizovat data a znovu spojit je s skutečnými lidmi.

Dále se uvádí, že osoby, které jsou nejvíce ohroženy takovými útoky, včetně těch s kritickými zdravotními stavy nebo vysokými nemocničními účty (v případě anonymizace zdravotních záznamů), jsou kvůli “outlier” povaze svého stavu nejpravděpodobněji identifikovány těmito technikami.

V článku se uvádí:

‘Při přístupu k syntetickému datovému souboru může strategický nepřítel s vysokou jistotou odvodit přítomnost cílového záznamu v původních datech.’

Článek také uvádí, že differenciálně soukromá syntetická data, která zakrývají сигнатуру jednotlivých záznamů, skutečně chrání soukromí jednotlivců, ale pouze tím, že významně oslabují užitečnost systémů pro vyhledávání informací, které je používají.

Pokud vůbec, autoři pozorují, že diferenciálně soukromé přístupy – které používají “skutečné” informace ‘na jedné úrovni’ prostřednictvím syntetických dat – činí bezpečnostní scénář horším, než by tomu bylo jinak:

‘[Syntetická] data nesouvisejí s žádnou transparentností ohledně tohoto kompromisu. Je nemožné předpovědět, jaké charakteristiky dat budou uchovány a které vzory budou potlačeny.’

Nový článek, nazvaný Syntetická data – Anonymizace Groundhog Day, pochází od dvou výzkumníků z École Polytechnique Fédérale de Lausanne (EPFL) v Paříži a jednoho výzkumníka z University College London (UCL).

Výzkumníci provedli testy stávajících soukromých generativních modelů pro školení a zjistili, že některé implementační rozhodnutí porušují formální záruky soukromí poskytnuté v rámci, což vystavuje různé záznamy útokům na inferenci.

Autoři nabízejí revidovanou verzi každého algoritmu, která potenciálně zmírňuje tyto expozice, a zpřístupňují kód jako open source knihovnu. Tvrdí, že to pomůže výzkumníkům zhodnotit zisky soukromí syntetických dat a užitečně porovnat populární metody anonymizace. Nový rámec zahrnuje dvě relevantní metody útoků na soukromí, které lze aplikovat na jakýkoli algoritmus pro školení generativních modelů.

Syntetická data

Syntetická data se používají pro školení modelů strojového učení v různých scénářích, včetně případů, kdy nedostatek komplexních informací může být potenciálně doplněn ersatz daty. Jedním z příkladů je možnost použití CGI generovaných tváří pro poskytování “obtížných” nebo vzácných fotografií tváří pro syntézu obrazů, kde profilové obrázky, akutní úhly nebo neobvyklé výrazy jsou často vzácně vidět v zdrojovém materiálu.

Jiné typy CGI obrazů byly použity k naplnění datových sad, které budou nakonec spuštěny na nesyntetických datech, jako jsou datové sady, které obsahují ruce a nábytek.

Z hlediska ochrany soukromí lze syntetická data generovat z reálných dat pomocí Generative Adversarial Network (GAN) systémů, které extrahují funkce z reálných dat a vytvářejí podobná, fiktivní záznamy, které se pravděpodobně dobře zobecní na pozdější (nepozorované, reálná) data, ale jsou určena k zakrytí podrobností skutečných osob uvedených v zdrojových datech.

Metodika

Pro účely nového výzkumu autoři vyhodnotili zisky soukromí napříč pěti generativními modely pro školení. Tři z modelů nenabízejí explicitní ochranu soukromí, zatímco zbylé dva poskytují diferenciální záruky soukromí. Tyto tabulkové modely byly vybrány tak, aby reprezentovaly širokou škálu architektur.

Modely, které byly napadeny, byly BayNet, PrivBay (odvozenina PrivBayes/BayNet), CTGAN, PATEGAN a IndHist.

Rámec pro hodnocení modelů byl implementován jako Python knihovna se dvěma základními třídami – GenerativeModels a PrivacyAttacks. Druhá třída zahrnuje dvě části – členství v odvozování nepřítele a útok na členství. Rámec je také schopen hodnotit soukromé výhody “sanitizovaných” (tj. anonymizovaných) dat a syntetických dat.

Dvě datové sady použité v testech byly Adult Data Set z UCI Machine Learning Repository a Hospital Discharge Data Public Use Data File z Texas Department of State Health Services. Verze datové sady Texas použitá výzkumníky obsahuje 50 000 záznamů vybraných z pacientských záznamů za rok 2013.

Útoky a zjištění

Obecným cílem výzkumu je stanovit “propojení” (znovu spojení reálných dat se syntetickými daty, která jimi byla inspirovaná). Útočné modely použité ve studii zahrnují Logistickou Regresi, Náhodné Lesy a K-Nearest Neighbors klasifikátory.

Autoři vybrali dvě cílové skupiny složené z pěti náhodně vybraných záznamů pro “menšinové” kategorie populace, protože tyto jsou nejvíce náchylné k útoku na propojení. Vybrali také záznamy s “vzácnými kategoriálními atributy” mimo 95. percentil atributu. Příklady zahrnují záznamy související s vysokým rizikem mortality, vysokými celkovými nemocničními poplatky a závažností nemoci.

Ačkoli článek na tomto aspektu nepodrobněji expanduje, z pohledu pravděpodobných skutečných útočníků jsou tyto přesně ty “drahé” nebo “vysoké riziko” pacienti, kteří jsou nejpravděpodobněji cílem útoků na členství a jiných typů exfiltračních přístupů k pacientským záznamům.

Byly vyškoleny multiple útočné modely proti veřejným referenčním informacím, aby se vyvinuly “stínové modely” nad deseti cíli. Výsledky napříč řadou experimentů (jak je popsáno dříve) ukazují, že řada záznamů byla “vysoce zranitelná” vůči útokům na propojení zaměřeným na ně výzkumníky. Výsledky také ukázaly, že 20 % všech cílů ve studiích získalo zisk soukromí nula ze syntetických dat vytvořených metodami GAN.

Výzkumníci poznamenávají, že výsledky se lišily v závislosti na metodě použité pro generování syntetických dat, útočném vektoru a funkcích cílové datové sady. Zpráva zjistila, že v mnoha případech efektivní potlačení identity prostřednictvím syntetických dat snižuje užitečnost výsledných systémů. Efektivně, taková systémová užitečnost a přesnost mohou být v mnoha případech přímým indexem toho, jak jsou zranitelné vůči útokům na znovuspojení.

Výzkumníci uzavírají:

‘Pokud syntetická datová sada uchovává charakteristiky původních dat s vysokou přesností a uchovává tak data pro použití, zároveň umožňuje nepřátelům extrahovat citlivé informace o jednotlivých osobách.

‘Vysoký zisk soukromí prostřednictvím některé z anonymizačních mechanismů, které jsme vyhodnotili, lze získat pouze tehdy, pokud zveřejněná syntetická nebo sanitizovaná verze původních dat nezachovává signál jednotlivých záznamů v surových datech a fakticky potlačuje jejich záznam.’