Synteettinen data ei suojele luotettavasti yksityisyyttä, tutkijat väittävät

Uusi ranskalais-brittiläinen tutkimusyhteistyö kyseenalaistaa kasvavan teollisuuden luottamuksen siihen, että synteettinen data voi ratkaista yksityisyyden, laadun ja saatavuuden ongelmat (muiden asioiden ohella), jotka uhkaavat edistystä koneoppimisalalla.

Muiden keskeisten kohtien ohella kirjoittajat väittävät, että synteettinen data, joka on mallinnettu oikeasta datasta, säilyttää tarpeeksi aitoa tietoa, jotta se ei tarjoa luotettavaa suojaa johtopäätös- ja jäsenyyshyökkäyksiltä, jotka pyrkivät de-anonyymisoimaan dataa ja yhdistämään sen uudelleen oikeiden ihmisten kanssa.

Lisäksi ne henkilöt, jotka ovat alttiimpia tällaisille hyökkäyksille, mukaan lukien ne, joilla on kriittisiä terveydentilaa tai korkeita sairaalalaskuja (tapauksessa, jossa lääketieteen rekisteröinti on anonyymissä), ovat “poikkeavan” luonteen vuoksi useimmiten todennäköisimmin uudelleen tunnistettavissa näillä menetelmillä.

Tutkimus toteaa:

‘Jos sinulla on pääsy synteettiseen tietokantaan, strateginen vihollinen voi johtaa, korkealla luottamuksella, kohdetiedon läsnäolon alkuperäisessä datasta.’

Tutkimus toteaa myös, että erottelukykyisesti yksityinen synteettinen data, joka peittää yksittäisten tietueiden signaatin, suojelee todella yksityisyyttä, mutta vain rajoittamalla merkittävästi tiedonhakujärjestelmien hyödyllisyyttä, jotka sitä käyttävät.

Jos mikä tahansa, tutkijat toteavat, että eroottiset lähestymistavat – jotka käyttävät “aitoa” tietoa “yhdellä etäisyydellä” synteettisen datan kautta – tekevät turvallisuustilanteen huonommaksi kuin se olisi ollut muuten:

‘[Synteettiset] tietokannat eivät anna mitään avoimuutta tästä tasapainosta. On mahdotonta ennustaa, mitkä dataominaisuudet säilytetään ja mitkä mallit tukahdutetaan.’

Uusi tutkimus, joka on nimeltään Synteettinen data – Anonyymisyyden määräaikaisuus, tulee kahdelta tutkijalta École Polytechnique Fédérale de Lausannesta (EPFL) Pariisista ja yhdeltä tutkijalta University College Lontoon (UCL) yliopistosta.

Tutkijat suorittivat olemassa olevien yksityisten generatiivisten mallien koulutusalgoritmioiden testejä ja totesivat, että tietyt toteutus päätökset rikkoivat viralliset yksityisyydensuojaukset, jotka on annettu kehyksissä, jättäen moninaiset tietueet alttiina johtopäätöshyökkäyksille.

Tutkijat tarjoavat kunkin algoritmin uudelleen revisoidun version, joka mahdollisesti lievittää näitä altistumia, ja he ovat tekemässä koodin saataville avoimena kirjastona. He väittävät, että tämä auttaa tutkijoita arvioimaan synteettisen datan yksityisyyden hyötyjä ja vertaamaan hyödyllisesti suosittuja anonyymisyyden menetelmiä. Uusi kehys sisältää kaksi asiaankuuluvaa yksityisyyden hyökkäysmenetelmää, jotka voidaan soveltaa mihin tahansa generatiiviseen mallin koulutus algoritmiin.

Synteettinen data

Synteettistä dataa käytetään kouluttamaan koneoppimismalleja erilaisissa tilanteissa, mukaan lukien tapauksissa, joissa tietojen puute voidaan potentiaalisesti täydentää ersatz-dataa. Yksi esimerkki tästä on mahdollisuus käyttää CGI:llä luotuja kasvoja “vaikeiden” tai harvinaisten kasvokuvien antamiseen kuvasynteesiaineistoihin, joissa profiilikuva, terävät kulmat tai epätavalliset ilmeet ovat usein harvinaisia alkuperäisessä materiaalissa.

Muita CGI-kuvia on käytetty populoimaan tietokantoja, jotka lopulta suoritetaan ei-synteettisellä datasta, kuten tietokantoja, jotka sisältävät käsiä ja kalusteita.

Yksityisyyden suojelun kannalta synteettistä dataa voidaan generoida oikeasta datasta Generatiivisen Adversarial Network (GAN) -järjestelmillä, joka poistaa ominaisuuksia oikeasta datasta ja luo samankaltaisia, kuvitteellisia tietueita, jotka ovat todennäköisesti yleistettävissä myöhempään (näkymättömään, oikeaan) dataan, mutta on tarkoitus peittää oikeiden ihmisten yksityiskohtia, jotka ovat mukana alkuperäisessä datasta.

Menetelmä

Tutkimuksen tarkoituksiin tutkijat arvioivat yksityisyyden hyötyjä viidellä generatiivisella mallin koulutus algoritmilla. Kolme mallia ei tarjoa eksplisiittistä yksityisyydensuojaa, kun taas kaksi muuta tarjoaa differentiaalisen yksityisyyden takeet. Nämä tabulaarisen mallit valittiin edustamaan laajaa valikoimaa arkkitehtuureja.

Hyökättyjä malleja olivat BayNet, PrivBay (johdannainen PrivBayes/BayNet), CTGAN, PATEGAN ja IndHist.

Mallien arviointikehys toteutettiin Python-kirjastona, jossa on kaksi ydinklassia – Generatiiviset mallit ja Yksityisyyden hyökkäykset. Jälkimmäisessä on kaksi puolta – jäsenyysjohtopäätöshyökkääjä ja jäsenyysjohtopäätöshyökkäys. Kehys on myös kykenevä arvioimaan “puhdistetun” (ts. anonyymisen) datan ja synteettisen datan yksityisyyden hyötyjä.

Kaksi tutkimuksessa käytettyä tietokantaa olivat Aikuisten tietokanta UCI Machine Learning -rekisteristä ja Sairaaloiden päästödatan julkiset käyttötiedot Texasin osavaltion terveyspalvelujen departementista. Texasin tietokanta, jota tutkijat käyttivät, sisälsi 50 000 tietuetta, jotka oli otettu potilastiedoista vuodelta 2013.

Hyökkäykset ja löydökset

Tutkimuksen yleinen tavoite on vakiinnuttaa “linkittäminen” (oikean datan uudelleenliittäminen synteettiseen dataan, joka oli siitä inspiroitu). Tutkimuksessa käytettyjä hyökkäysmalleja ovat logistinen regressio, satunnainen metsä ja lähin naapuri -luokittelijat.

Tutkijat valitsivat kaksi kohderyhmää, jotka koostuivat viidestä satunnaisesti valitusta tietueesta “vähemmistöryhmistä” väestöstä, koska nämä ovat useimmiten alttiimpia linkittämis hyökkäyksille. He valitsivat myös tietueita, joilla oli “harvinaisia kategorisia attribuuttiarvoja” ulottuu sen attribuutin 95. prosenttiin. Esimerkkejä tällaisista tietueista ovat tietueet, jotka liittyvät korkeaan kuolemanvaaraan, korkeisiin sairaalalaskuihin ja sairauden vakavuuteen.

Vaikka tutkimus ei täsmentä tätä asiaa, todennäköisten hyökkääjien näkökulmasta nämä ovat juuri sellaisia “kalliita” tai “korkean riskin” potilaita, jotka ovat todennäköisimmin kohteina jäsenyysjohtopäätöksille ja muiden tyyppien tietojen eksfiltroitumiselle.

Useita hyökkäysmalleja koulutettiin julkisen viiteinformaation kanssa kehittämään “varjomalleja” kymmenen kohdetiedon yli. Tulokset useissa kokeissa (kuten aiemmin kuvattu) osoittavat, että useita tietueita oli “erittäin haavoittuvia” linkittämis hyökkäyksille, jotka tutkijat kohdistivat niihin. Tulokset osoittavat myös, että 20 % kaikista kokeiden kohteista sai yksityisyyden hyödyn nolla synteettisestä datasta, jota GAN -menetelmillä tuotettiin.

Tutkijat toteavat, että tulokset vaihtelivat riippuen siitä, mitä menetelmää käytettiin synteettisen datan tuottamiseen, hyökkäysvektoriin ja kohdetietokannan ominaisuuksiin. Raportti toteaa, että useissa tapauksissa synteettisen datan lähestymistapojen tehokas identiteetin suojaus alentaa järjestelmien hyödyllisyyttä. Vaikuttavasti, näiden järjestelmien hyödyllisyys ja tarkkuus voivat useissa tapauksissa olla suora indeksi siitä, kuinka haavoittuvia ne ovat uudelleen tunnistamis hyökkäyksille.

Tutkijat toteavat:

‘Jos synteettinen tietokanta säilyttää alkuperäisen datan ominaisuuksia korkealla tarkkuudella ja siten säilyttää datan hyödyllisyyden sovelluksille, joita se on mainostettu, se samalla mahdollistaa vihollisten poistamaan arkaluontoisia tietoja yksityisyydestä.

‘Korkea yksityisyyden hyöty minkä tahansa anonyymisyyden mekanismien kautta, joita arvioimme, voidaan saavuttaa vain, jos julkaistu synteettinen tai puhdistettu versio alkuperäisestä datasta ei kanna alkuperäisen datan signaalia ja siten tukahduttaa sen tietueen.’