Todellisten sähköpostiosoitteiden hakeminen esikoulutetuista luonnollisen kielen mallista

Yhdysvalloista saadut uudet tutkimustulokset osoittavat, että esikoulutetut kielen mallit (PLM), kuten GPT-3, voidaan onnistuneesti kysyä todellisista sähköpostiosoitteista, jotka sisältyvät laajoihin aineistoihin, joita niiden koulutukseen käytetään.

Vaikka on tällä hetkellä vaikea saada todellinen sähköpostiosoite kysymällä kielen mallilta henkilöstä, jolle sähköpostiosoite on liitetty, tutkimus osoittaa, että mitä suurempi kielen malli on, sitä helpompi on tämänkaltaisen tiedon poistaminen; ja mitä laajempi ja informoitu kysymys on, sitä helpompi on saada toimiva sähköpostiosoite.

Tutkimusraportissa todetaan:

‘Tulokset osoittavat, että PLM:t muistavat todella suuren määrän sähköpostiosoitteita; mutta ne eivät ymmärrä tarkkaa assosiaatiota nimien ja sähköpostiosoitteiden välillä, esim. kenelle muistettu sähköpostiosoite kuuluu. Siksi, ottaen huomioon sähköpostiosoitteiden kontekstit, PLM:t voivat palauttaa kohtuullisen määrän sähköpostiosoitteita, kun taas vain muutamia sähköpostiosoitteita voidaan ennustaa oikein kysymällä nimiä.’

Tutkimuksen teoriaa testatakseen tutkijat kouluttivat kolme PLM:ää, joissa oli kasvava määrä parametreja, ja kysyivät niiltä joukon malleja ja menetelmiä, joita hyökkääjä todennäköisesti käyttäisi.

Tutkimusraportti tarjoaa kolme tärkeää näkökulmaa siihen, miten suuret PLM:t voivat altistaa henkilökohtaista tietoa, kun niiden koulutusaineistoihin sisältyy todellista henkilökohtaista tietoa.

Ensinnäkin, että pitkät tekstin mallit (kysymyksissä) lisäävät mahdollisuutta saada yksityistä tietoa yksittäisestä henkilöstä vain mainitsemalla kyseisen henkilön nimen. Toiseksi, että hyökkääjät voivat täydentää lähestymistapaansa olemalla jo tietoisia kohteestaan, ja mitä enemmän hyökkääjällä on etukäteen tietoa kohteestaan, sitä todennäköisempää on, että he pystyvät poistamaan muistetun tiedon, kuten sähköpostiosoitteita.

Kolmanneksi, tutkijat olettavat, että suuremmat ja kyvykkäämmät luonnollisen kielen prosessointimallit voivat mahdollistaa hyökkääjälle enemmän tietojen poistamisen, vähentäen “turvallisuuden salaamisen” vaikutusta nykyisissä PLM:eissä, kun yhä monimutkaisempia ja suurempia malleja koulutetaan FAANG-tason yhtiöissä.

Lopulta, tutkimusraportti toteaa, että henkilökohtaista tietoa voidaan todella säilyttää ja vuotaa muistamisen kautta, jossa malli vain osittain “sulattaa” koulutusaineistoa, jotta se voi käyttää kyseistä tiedoa “tosi” -tietona vastauksena kysymyksiin.

Tutkijat toteavat*:

‘Tuloksista kontekstin asettamisesta näemme, että suurin GPT-Neo-malli voi palauttaa 8,80 % sähköpostiosoitteista oikein muistamisen kautta.

‘Vaikka tämä asetelma ei ole yhtä vaarallinen kuin muut, koska on käytännössä mahdotonta käyttäjille tietää konteksti, jos aineisto ei ole julkinen, sähköpostiosoite voidaan silti tahattomasti generoida, ja uhkaa ei voida laiminlyödä.’

Vaikka tutkimus valitsee sähköpostiosoitteet esimerkiksi potentiaalisesti haavoittuvasta henkilökohtaisesta tunnistetiedosta, tutkimusraportti korostaa laajaa tutkimusta tämän tavoitteen saavuttamiseksi potilaiden terveystiedoissa, ja pitää kokeitaan periaatteen demonstroida, eikä erityisesti korosta sähköpostiosoitteiden haavoittuvuutta tässä kontekstissa.

Tutkimusraportti on otsikoitu Vuotavatko suuret esikoulutetut kielen mallit henkilökohtaista tietoa? ja on kirjoitettu kolmen tutkijan toimesta Illinoisin yliopistossa Urbana-Champaignissa.

Muistaminen ja assosiaatio

Tutkimus keskittyy siihen, kuinka laajasti muistettu tieto on assosioitu. Koulutettu NLP-malli ei voi täysin abstrahoida koulutusaineistoa, tai se ei pystyisi pitämään johdonmukaista argumenttia tai kutsumaan faktatietoa. Tästä syystä malli muistaa ja suojaa erillisiä tietopaloja, jotka edustavat vähäisiä semanttisia solmuja mahdollisessa vastauksessa.

Suuri kysymys on, voidaanko muistettua tietoa saada esiin kutsumalla muita tietoja, kuten nimettyä entiteettiä, kuten henkilöä. Tällaisessa tapauksessa NLP-malli, joka on koulutettu ei-julkisilla ja etuoikeutetulla aineistolla, voi pitää sairaalaa koskevia tietoja, kuten potilastietoja, nimeä ja sähköpostiosoitetta.

Pahimmassa tapauksessa kysymys tällaisesta tietokannasta sähköpostiosoitteen tai potilashistorian kanssa voisi antaa nämä tiedot.

Todellisuudessa tämä tapahtuu melkein koskaan, useista syistä. Esimerkiksi, jos suojattu muisti tietystä faktasta (kuten sähköpostiosoitteesta) edustaa erillistä yksikköä, seuraava erillinen yksikkö ei välttämättä ole yksinkertainen siirtymä korkeampaan tietotasoiseen (esim. tietoa henkilöstä), vaan voi olla paljon suurempi loikka, joka ei liity mihinkään tiettyyn henkilöön tai tietoon.

Lisäksi, vaikka assosiaation perusta ei välttämättä ole mielivaltainen, se ei myöskään ole ennustettavasti lineaarista; assosiaatio voi tapahtua painotusten kautta, jotka on koulutettu eri tappio-objektiveilla kuin pelkästään hierarkkisen tiedonhaun (kuten luomalla uskottavaa abstraktia keskustelua), tai tapahtuu tai vastaan tavoilla, jotka on ohjattu (tai jopa kielletty) NLP-järjestelmän arkkitehteja.

PLM:n testaus

Tutkijat testasivat teoriaansa kolmella GPT-Neo-kielen mallin iteraatiolla, jotka oli koulutettu Pile-aineistoon 125 miljoonalla, 1,3 miljardilla ja 2,7 miljardilla parametrilla.

Pile on julkisten aineistojen kokoelma, johon sisältyy UC Berkeley Enron-tietokanta, joka sisältää sosiaalisen verkoston tiedot sähköpostivaihtoa perustuen. Koska Enron noudatti standardia etunimi.sukunimi@enron.com -konventiota, tällaiset sähköpostiosoitteet poistettiin, koska koneoppimiselle ei ollut tarvetta arvatala tällainen helppo malli.

Tutkijat poistivat myös nimien ja sähköpostiosoitteiden parit, joissa oli vähemmän kuin kolme tokenia, ja saivat lopulta 3238 nimien ja sähköpostiosoitteiden paria, joita käytettiin myöhemmissä kokeissa.

Kontekstin asettamis -kokeessa tutkijat käyttivät 50, 100 tai 200 tokenia ennen kohdesähköpostiosoitetta kontekstina, jotta he voivat saada osoitteen esiin kysymyksellä.

Nollapainotus -kokeessa luotiin neljä kysymystä manuaalisesti, joista kaksi viimeistä perustui sähköpostin otsikkojen standardikonventioihin, kuten —Alkuperäinen viesti—\nFrom: {name0} [mailto: {email0}].

Nollapainotusmallit. Lähde: https://arxiv.org/pdf/2205.12628.pdf

Seuraavaksi muutamapainotus -tilanne tarkasteltiin – tilanne, jossa hyökkääjällä on jo tietoa, joka voi auttaa häntä luomaan kysymyksen, joka voi saada halutun tiedon esiin. Kysymyksissä tutkijat tarkastelevat, onko kohdeverkko tunnettu vai tuntematon.

Muutamapainotusasettelut.

Lopulta sääntöpohjainen menetelmä käytettiin 28 todennäköistä variatiota standardimalleista nimien käytölle sähköpostiosoitteissa yrittääksesi palauttaa kohdesähköpostiosoitteen. Tämä vaatii suuren määrän kysymyksiä, jotta kaikki mahdolliset variatiot voidaan kattaa.

Sääntöpohjaiset mallit, joita kokeissa käytettiin.

Tulokset

Kontekstin asettamisen tehtävään liittyvissä ennusteissa GPT-Neo onnistuu ennustamaan jopa 8,80 % sähköpostiosoitteista oikein, mukaan lukien osoitteet, jotka eivät noudattaneet standardimalleja.

Kontekstin asettamisen tulokset. Ensimmäinen sarake kertoo tokenien määrän ennen sähköpostiosoitetta.

Nollapainotusasettelussa PLM pystyy ennustamaan vain pienen määrän sähköpostiosoitteita oikein, pääasiassa noudattaen tutkijoiden asettamia standardimalleja (ks. edellinen kuva).

Nollapainotusasettelun tulokset, joissa verkko on tuntematon.

Tutkijat toteavat mielenkiinnolla, että 0-painotus (D) -asettelu erottuu selvästi muista, ilmeisesti pidemmän esisanoituksen ansiosta.

‘Tämä [osoittaa], että PLM:t tekevät nämä ennusteet pääasiassa muistamisen perusteella – jos he tekevät ennusteita assosiaation perusteella, heidän pitäisi suoriutua samalla tavalla. Syy siihen, miksi 0-painotus (D) suoriutuu paremmin kuin 0-painotus (C), on se, että pidempi konteksti voi löytää enemmän [muistettua tietoa]’

Isommat mallit, suurempi riski

Tutkijat toteavat, että suuremmat mallit voivat altistaa henkilökohtaista tietoa:

‘Kaikissa tunnetuissa, tuntemattomissa ja kontekstiasettelussa on merkittävä parannus tarkkuudessa, kun siirrytään 125M-mallista 1,3B-malliin. Ja useimmissa tapauksissa, kun siirrytään 1,3B-mallista 2,7B-malliin, on myös tarkkuuden lisäys ennusteissa.’

Tutkijat esittävät kaksi mahdollista selitystä sille, miksi näin on. Ensinnäkin, suuremmat mallit voivat muistaa suuremman määrän koulutusaineistoa. Toiseksi, suuremmat mallit ovat monimutkaisempia ja parempia ymmärtämään kysymyksiä, ja siten “yhdistämään” erillistä tietoa henkilöstä.

He huomauttavat kuitenkin, että nykyisellään henkilökohtainen tieto on “suhteellisen turvallinen” tällaisilta hyökkäyksiltä.

Hyökkäyksen estämiseksi tutkijat suosittelevat, että arkkitehtuureja tulisi altistaa tiukalle esikäsittelylle henkilökohtaisten tietojen poistamiseksi; tutkia koulutusta differentially private gradient descent:lla; ja sisällyttää suodattimia jokaiseen jälkikäsittelyympäristöön, kuten API:hin (esim. OpenAI:n DALL-E 2 API sisältää suuren määrän suodattimia, lisäksi kuin ihmisen ohjaamaa kysymyksiä).

He suosittelevat myös vastaan sähköpostiosoitteiden käyttöä, jotka noudattavat arvattavia ja standardimalleja, vaikka tämä neuvous on jo olemassa kyberTurvallisuudessa.

* Korvasin kirjoittajien sisäiset viitteet hyperlinkkein.

Julkaistu ensimmäisen kerran 26. toukokuuta 2022.