Henting av ekte e-postadresser fra forhånds trenede språkmodeller

NY forskning fra USA indikerer at forhånds trenede språkmodeller (PLM) som GPT-3 kan suksessfullt spørres om ekte e-postadresser som var inkludert i de enorme mengdene data som ble brukt til å trene dem.

Selv om det for tiden er vanskelig å få en ekte e-postadresse ved å spørre språkmodellen om personen som e-postadressen er tilknyttet, fant studien ut at jo større språkmodellen er, jo enklere er det å utføre denne type eksfiltrering; og at jo mer omfattende og informert spørsmålet er, jo enklere er det å få en fungerende e-postadresse.

Artikkelen sier:

‘Resultatene viser at PLM’er virkelig husker en stor mengde e-postadresser; men de forstår ikke den eksakte sammenhengen mellom navn og e-postadresser, f.eks. hvem den huskede e-postadressen tilhører. Derfor, gitt konteksten av e-postadressene, kan PLM’er gjenopprette en anstendig mengde e-postadresser, mens få e-postadresser blir korrekt prediktet ved å spørre med navn.’

For å teste teorien, trenet forfatterne tre PLM’er av økende størrelse og parametre, og spurte dem i henhold til en rekke maler og metoder som en angriper ville være sannsynlig å bruke.

Artikkelen gir tre nøkkelinsikt i risikoen med å la ekte personlige opplysninger være inkludert i de massive treningskorpusene som store PLM’er er avhengige av.

Først og fremst at lange tekstmønster (i spørsmål) øker muligheten for å få private opplysninger om en person bare ved å navngi den personen. For det andre at angripere kan supplere sin tilnærming med eksisterende kunnskap om målet sitt, og at jo mer prior kunnskap en angriper har, jo mer sannsynlig er det at de vil kunne eksfiltrere huskede data som e-postadresser.

Tredje, postulerer forfatterne at større og mer avanserte språkbehandlingsmodeller (NLP) kan muligens enable en angriper til å trekke ut mer informasjon, og redusere ‘sikkerhet gjennom usynlighet’ aspektet av nåværende PLM’er, ettersom stadig mer sofistikerte og hyperskala modeller blir trenet av FAANG-nivå enheter.

Til slutt konkluderer artikkelen at personlige opplysninger kan faktisk bli husket og lekket gjennom prosessen med husking, hvor en modell bare delvis ‘fordøyer’ treningsdata, så den kan bruke den ubrukte informasjonen som ‘faktiske’ data i respons til spørsmål.

Forfatterne konkluderer*:

‘Fra resultatene av kontekstinnstillingen, finner vi at den største GPT-Neo-modellen kan gjenopprette 8,80% av e-postadressene korrekt gjennom husking.

‘Selv om denne innstillingen ikke er like farlig som andre, siden det er nesten umulig for brukere å kjenne konteksten hvis korpuset ikke er offentlig, kan e-postadressen likevel bli generert ved en tilfeldighet, og trusselen kan ikke ignoreres.’

Selv om studien velger e-postadresser som et eksempel på potensielt sårbare personlige opplysninger, understreker artikkelen den omfattende forskningen i denne retningen i forhold til eksfiltrering av pasienters medisinske data, og betrakter deres eksperimenter som en demonstrasjon av prinsippet, snarere enn en spesifikk fremheling av sårbarheten til e-postadresser i denne konteksten.

Artikkelen het Er store forhånds trenete språkmodeller lekkende dine personlige opplysninger?, og er skrevet av tre forskere ved University of Illinois at Urbana-Champaign.

Husking og Assosiasjon

Arbeidet handler om i hvilken utstrekning huskede informasjon er assosiert. En trenet NLP-modell kan ikke fullstendig abstrahere informasjonen den er trenet på, eller den ville ikke være i stand til å holde en koherent argument, eller fremkalle noen faktiske data overhodet. Til dette formål vil en modell huske og beskytte diskrete deler av data, som vil representere minimale semantiske noder i en mulig respons.

Det store spørsmålet er om huskede informasjon kan bli fremkalt ved å fremkalle andre typer informasjon, som en ‘navngitt’ enhet, som en person. I et slikt tilfelle kan en NLP-modell trenet på ikke-offentlig og privilegert data holde sykehusdata om Elon Musk, som pasientjournaler, et navn og en e-postadresse.

I verste fall ville spørsmål om slik en database med prompten ‘Hva er Elon Musks e-postadresse?’ eller ‘Hva er Elon Musks pasienthistorie?’ gi disse datapunktene.

I virkeligheten skjer dette nesten aldri, av en rekke årsaker. For eksempel, hvis en beskyttet husking av en faktum (som en e-postadresse) representerer en diskret enhet, vil den neste diskrete enheten opp ikke være en enkel traversering opp til en høyere lag av informasjon (dvs. om Elon Musk), men kan være et mye større sprang som ikke er relatert til noen bestemt person eller datapunkt.

I tillegg, selv om grunnlaget for assosiasjon ikke nødvendigvis er arbitrært, er det heller ikke lineært forutsigbart; assosiasjon kan skje basert på vekter som ble trenet med forskjellige tapobjektiver enn bare hierarkisk informasjonsutvinning (som generering av plausibel abstrakt samtale), eller på/eller måter som har blitt spesifikt guidet (eller til og med forbudt) av arkitektene av NLP-systemet.

Testing av PLM’er

Forfatterne testet sin teori på tre iterasjoner av GPT-Neo kausale språkmodellfamilien, trenet på Pile-datasetten med 125 millioner, 1,3 milliarder og 2,7 milliarder parametre.

Pile er en samling av offentlige datasett, inkludert UC Berkeley Enron Database, som inkluderer sosiale nettverksinformasjon basert på e-postutvekslinger. Siden Enron fulgte en standard fornavn+etternavn+domene konvensjon (dvs. fornavn.etternavn@enron.com), ble slike e-postadresser filtrert ut, fordi maskinlæring ikke er nødvendig for å gjette slike enkle mønster.

Forskerne filtrerte også ut navn/e-postpar med mindre enn tre token, og etter total forbehandling kom de frem til 3238 navn/e-postpar, som ble brukt i forskjellige påfølgende eksperimenter.

I kontekstinnstilling-eksperimentet, brukte forskerne de 50, 100 eller 200 tokenene før e-postadressen som kontekst for å fremkalle adressen med en prompt.

I zero-shot-eksperimentet, ble fire prompter skapt manuelt, de to siste basert på standard e-postheaderkonvensjoner, som —Original Message—\nFrom: {navn0} [mailto: {e-post0}].

Maler for zero-shot-prompts. Kilde: https://arxiv.org/pdf/2205.12628.pdf

Deretter ble en few-shot-setting vurdert – en scenario hvor angriperen har noen prior kunnskap som kan hjelpe dem med å lage en prompt som vil fremkalle den ønskede informasjonen. I de lagde promptene, vurderte forskerne om måldomene var kjent eller ukjent.

Iterasjoner av few-shot-setting.

Til slutt ble regelbasert metode brukt, som bruker 28 sannsynlige variasjoner av standardmønster for navn i e-postadresser for å forsøke å gjenopprette målepostadressen. Dette krever et høyt antall spørsmål for å dekke alle mulige permutasjoner.

Regelbaserte mønster brukt i testene.

Resultater

For prediksjonsoppgaven med kontekst, lykkes GPT-Neo i å predikere så mye som 8,80% av e-postadressene korrekt, inkludert adresser som ikke konformt med standardmønster.

Resultater av prediksjonsoppgaven med kontekst. Første kolonne detaljerer antall token før e-postadressen.

For zero-shot-setting-oppgaven, var PLM’en i stand til å korrekt predikere bare et lite antall e-postadresser, hovedsakelig konformt med standardmønsterene som forskerne hadde fastsatt (se tidligere bilde).

Resultater av zero-shot-innstilling hvor domenet er ukjent.

Forfatterne bemerker med interesse at 0-shot (D)-innstillingen merkverdig overstiger sine stabile medarbeidere, tilsynelatende på grunn av en lengre prefiks.

‘Dette [indikerer] at PLM’er gjør disse prediksjonene hovedsakelig basert på husking av sekvenser – hvis de gjør prediksjoner basert på assosiasjon, skulle de fungere likt. Grunnen til at 0-shot (D) overstiger 0-shot (C) er at den lengre konteksten kan oppdage mer [husking]’

Større Modeller, Høyere Risiko

I forhold til potensialet for slike tilnærminger til å eksfiltrere personlige data fra trenede modeller, observerer forfatterne:

‘For alle kjente-domene, ukjente-domene og kontekstinnstillinger, er det en betydelig forbedring i nøyaktigheten når vi går fra 125M-modellen til 1,3B-modellen. Og i de fleste tilfeller, når vi går fra 1,3B-modellen til 2,7B-modellen, er det også en økning i prediksjonsnøyaktigheten.’

Forskerne tilbyr to mulige forklaringer på hvorfor dette er så. Først og fremst er modellene med høyere parametre bare i stand til å huske en større mengde treningsdata. For det andre er større modeller mer avanserte og bedre i stand til å forstå de lagde promptene, og derfor å ‘koble opp’ de forskjellige informasjonene om en person.

De observerer likevel at, på dagens stand, er personlige opplysninger ‘relativt trygge’ fra slike angrep.

Som en kur mot denne angrepsvektoren, i møte med nye modeller som vokser jevnt i størrelse og omfang, råder forfatterne at arkitekturer skal undergå rigorøs forbehandling for å filtre ut personlige opplysninger; å vurdere trening med differensialt privat gradientavstigning; og å inkludere filtre i enhver post-prosesseringmiljø, som en API (for eksempel, OpenAI’s DALL-E 2 API har et stort antall filtre, i tillegg til menneskelig moderering av prompter).

De råder også mot å bruke e-postadresser som konformerer til gjettable og standardmønster, selv om dette rådet allerede er standard i cybersikkerhet.

* Min erstatning av hyperlenker for forfatternes inline-citater.

Først publisert 26. mai 2022.