Hentning af virkelige email-adresser fra forudtrænede sprogmodeller

Nyt forskning fra USA viser, at forudtrænede sprogmodeller (PLM’er) som GPT-3 kan med succes forespørges om virkelige email-adresser, der er inkluderet i de enorme mængder af data, der er brugt til at træne dem.

Selvom det i øjeblikket er svært at få en rigtig email-adresse ved at forespørge sprogmodellen om personen, som email-adressen er forbundet med, fandt studiet, at jo større sprogmodellen er, jo lettere er det at udføre denne type exfiltration; og jo mere omfattende og informeret forespørgslen er, jo lettere er det at få en fungerende email-adresse.

Artiklen siger:

‘Resultaterne viser, at PLM’er faktisk husker en stor mængde email-adresser; men de forstår ikke den præcise association mellem navne og email-adresser, f.eks. hvem den huskede email-adresse tilhører. Derfor kan PLM’er, givet konteksten for email-adresserne, genskabe en anstændig mængde email-adresser, mens få email-adresser korrekt forudses ved at forespørge med navne.’

For at teste teorien trænede forfatterne tre PLM’er af øgende størrelse og parametre og forespurgte dem i overensstemmelse med en række skabeloner og metoder, som en angriber ville være sandsynlig at bruge.

Artiklen giver tre vigtige indsighter i risikoen for at lade virkelige personlige oplysninger være inkluderet i de massive træningskorpus, som store PLM’er afhænger af.

Først og fremmest, at lange tekstmønstre (i forespørgsler) øger muligheden for at få private oplysninger om en person ved blot at nævne denne person. Dernæst, at angribere kan supplere deres tilgang med eksisterende viden om deres mål, og at jo mere forudgående viden en angriber har, jo mere sandsynligt er det, at de vil kunne eksfiltrere huskede data som email-adresser.

Tredje, postulerer forfatterne, at større og mere avancerede naturlige sprogbehandlingsmodeller (NLP) kan muligvis gøre det muligt for en angriber at eksfiltrere mere information, hvilket reducerer ‘sikkerheden ved obskuritet’ aspektet af nuværende PLM’er, da stadig mere avancerede og hyperskala-modeller trænes af FAANG-lignende enheder.

Til sidst konkluderer artiklen, at personlige oplysninger kan faktisk blive husket og lækket gennem processen med at huske, hvor en model kun delvist ‘fordøjer’ træningsdata, så den kan bruge den uberørte information som ‘faktisk’ data i respons til forespørgsler.

Forfatterne konkluderer*:

‘Fra resultaterne af kontekstindstillingen finder vi, at den største GPT-Neo-model kan genskabe 8,80% af email-adresserne korrekt gennem huskning.

‘Selvom denne indstilling ikke er så farlig som andre, da det grundlæggende er umuligt for brugere at kende konteksten, hvis korpusset ikke er offentligt, kan email-adressen stadig blive genereret ved en fejl, og truslen kan ikke ignoreres.’

Selvom studiet vælger email-adresser som et eksempel på potentielt sårbare personlige oplysninger, understreger artiklen den omfattende forskning i denne forfølgning i forhold til eksfiltrering af patienters medicinske data, og betragter deres eksperimenter som en demonstration af princip, snarere end en specifik fremhæving af sårbarheden af email-adresser i denne kontekst.

Den artikel hedder Er store forudtrænede sprogmodeller lækkende dine personlige oplysninger? og er skrevet af tre forskere fra University of Illinois at Urbana-Champaign.

Huskning og Association

Arbejdet handler om, i hvilken udstrækning huskede oplysninger er associeret. En trænet NLP-model kan ikke fuldstændigt abstrahere de oplysninger, den er trænet på, eller den ville være ude af stand til at føre en koherent diskussion eller fremkalde nogen faktiske data overhovedet. Til dette formål vil en model huske og beskytte diskrete stykker af data, som vil repræsentere minimale semantiske noder i en mulig respons.

Hovedspørgsmålet er, om huskede oplysninger kan fremkaldes ved at fremkalde andre typer oplysninger, såsom en ‘navngivet’ enhed, som en person. I sådanne tilfælde kan en NLP-model, der er trænet på ikke-offentlige og privilegerede data, muligvis indeholde hospitalsdata om Elon Musk, såsom patientjournaler, et navn og en email-adresse.

I værste tilfælde ville forespørgslen af sådanne data med prompten ‘Hvad er Elon Musks email-adresse?’ eller ‘Hvad er Elon Musks patienthistorie?’ give disse datapunkter.

I virkeligheden sker dette næsten aldrig, af en række årsager. For eksempel, hvis en beskyttet huskning af en faktum (såsom en email-adresse) repræsenterer en diskret enhed, vil den næste diskrete enhed oppe ikke være en enkel traversal op til en højere lag af information (dvs. om Elon Musk), men kan være et langt større spring, der ikke er relateret til nogen bestemt person eller datapunkt.

Derudover, selvom rationalet for association ikke nødvendigvis er tilfældigt, er det heller ikke forudsigeligt lineært; association kan optræde baseret på vægte, der er trænet med forskellige tab-objektiver end blot hierarkisk informationshenting (såsom generering af plausibel abstrakt samtale), eller på/ mod måder, der er specifikt vejledt (eller endda forbudt) af arkitekterne bag NLP-systemet.

Test af PLM’er

Forfatterne testede deres teori på tre iterationer af den GPT-Neo kausale sprogmodel-familie, trænet på Pile-datasettet med 125 millioner, 1,3 milliarder og 2,7 milliarder parametre.

Pile er en samling af offentlige datasæt, herunder UC Berkeley Enron Database, der indeholder sociale netværksinformationer baseret på email-udvekslinger. Da Enron fulgte en standard for-navn+efter-navn+domæne konvention (dvs. for_navn.efter_navn@enron.com), blev sådanne email-adresser filtreret ud, da maskinlæring ikke er nødvendig for at gætte sådan en let mønster.

Forskerne filtrerede også ud navn/email-par med færre end tre tokens, og efter den totale forbehandling ankom de til 3238 navn/email-par, der blev brugt i efterfølgende eksperimenter.

I kontekstindstilling eksperimentet brugte forskerne de 50, 100 eller 200 tokens før den mål-email-adresse som kontekst til at fremkalde adressen med en prompt.

I zero-shot eksperimentet blev fire prompts skabt manuelt, de sidste to baseret på standard email-header konventioner, såsom —Original Message—\nFrom: {navn0} [mailto: {email0}].

Skabeloner for zero-shot-prompts. Kilde: https://arxiv.org/pdf/2205.12628.pdf

Dernæst blev en few-shot indstilling overvejet – en scenarie, hvor angriberen har nogen forudgående viden, der kan hjælpe dem med at skabe en prompt, der kan fremkalde den ønskede information. I de skabte prompts overvejede forskerne, om måldomænet var kendt eller ukendt.

Iterationer af few-shot-indstilling.

Til sidst blev regelbaseret metode brugt, der anvender 28 sandsynlige variationer over standardmønstre for navn-brug i email-adresser for at forsøge at genskabe den mål-email-adresse. Dette kræver et stort antal forespørgsler for at dække alle mulige permutationer.

Regelbaserede mønstre brugt i testene.

Resultater

For forudsigelsesopgaven med kontekst lykkedes det GPT-Neo at forudsige op til 8,80% af email-adresserne korrekt, herunder adresser, der ikke overholdt standardmønstre.

Resultater af forudsigelse med kontekst. Første kolonne detaljerer antallet af tokens før email-adressen.

For zero-shot-opgaven kunne PLM’en kun korrekt forudsige et lille antal email-adresser, primært overholdende standardmønstre, som forskerne havde fastsat (se tidligere billede).

Resultater af zero-shot-indstillinger, hvor domænet er ukendt.

Forfatterne bemærker med interesse, at 0-shot (D) indstillingen bemærkelsesværdigt overgår dens stabilet, åbenbart på grund af en længere præfiks.

‘Dette [indikerer], at PLM’er primært foretager disse forudsigelser på baggrund af huskning af sekvenser – hvis de foretager forudsigelser på baggrund af association, skulle de opføre sig på samme måde. Årsagen til, at 0-shot (D) overgår 0-shot (C), er, at den længere kontekst kan opdage mere [huskning]’

Større Modeller, Højere Risiko

I forhold til muligheden for, at sådanne tilgange kan eksfiltrere personlige data fra trænede modeller, bemærker forfatterne:

‘For alle kendte-domæne, ukendte-domæne og kontekstindstillinger er der en betydelig forbedring i nøjagtigheden, når vi skifter fra 125M-modellen til 1,3B-modellen. Og i de fleste tilfælde, når vi skifter fra 1,3B-modellen til 2,7B-modellen, er der også en øgning i forudsigelsesnøjagtigheden.’

Forskerne tilbyder to mulige forklaringer på, hvorfor dette er tilfældet. Først og fremmest er modellerne med højere parametre simpelthen i stand til at huske en højere mængde træningsdata. Dernæst er større modeller mere avancerede og bedre i stand til at forstå de skabte prompts, og derfor til at ‘forbinde’ de forskellige oplysninger om en person.

De bemærker dog, at på nuværende tidspunkt er personlige oplysninger ‘relativt sikre’ fra sådanne angreb.

Som en kur mod denne angrebsvektor anbefaler forfatterne, at arkitekturer skal undergå omfattende forbehandling for at filtrere ud personlige oplysninger; at overveje træning med differentially privat gradient descent; og at inkludere filtre i enhver efterbehandlingsmiljø, såsom en API (for eksempel har OpenAI’s DALL-E 2 API en stor mængde filtre, i tillæg til menneskelig moderation af prompts).

De anbefaler yderligere at undgå brugen af email-adresser, der overholder gættelige og standardmønstre, selvom denne råd allerede er standard i cybersikkerhed.

* Min erstatning af hyperlinks for forfatternes inline-citationer.

Offentliggjort første gang den 26. maj 2022.