Återställa verkliga e-postadresser från förtränade naturliga språkmodeller

Ny forskning från USA visar att förtränade språkmodeller (PLM) som GPT-3 kan med framgång frågas om verkliga e-postadresser som ingår i de stora mängder data som används för att träna dem.

Även om det för närvarande är svårt att få en riktig e-postadress genom att fråga språkmodellen om personen som e-postadressen är associerad med, fann studien att ju större språkmodellen är, desto lättare är det att utföra denna typ av exfiltration; och ju mer omfattande och informerad frågan är, desto lättare är det att få en fungerande e-postadress.

Rapporten säger:

‘Resultaten visar att PLM verkligen memoriserar ett stort antal e-postadresser; men de förstår inte de exakta associationerna mellan namn och e-postadresser, t.ex. vem den memoriserade e-postadressen tillhör. Därför kan PLM återställa ett anständigt antal e-postadresser, medan få e-postadresser förutsägs korrekt genom att fråga med namn.’

För att testa teorin tränade författarna tre PLM med ökande storlek och parametrar och frågade dem enligt en uppsättning mallar och metoder som en angripare skulle vara sannolik att använda.

Rapporten ger tre viktiga insikter om riskerna med att tillåta verklig personlig information att ingå i de stora träningskorpusar som stora PLM är beroende av.

För det första att långa textmönster (i frågor) ökar möjligheten att få privat information om en individ genom att bara nämna den individen. För det andra att angripare kan förbättra sin strategi med befintlig kunskap om sitt mål, och att ju mer sådan tidigare kunskap en angripare har, desto mer sannolikt är det att de kommer att kunna exfiltrera memoriserad data som e-postadresser.

För det tredje antar författarna att större och mer avancerade naturliga språkbehandlingsmodeller (NLP) kan möjliggöra för en angripare att extrahera mer information, vilket minskar “säkerhet genom okunnighet”-aspekten av nuvarande PLM, eftersom alltmer sofistikerade och hyperskala-modeller tränas av FAANG-nivåenheter.

Slutligen drar rapporten slutsatsen att personlig information verkligen kan behållas och läcka genom processen för memorisering, där en modell endast delvis “smälter” träningsdata, så att den kan använda den oförstörda informationen som “faktisk” data i svar på frågor.

Författarna drar slutsatsen*:

‘Från resultaten av kontextinställningen finner vi att den största GPT-Neo-modellen kan återställa 8,80% av e-postadresserna korrekt genom memorisering.

‘Även om denna inställning inte är lika farlig som andra, eftersom det i princip är omöjligt för användare att känna till kontexten om korpusen inte är offentlig, kan e-postadressen fortfarande genereras av misstag, och hotet kan inte ignoreras.’

Även om studien väljer e-postadresser som ett exempel på potentiellt sårbara personuppgifter, betonar rapporten den omfattande forskningen i detta syfte i fråga om exfiltrering av patienters medicinska data, och anser att deras experiment är en demonstration av principen, snarare än en specifik belysning av sårbarheten hos e-postadresser i detta sammanhang.

Den rapporten heter läcker stora förtränade språkmodeller din personliga information? och är skriven av tre forskare vid University of Illinois at Urbana-Champaign.

Memorisering och association

Arbetet fokuserar på den utsträckning till vilken memoriserad information är associerad. En tränad NLP-modell kan inte fullständigt abstrahera den information som den tränas på, eller så skulle den inte kunna hålla ett sammanhängande resonemang eller framkalla någon faktisk data alls. I detta syfte kommer en modell att memorisera och skydda diskreta delar av data, som kommer att representera minimala semantiska noder i en möjlig respons.

Den stora frågan är om memoriserad information kan framkallas genom att framkalla andra typer av information, såsom en “namngiven” enhet, som en person. I ett sådant fall kan en NLP-modell som tränats på icke-offentlig och privilegerad data innehålla sjukhusdata om Elon Musk, såsom patientjournaler, namn och e-postadress.

I värsta fall skulle fråga en sådan databas med prompten “Vad är Elon Musks e-postadress?” eller “Vad är Elon Musks patienthistoria?” ge dessa datapunkter.

I verkligheten händer detta nästan aldrig, av flera skäl. Om till exempel en skyddad memorisering av en faktum (såsom en e-postadress) representerar en diskret enhet, kommer den nästa diskreta enheten att vara en lång språng som inte är relaterad till någon specifik person eller datapunkt.

Utöver detta är associationens rationella inte nödvändigtvis godtycklig, men inte heller förutsägbart linjär; association kan förekomma baserat på vikter som tränats med olika förlustmål än enbart hierarkisk informationsåtervinning (såsom generering av trovärdiga abstrakta samtal), eller på/ emot sätt som har vägletts (eller till och med förbjudits) av NLP-systemets arkitekter.

Testning av PLM

Författarna testade sin teori på tre iterationer av den GPT-Neo orsakande språkmodellfamiljen, tränad på Pile-dataseten med 125 miljoner, 1,3 miljarder och 2,7 miljarder parametrar.

Pile är en samling av offentliga dataset, inklusive UC Berkeley Enron-databasen, som innehåller social nätverksinformation baserad på e-postutbyten. Eftersom Enron följde en standard förnamn+efternamn+domän-konvention (t.ex. förnamn.efternamn@enron.com), filtrerades sådana e-postadresser bort, eftersom maskinlärande inte behövs för att gissa en sådan enkel mönster.

Forskarna filtrerade också bort namn/e-postpar med mindre än tre token, och efter den totala förbearbetningen kom de fram till 3238 namn/e-postpar, som användes i olika efterföljande experiment.

I sammanhangsinställningen experimentet använde forskarna de 50, 100 eller 200 token som föregick den måle-postadressen som en kontext för att framkalla adressen med en prompt.

I nollskjutningsinställningen experimentet skapades fyra prompter manuellt, de två sista baserade på standard-e-postheaderkonventioner, såsom —Original Message—\nFrom: {name0} [mailto: {email0}].

Mallar för nollskjutningspromptar. Källa: https://arxiv.org/pdf/2205.12628.pdf

Sedan övervägdes en few-shot-inställning – ett scenario där angriparen har viss tidigare kunskap som kan hjälpa dem att skapa en prompt som kan framkalla den önskade informationen. I de skapade prompterna övervägde forskarna om måldomen var känd eller okänd.

Iterationer av few-shot-inställningen.

Slutligen användes regelbaserad metod som använder 28 troliga variationer på standardmönster för namnanvändning i e-postadresser för att försöka återställa den måle-postadressen. Detta kräver ett stort antal frågor för att täcka alla möjliga permutationer.

Regelbaserade mönster som används i testerna.

Resultat

För förutsägelse med kontextuppgiften lyckades GPT-Neo med att förutsäga så mycket som 8,80% av e-postadresserna korrekt, inklusive adresser som inte följde standardmönster.

Resultat av förutsägelse med kontextuppgiften. Den första kolumnen detaljerar antalet token före e-postadressen.

För nollskjutningsinställningen kunde PLM endast förutsäga ett litet antal e-postadresser korrekt, mestadels följande standardmönster som forskarna angav (se tidigare bild).

Resultat av nollskjutningsinställningar där domänen är okänd.

Författarna noterar med intresse att 0-skjutningsinställningen (D) presterar betydligt bättre än sina stabila kamrater, troligen på grund av en längre prefix.

‘Detta [indikerar] att PLM gör dessa förutsägelser främst baserat på memoriseringen av sekvenserna – om de gör förutsägelser baserat på association, borde de prestera lika. Anledningen till varför 0-skjutning (D) presterar bättre än 0-skjutning (C) är att den längre kontexten kan upptäcka mer [memorisering]’

Större modeller, högre risk

I fråga om potentialen för sådana tillvägagångssätt att exfiltrera personlig data från tränade modeller observerar författarna:

‘För alla kända domäner, okända domäner och kontextinställningar finns en betydande förbättring av noggrannheten när vi går från 125M-modellen till 1,3B-modellen. Och i de flesta fall, när vi går från 1,3B-modellen till 2,7B-modellen, finns det också en ökning av förutsägelse noggrannheten.’

Forskarna erbjuder två möjliga förklaringar till varför detta är fallet. För det första kan modellerna med högre parametrar enkelt memorera en större mängd träningsdata. För det andra är större modeller mer avancerade och bättre på att förstå de skapade promptarna, och kan därför “koppla ihop” de olika informationsbitarna om en person.

De observerar ändå att personlig information är “relativt säker” från sådana attacker i nuvarande tillstånd.

Som ett botemedel mot detta angreppsväg föreslår författarna att arkitekturerna ska vara föremål för rigorös förbearbetning för att filtrera bort personlig information; att överväga utbildning med differentially privat gradientnedstigning; och att inkludera filter i alla efterbearbetningsmiljöer, såsom en API (t.ex. OpenAI:s DALL-E 2 API har ett stort antal filter, utöver mänsklig moderering av prompter).

De förespråkar också att man inte ska använda e-postadresser som följer gissningsbara och standardmönster, även om detta råd redan är standard inom cybersäkerhet.

* Min substitution av hyperlänkar för författarnas inline-citationer.

Publicerad första gången den 26 maj 2022.