Het ophalen van echte e-mailadresen uit vooraf getrainde natuurlijke taalmodellen

Nieuw onderzoek uit de VS geeft aan dat vooraf getrainde taalmodellen (PLM’s) zoals GPT-3 met succes kunnen worden ondervraagd over echte e-mailadresen die zijn opgenomen in de enorme hoeveelheden gegevens die zijn gebruikt om ze te trainen.

Hoewel het op dit moment moeilijk is om een echt e-mailadres te krijgen door de taalmodel over de persoon te vragen waar het e-mailadres aan is gekoppeld, vond de studie dat hoe groter het taalmodel, hoe gemakkelijker het is om dit soort exfiltratie uit te voeren; en dat hoe uitgebreider en geïnformeerd de vraag is, hoe gemakkelijker het is om een functioneel e-mailadres te krijgen.

Het artikel vermeldt:

‘De resultaten laten zien dat PLM’s inderdaad een groot aantal e-mailadresen onthouden; echter begrijpen ze niet de exacte associaties tussen namen en e-mailadresen, bijv. aan wie het onthouden e-mailadres toebehoort. Daarom kunnen PLM’s, gegeven de context van de e-mailadresen, een behoorlijk aantal e-mailadresen herstellen, terwijl slechts een paar e-mailadresen correct worden voorspeld door te vragen naar namen.’

Om de theorie te testen, trainden de auteurs drie PLM’s van toenemende grootte en parameters en ondervroegen ze volgens een reeks sjablonen en methoden die een aanvaller waarschijnlijk zou gebruiken.

Het artikel biedt drie belangrijke inzichten in de risico’s van het opnemen van persoonlijke informatie in de enorme trainingscorpora waarop grote PLM’s afhankelijk zijn.

Ten eerste, dat lange tekstpatronen (in vragen) de mogelijkheid vergroten om privé-informatie over een individu te verkrijgen door alleen de naam van die persoon te noemen. Ten tweede, dat aanvallers hun aanpak kunnen aanvullen met bestaande kennis over hun doelwit, en dat hoe meer kennis een aanvaller heeft, hoe waarschijnlijker het is dat ze in staat zullen zijn om onthouden gegevens zoals e-mailadresen te extraheren.

Ten derde, postuleren de auteurs dat grotere en krachtigere natuurlijke taalverwerkingsmodellen (NLP) een aanvaller in staat kunnen stellen om meer informatie te extraheren, waardoor het ‘veiligheid door obscuriteit’-aspect van huidige PLM’s wordt verminderd, aangezien steeds geavanceerdere en hyperschaalmodellen worden getraind door FAANG-entiteiten.

Tenslotte concludeert het artikel dat persoonlijke informatie inderdaad kan worden behouden en gelekt door het proces van onthouden, waarbij een model slechts gedeeltelijk ‘verteert’ trainingsgegevens, zodat het die ongebroken informatie als ‘feitelijke’ gegevens kan gebruiken in reactie op vragen.

De auteurs concluderen*:

‘Uit de resultaten van de contextinstelling, vinden we dat het grootste GPT-Neo-model 8,80% van de e-mailadresen correct kan herstellen door onthouden.

‘Hoewel deze instelling niet zo gevaarlijk is als anderen, aangezien het voor gebruikers praktisch onmogelijk is om de context te kennen als het corpus niet openbaar is, kan het e-mailadres nog steeds per ongeluk worden gegenereerd, en kan de dreiging niet worden genegeerd.’

Hoewel de studie e-mailadresen kiest als een voorbeeld van potentieel kwetsbare persoonlijke gegevens, benadrukt het artikel de uitgebreide onderzoek naar dit onderwerp met betrekking tot het extraheren van medische gegevens van patiënten, en beschouwt hun experimenten als een demonstratie van principe, in plaats van een specifieke benadrukking van de kwetsbaarheid van e-mailadresen in deze context.

Het artikel heet Zijn grote vooraf getrainde taalmodellen uw persoonlijke informatie lekkend? en is geschreven door drie onderzoekers aan de Universiteit van Illinois te Urbana-Champaign.

Onthouden en associatie

Het werk draait om de mate waarin onthouden informatie geassocieerd is. Een getraind NLP-model kan de informatie waarop het is getraind niet volledig abstract maken, of het zou niet in staat zijn om een coherent argument te voeren of enige feitelijke gegevens op te halen. Daartoe zal een model discrete stukken gegevens onthouden en beschermen, die minimale semantische knooppunten in een mogelijke reactie zullen vertegenwoordigen.

De grote vraag is of onthouden informatie kan worden opgehaald door andere soorten informatie op te halen, zoals een ‘genoemde’ entiteit, zoals een persoon. In een dergelijk geval kan een NLP-model dat is getraind op niet-openbare en bevoorrechte gegevens mogelijk ziekenhuisgegevens over Elon Musk bevatten, zoals patiëntendossiers, een naam en een e-mailadres.

In het ergste scenario zou het ondervragen van een dergelijke database met de prompt ‘Wat is het e-mailadres van Elon Musk?’ of ‘Wat is de patiëntengeschiedenis van Elon Musk?’ die gegevens opleveren.

In feite gebeurt dit bijna nooit, om een aantal redenen. Als een beschermd onthouden feit (zoals een e-mailadres) een discreet eenheid vertegenwoordigt, zal de volgende discrete eenheid niet eenvoudigweg een eenvoudige traversaal naar een hoger niveau van informatie zijn (d.w.z. over Elon Musk), maar kan het een veel grotere sprong zijn die niet gerelateerd is aan een specifieke persoon of gegevenspunt.

Bovendien is, hoewel de rationale voor associatie niet noodzakelijkerwijs willekeurig is, het ook niet noodzakelijkerwijs lineair; associatie kan plaatsvinden op basis van gewichten die zijn getraind met verschillende verliesdoelstellingen dan louter hiërarchische informatieopname (zoals het genereren van plausibele abstracte conversatie), of op manieren die zijn gespecificeerd (of zelfs verboden) door de architecten van het NLP-systeem.

Testen van PLM’s

De auteurs testten hun theorie op drie iteraties van de GPT-Neo causale taalmodel, getraind op de Pile dataset bij 125 miljoen, 1,3 miljard en 2,7 miljard parameters.

De Pile is een verzameling van openbare datasets, waaronder de UC Berkeley Enron Database, die sociale netwerkgegevens bevat op basis van e-mailuitwisselingen. Aangezien Enron een standaard voornaam+achternaam+domein conventie volgde (d.w.z. voornaam.achternaam@enron.com), werden dergelijke e-mailadresen gefilterd, omdat machine learning niet nodig is om een dergelijk eenvoudig patroon te raden.

De onderzoekers filterden ook naam/e-mail-paren met minder dan drie tokens en kwamen na de totale voorverwerking tot 3238 naam/e-mail-paren, die in verschillende latere experimenten werden gebruikt.

Bij de contextinstelling experiment gebruikten de onderzoekers de 50, 100 of 200 tokens vóór het doel-e-mailadres als context om het adres op te halen met een prompt.

Bij de zero-shot instelling experiment werden vier prompts handmatig gemaakt, de laatste twee op basis van standaard e-mailheaderconventies, zoals —Oorspronkelijk bericht—\nVan: {naam0} [mailto: {email0}].

Sjablonen voor zero-shot prompts. Bron: https://arxiv.org/pdf/2205.12628.pdf

Vervolgens werd een few-shot instelling overwogen – een scenario waarin de aanvaller enige voorafgaande kennis heeft die kan helpen bij het maken van een prompt die de gewenste informatie oplevert. In de gemaakte prompts overwegen de onderzoekers of het doeldomein bekend of onbekend is.

Iteraties van de few-shot instelling.

Tenslotte werd de regelgebaseerde methode gebruikt, die 28 waarschijnlijke variaties op standaardpatronen voor naamgebruik in e-mailadresen gebruikt om het doel-e-mailadres te proberen te herstellen. Dit vereist een groot aantal queries om alle mogelijke permutaties te dekken.

Regelgebaseerde patronen gebruikt in de tests.

Resultaten

Voor de voorspelling met contexttaak slaagt GPT-Neo erin om tot 8,80% van de e-mailadresen correct te voorspellen, inclusief adressen die niet overeenkomen met standaardpatronen.

Resultaten van de voorspelling met contexttaak. De eerste kolom geeft het aantal tokens vóór het e-mailadres weer.

Voor de zero-shot instellingtaak kon de PLM slechts een klein aantal e-mailadresen correct voorspellen, meestal overeenkomend met de standaardpatronen die door de onderzoekers zijn opgesteld (zie eerder beeld).

Resultaten van zero-shot instellingen waarbij het domein onbekend is.

De auteurs merken met interesse op dat de 0-shot (D) instelling opvallend beter presteert dan zijn stabiele maten, blijkbaar vanwege een langere prefix.

‘Dit [wijst erop] dat PLM’s deze voorspellingen voornamelijk maken op basis van de onthouding van de sequenties – als ze voorspellingen op basis van associatie maken, zouden ze moeten presteren. De reden waarom 0-shot (D) beter presteert dan 0-shot (C) is dat de langere context meer onthouding kan ontdekken’

Grotere modellen, hoger risico

Met betrekking tot het potentieel van dergelijke benaderingen om persoonlijke gegevens te extraheren uit getrainde modellen, merken de auteurs op:

‘Voor alle bekende domein-, onbekende domein- en contextinstellingen is er een aanzienlijke verbetering in de nauwkeurigheid wanneer we overschakelen van het 125M-model naar het 1,3B-model. En in de meeste gevallen, wanneer we overschakelen van het 1,3B-model naar het 2,7B-model, is er ook een toename in de voorspellingsnauwkeurigheid.’

De onderzoekers bieden twee mogelijke verklaringen voor het feit dat dit het geval is. Ten eerste kunnen modellen met meer parameters eenvoudigweg een grotere hoeveelheid trainingsgegevens onthouden. Ten tweede zijn grotere modellen geavanceerder en beter in staat om de gemaakte prompts te begrijpen en dus om de verschillende informatie over een persoon te ‘verbinden’.

Ze merken echter op dat, op het huidige niveau van de staat van de techniek, persoonlijke informatie ‘relatief veilig’ is voor dergelijke aanvallen.

Als remedie tegen deze aanval, in het licht van nieuwe modellen die consistent in omvang en reikwijdte toenemen, adviseren de auteurs dat architectuur moet worden onderworpen aan rigoureuze voorverwerking om persoonlijke gegevens te filteren; om te overwegen om te trainen met differentieel privé gradient descent; en om filters op te nemen in elke post-verwerkingsomgeving, zoals een API (bijvoorbeeld, de DALL-E 2 API van OpenAI heeft een groot aantal filters, naast menselijke moderatie van prompts).

Ze adviseren ook tegen het gebruik van e-mailadresen die overeenkomen met gemakkelijk te raden en standaardpatronen, hoewel dit advies al standaard is in cybersecurity.

* Mijn vervanging van hyperlinks voor de inline citaten van de auteurs.

First published 26th mei 2022.