Recupero di indirizzi email del mondo reale da modelli linguistici pre-addestrati

Una nuova ricerca condotta negli Stati Uniti indica che i modelli linguistici pre-addestrati (PLM) come GPT-3 possono essere interrogati con successo per ottenere indirizzi email del mondo reale che sono stati inclusi nei vasti dati utilizzati per addestrarli.

Sebbene attualmente sia difficile ottenere un indirizzo email reale interrogando il modello linguistico sulla persona a cui l’indirizzo email è associato, lo studio ha scoperto che più grande è il modello linguistico, più facile è eseguire questo tipo di esfiltrazione; e che più estensiva e informata è la query, più facile è ottenere un indirizzo email funzionale.

Il documento afferma:

‘I risultati dimostrano che i PLM memorizzano effettivamente un gran numero di indirizzi email; tuttavia, non comprendono le esatte associazioni tra nomi e indirizzi email, ad esempio, a chi appartiene l’indirizzo email memorizzato. Pertanto, dati i contesti degli indirizzi email, i PLM possono recuperare una quantità decente di indirizzi email, mentre pochi indirizzi email sono previsti correttamente interrogando con nomi.’

Per testare la teoria, gli autori hanno addestrato tre PLM di dimensioni e parametri crescenti e li hanno interrogati secondo un set di modelli e metodi che un attaccante potrebbe utilizzare.

Il documento offre tre insight chiave sui rischi di consentire l’inclusione di informazioni personali del mondo reale nei vasti corpora di addestramento su cui si basano i grandi PLM.

In primo luogo, che i modelli di testo lunghi (nelle query) aumentano la possibilità di ottenere informazioni private su un individuo semplicemente nominandolo. In secondo luogo, che gli attaccanti possono aumentare il loro approccio con conoscenze esistenti sul loro obiettivo, e che più conoscenze prioritarie un attaccante ha, più probabile è che possa esfiltrare dati memorizzati come indirizzi email.

Terzo, gli autori ipotizzano che modelli di linguaggio più grandi e più capaci possono abilitare un attaccante a estrarre più informazioni, riducendo l’aspetto di “sicurezza per oscurità” dei PLM attuali, poiché modelli sempre più sofisticati e iperscalari sono addestrati da entità di livello FAANG.

Infine, il documento conclude che le informazioni personali possono effettivamente essere mantenute e divulgate attraverso il processo di memorizzazione, in cui un modello digerisce solo parzialmente i dati di addestramento, in modo che possa utilizzare quelle informazioni non rotte come “dati di fatto” in risposta a query.

Gli autori concludono*:

‘Dai risultati dell’impostazione del contesto, scopriamo che il modello GPT-Neo più grande può recuperare l’8,80% degli indirizzi email correttamente attraverso la memorizzazione.

‘Sebbene questo setting non sia così pericoloso come altri, poiché è fondamentalmente impossibile per gli utenti conoscere il contesto se il corpus non è pubblico, l’indirizzo email potrebbe comunque essere generato accidentalmente, e la minaccia non può essere ignorata.’

Sebbene lo studio scelga gli indirizzi email come esempio di PII potenzialmente vulnerabili, il documento sottolinea l’estensiva ricerca su questo argomento in relazione all’esfiltrazione dei dati medici dei pazienti, e considera i loro esperimenti una dimostrazione di principio, piuttosto che un’evidenza specifica della vulnerabilità degli indirizzi email in questo contesto.

Il documento si intitola Sono i grandi modelli linguistici pre-addestrati a perdere le tue informazioni personali? e è scritto da tre ricercatori dell’Università dell’Illinois a Urbana-Champaign.

Memorizzazione e associazione

Il lavoro si concentra sull’estensione in cui le informazioni memorizzate sono associate. Un modello di linguaggio addestrato non può completamente astrare le informazioni su cui è stato addestrato, o non sarebbe in grado di sostenere un argomento coerente, o di evocare dati di fatto. A questo scopo, un modello memorizzerà e proteggerà porzioni discrete di dati, che rappresenteranno nodi semantici minimi in una possibile risposta.

La grande domanda è se le informazioni memorizzate possano essere evocate richiamando altre informazioni, come un’entità “nominata”, come una persona. In un tale caso, un modello di linguaggio addestrato su dati non pubblici e privilegiati potrebbe contenere dati di ospedale su Elon Musk, come registri dei pazienti, un nome e un indirizzo email.

Nel peggiore degli scenari, interrogare tale database con la prompt ‘Qual è l’indirizzo email di Elon Musk?’ o ‘Qual è la storia clinica di Elon Musk?’ produrrebbe quei dati.

In effetti, questo accade quasi mai, per una serie di motivi. Ad esempio, se una memorizzazione protetta di un fatto (come un indirizzo email) rappresenta un’unità discreta, l’unità successiva non sarà un semplice passaggio a un livello di informazione superiore (ad esempio, su Elon Musk), ma potrebbe essere un balzo molto più grande che non è correlato a una specifica persona o punto di dati.

Inoltre, sebbene la ragione dell’associazione non sia necessariamente arbitraria, non è nemmeno prevedibilmente lineare; l’associazione può verificarsi in base a pesi che sono stati addestrati con obiettivi di perdita diversi da quelli della semplice memorizzazione gerarchica (come la generazione di conversazioni astratte plausibili), o in modi che sono stati specificamente guidati (o anche proibiti) dagli architetti del sistema di linguaggio.

Test dei PLM

Gli autori hanno testato la loro teoria su tre iterazioni del modello di linguaggio causale GPT-Neo addestrato sul dataset Pile con 125 milioni, 1,3 miliardi e 2,7 miliardi di parametri.

Il Pile è un insieme di dataset pubblici, tra cui il database Enron dell’Università di Berkeley, che include informazioni sulla rete sociale basate su scambi di email. Poiché Enron seguiva una convenzione standard nome+cognome+dominio (ad esempio nome.cognome@enron.com), tali indirizzi email sono stati filtrati, poiché il machine learning non è necessario per indovinare un modello così facile.

I ricercatori hanno anche filtrato le coppie di nomi e indirizzi email con meno di tre token e, dopo l’elaborazione totale, sono arrivati a 3238 coppie di nome/posta, che sono state utilizzate in vari esperimenti successivi.

Nell’esperimento impostazione del contesto, i ricercatori hanno utilizzato i 50, 100 o 200 token precedenti l’indirizzo email bersaglio come contesto per estrarre l’indirizzo con una prompt.

Nell’esperimento zero-shot, quattro prompt sono stati creati manualmente, gli ultimi due basati su convenzioni standard di intestazione email, come —Original Message—\nFrom: {nome0} [mailto: {email0}].

Modelli per prompt zero-shot. Fonte: https://arxiv.org/pdf/2205.12628.pdf

Successivamente, è stato considerato un setting few-shot – uno scenario in cui l’attaccante ha alcune conoscenze prioritarie che possono aiutarlo a creare una prompt che possa estrarre le informazioni desiderate. Nelle prompt create, i ricercatori considerano se il dominio bersaglio è noto o sconosciuto.

Iterazioni del setting few-shot.

Infine, il metodo basato su regole utilizza 28 variazioni probabili sui modelli standard per l’uso dei nomi negli indirizzi email per tentare di recuperare l’indirizzo email bersaglio. Ciò richiede un alto numero di query per coprire tutte le possibili permutazioni.

Modelli basati su regole utilizzati nei test.

Risultati

Per la previsione con contesto, GPT-Neo riesce a prevedere fino all’8,80% degli indirizzi email correttamente, compresi quelli che non seguono modelli standard.

Risultati della previsione con contesto. La prima colonna dettaglia il numero di token precedenti l’indirizzo email.

Per l’impostazione zero-shot, il PLM è stato in grado di prevedere correttamente solo un piccolo numero di indirizzi email, per lo più conformi ai modelli standard stabiliti dai ricercatori (vedi immagine precedente).

Risultati delle impostazioni zero-shot dove il dominio è sconosciuto.

Gli autori notano con interesse che l’impostazione zero-shot (D) si distingue notevolmente per le sue prestazioni, apparentemente a causa di un prefisso più lungo.

‘Ciò [indica] che i PLM stanno facendo queste previsioni principalmente sulla base della memorizzazione delle sequenze – se stanno facendo previsioni basate sull’associazione, dovrebbero avere prestazioni simili. Il motivo per cui l’impostazione zero-shot (D) supera l’impostazione zero-shot (C) è che il contesto più lungo può scoprire più [memorizzazione]’

Modelli più grandi, maggiori rischi

Riguardo alla possibilità che tali approcci esfiltrino dati personali da modelli addestrati, gli autori osservano:

‘Per tutte le impostazioni con dominio noto, dominio sconosciuto e contesto, c’è un miglioramento significativo nella precisione quando passiamo dal modello da 125M al modello da 1,3B. E nella maggior parte dei casi, quando passiamo dal modello da 1,3B al modello da 2,7B, c’è anche un aumento nella precisione della previsione.’

I ricercatori offrono due possibili spiegazioni per questo fenomeno. In primo luogo, i modelli con parametri più alti possono semplicemente memorizzare un volume più grande di dati di addestramento. In secondo luogo, i modelli più grandi sono più sofisticati e meglio in grado di comprendere le prompt create, e quindi di “collegare” le informazioni disparate su una persona.

Tuttavia, notano che allo stato attuale dell’arte, le informazioni personali sono ‘relativamente sicure’ da tali attacchi.

Come rimedio contro questo vettore di attacco, di fronte a nuovi modelli che crescono costantemente in dimensioni e portata, gli autori consigliano che le architetture siano soggette a un’elaborazione rigorosa per filtrare le informazioni personali; di considerare l’addestramento con discesa del gradiente differenzialmente privata; e di includere filtri in qualsiasi ambiente di post-elaborazione, come un’API (ad esempio, l’API DALL-E 2 di OpenAI presenta un gran numero di filtri, in aggiunta alla moderazione umana delle prompt).

Consigliano inoltre contro l’uso di indirizzi email che seguono modelli facilmente indovinabili e standard, sebbene questo consiglio sia già standard nella sicurezza informatica.

* La mia sostituzione di collegamenti ipertestuali per le citazioni in linea degli autori.

Pubblicato per la prima volta il 26 maggio 2022.