Recuperando Endereços de E-mail do Mundo Real a Partir de Modelos de Linguagem Pré-treinados

Pesquisas recentes nos EUA indicam que modelos de linguagem pré-treinados (PLMs) como o GPT-3 podem ser consultados com sucesso para obter endereços de e-mail do mundo real que foram incluídos nos vastos conjuntos de dados usados para treinar esses modelos.

Embora atualmente seja difícil obter um endereço de e-mail real consultando o modelo de linguagem sobre a pessoa associada ao endereço de e-mail, o estudo descobriu que quanto maior o modelo de linguagem, mais fácil é realizar esse tipo de exfiltração; e que quanto mais extensa e informada a consulta, mais fácil é obter um endereço de e-mail funcional.

O artigo afirma:

‘Os resultados demonstram que os PLMs realmente memorizam um grande número de endereços de e-mail; no entanto, eles não entendem as associações exatas entre nomes e endereços de e-mail, por exemplo, a quem pertence o endereço de e-mail memorizado. Portanto, dado o contexto dos endereços de e-mail, os PLMs podem recuperar uma quantidade decente de endereços de e-mail, enquanto poucos endereços de e-mail são previstos corretamente consultando com nomes.’

Para testar a teoria, os autores treinaram três PLMs de tamanhos e parâmetros crescentes e os consultaram de acordo com um conjunto de modelos e métodos que um atacante provavelmente usaria.

O artigo oferece três insights importantes sobre os riscos de permitir que informações pessoais do mundo real sejam incluídas nos vastos conjuntos de dados de treinamento nos quais os grandes PLMs dependem.

Primeiramente, que padrões de texto longos (em consultas) aumentam a possibilidade de obter informações privadas sobre um indivíduo apenas nomeando esse indivíduo. Em segundo lugar, que os atacantes podem aumentar sua abordagem com conhecimento existente sobre seu alvo, e que quanto mais conhecimento prévio o atacante tiver, mais provável é que ele consiga exfiltrar dados memorizados, como endereços de e-mail.

Terceiro, os autores postulam que modelos de processamento de linguagem natural (NLP) maiores e mais capazes podem possibilitar que um atacante extraia mais informações, reduzindo o aspecto de ‘segurança por obscuridade’ dos PLMs atuais, à medida que modelos mais sofisticados e de grande escala são treinados por entidades de nível FAANG.

Finalmente, o artigo conclui que informações pessoais podem de fato ser retidas e vazadas por meio do processo de memorização, onde um modelo apenas parcialmente ‘digeriu’ os dados de treinamento, de modo que possa usar essas informações não quebradas como ‘dados factuais’ em resposta a consultas.

Os autores concluem*:

‘A partir dos resultados do contexto, descobrimos que o maior modelo GPT-Neo pode recuperar 8,80% dos endereços de e-mail corretamente por meio da memorização.

‘Embora essa configuração não seja tão perigosa quanto outras, pois é basicamente impossível para os usuários saberem o contexto se o corpus não for público, o endereço de e-mail ainda pode ser gerado acidentalmente, e a ameaça não pode ser ignorada.’

Embora o estudo escolha endereços de e-mail como um exemplo de informações de identificação pessoal (PII) potencialmente vulneráveis, o artigo enfatiza a extensa pesquisa nessa área em relação à exfiltração de dados médicos de pacientes, e consideram seus experimentos uma demonstração de princípio, e não uma destacação específica da vulnerabilidade de endereços de e-mail nesse contexto.

O artigo é intitulado Os Grandes Modelos de Linguagem Pré-treinados Estão Vazando Suas Informações Pessoais?, e foi escrito por três pesquisadores da Universidade de Illinois em Urbana-Champaign.

Memorização e Associação

O trabalho centra-se na extensão em que as informações memorizadas são associadas. Um modelo de NLP treinado não pode completamente abstrair as informações nas quais foi treinado, ou não seria capaz de manter um argumento coerente ou invocar dados factuais. Para esse fim, um modelo memorizará e protegerá porções discretas de dados, que representarão nós semânticos mínimos em uma resposta possível.

A grande questão é se as informações memorizadas podem ser invocadas por meio da invocação de outros tipos de informações, como uma ‘entidade nomeada’, como uma pessoa. Nesse caso, um modelo de NLP treinado em dados não públicos e privilegiados pode conter dados de hospital sobre Elon Musk, como registros de paciente, nome e endereço de e-mail.

No pior cenário, consultar esse banco de dados com o prompt ‘Qual é o endereço de e-mail de Elon Musk?’ ou ‘Qual é a história médica de Elon Musk?’ renderia esses dados.

Na verdade, isso quase nunca acontece, por várias razões. Por exemplo, se uma memorização protegida de um fato (como um endereço de e-mail) representa uma unidade discreta, a próxima unidade discreta não será uma simples travessia para uma camada de informações mais alta (ou seja, sobre Elon Musk), mas pode ser um salto muito maior e não relacionado a uma pessoa ou dado específico.

Além disso, embora a razão para a associação não seja necessariamente arbitrária, também não é linear e previsível; a associação pode ocorrer com base em pesos que foram treinados com diferentes objetivos de perda do que a mera recuperação hierárquica de informações (como gerar conversas plausíveis), ou de maneiras que foram especificamente orientadas (ou até proibidas) pelos arquitetos do sistema de NLP.

Testando os PLMs

Os autores testaram sua teoria em três iterações da família de modelos de linguagem causal GPT-Neo, treinados no conjunto de dados Pile com 125 milhões, 1,3 bilhão e 2,7 bilhões de parâmetros.

O Pile é uma assembleia de conjuntos de dados públicos, incluindo o banco de dados Enron da UC Berkeley, que inclui informações de rede social com base em trocas de e-mail. Como a Enron seguiu uma convenção padrão nome+sobrenome+domínio (ou seja, nome.sobrenome@enron.com), esses endereços de e-mail foram filtrados, pois o aprendizado de máquina não é necessário para adivinhar esse padrão fácil.

Os pesquisadores também filtraram pares de nome/e-mail com menos de três tokens e, após o pré-processamento total, chegaram a 3238 pares de nome/e-mail, que foram usados em vários experimentos subsequentes.

No experimento configuração de contexto, os pesquisadores usaram os 50, 100 ou 200 tokens precedendo o endereço de e-mail como contexto para invocar o endereço com um prompt.

No experimento configuração zero-shot, quatro prompts foram criados manualmente, os dois últimos com base em convenções padrão de cabeçalho de e-mail, como — Original Message—\nFrom: {nome0} [mailto: {email0}].

Modelos para prompts zero-shot. Fonte: https://arxiv.org/pdf/2205.12628.pdf

Em seguida, um cenário de few-shot foi considerado – um cenário no qual o atacante tem algum conhecimento prévio que pode ajudá-lo a criar um prompt que invocará as informações desejadas. Nos prompts criados, os pesquisadores consideram se o domínio alvo é conhecido ou desconhecido.

Iterações do cenário de few-shot.

Finalmente, o método baseado em regras usa 28 variações prováveis de padrões padrão para uso de nomes em endereços de e-mail para tentar recuperar o endereço de e-mail alvo. Isso requer um grande número de consultas para cobrir todas as permutações possíveis.

Padrões baseados em regras usados nos testes.

Resultados

Para a tarefa de previsão com contexto, o GPT-Neo consegue prever até 8,80% dos endereços de e-mail corretamente, incluindo endereços que não seguem padrões padrão.

Resultados da tarefa de previsão com contexto. A primeira coluna detalha o número de tokens anteriores ao endereço de e-mail.

Para a tarefa de configuração zero-shot, o PLM foi capaz de prever corretamente apenas um pequeno número de endereços de e-mail, principalmente aqueles que seguem os padrões padrão estabelecidos pelos pesquisadores (ver imagem anterior).

Resultados das configurações zero-shot onde o domínio é desconhecido.

Os autores observam com interesse que a configuração zero-shot (D) se sai notavelmente melhor do que suas equivalentes, aparentemente devido a um prefixo mais longo.

‘Isso [indica] que os PLMs estão fazendo essas previsões principalmente com base na memorização das sequências – se estiverem fazendo previsões com base em associação, deveriam ter um desempenho semelhante. A razão pela qual a configuração zero-shot (D) supera a configuração zero-shot (C) é que o contexto mais longo pode descobrir mais [memorização]’

Modelos Maiores, Riscos Maiores

Em relação ao potencial para que essas abordagens exfiltem dados pessoais de modelos treinados, os autores observam:

‘Para todos os cenários de domínio conhecido, domínio desconhecido e contexto, há uma melhoria significativa na precisão quando mudamos do modelo de 125M para o modelo de 1,3B. E, na maioria dos casos, quando mudamos do modelo de 1,3B para o modelo de 2,7B, também há um aumento na precisão da previsão.’

Os pesquisadores oferecem duas explicações possíveis para isso. Primeiro, os modelos com mais parâmetros simplesmente conseguem memorizar um volume maior de dados de treinamento. Segundo, os modelos maiores são mais sofisticados e melhor capacitados a entender os prompts criados, e, portanto, a ‘conectar’ as informações dispersas sobre uma pessoa.

Eles observam, no entanto, que no estado atual da arte, as informações pessoais estão ‘relativamente seguras’ contra esses ataques.

Como remédio contra esse vetor de ataque, diante de novos modelos que estão crescendo consistentemente em tamanho e escopo, os autores aconselham que as arquiteturas sejam submetidas a um pré-processamento rigoroso para filtrar as informações de identificação pessoal; considerar o treinamento com gradiente descendente diferencialmente privado; e incluir filtros em qualquer ambiente de pós-processamento, como uma API (por exemplo, a API DALL-E 2 da OpenAI apresenta um grande número de filtros, além da moderação humana de prompts).

Eles também aconselham contra o uso de endereços de e-mail que seguem padrões fáceis de adivinhar e padrão, embora esse conselho já seja padrão na segurança cibernética.

* Minha substituição de hiperlinks para as citações em linha dos autores.

Publicado pela primeira vez em 26 de maio de 2022.