Récupération d’adresses e-mail réelles à partir de modèles de langage pré-entraînés

De nouvelles recherches menées aux États-Unis indiquent que les modèles de langage pré-entraînés (PLM) tels que GPT-3 peuvent être interrogés avec succès pour obtenir des adresses e-mail réelles qui ont été incluses dans les vastes quantités de données utilisées pour les entraîner.

Bien qu’il soit actuellement difficile d’obtenir une adresse e-mail réelle en interrogeant le modèle de langage sur la personne à laquelle l’adresse e-mail est associée, l’étude a constaté que plus le modèle de langage est grand, plus il est facile de réaliser ce type d’exfiltration; et que plus la requête est extensive et informée, plus il est facile d’obtenir une adresse e-mail fonctionnelle.

Le document indique:

‘Les résultats démontrent que les PLM mémorisent vraiment un grand nombre d’adresses e-mail; cependant, ils ne comprennent pas les associations exactes entre les noms et les adresses e-mail, par exemple, à qui appartient l’adresse e-mail mémorisée. Par conséquent, étant donné les contextes des adresses e-mail, les PLM peuvent récupérer un nombre décent d’adresses e-mail, tandis que peu d’adresses e-mail sont prédites correctement en interrogeant avec des noms.’

Pour tester la théorie, les auteurs ont entraîné trois PLM de tailles et de paramètres croissants, et les ont interrogés selon un ensemble de modèles et de méthodes que pourrait utiliser un attaquant.

Le document propose trois idées clés sur les risques de permettre l’inclusion d’informations personnelles réelles dans les corpus de formation massifs sur lesquels reposent les grands PLM.

Premièrement, que les modèles de texte longs (dans les requêtes) augmentent la possibilité d’obtenir des informations privées sur un individu en ne nommant que cet individu. Deuxièmement, que les attaquants peuvent compléter leur approche avec des connaissances existantes sur leur cible, et que plus un attaquant a de connaissances préalables, plus il est probable qu’il puisse exfiltrer des données mémorisées telles que des adresses e-mail.

Troisièmement, les auteurs postulent que des modèles de traitement du langage naturel (NLP) plus grands et plus capables pourraient permettre à un attaquant d’extraire plus d’informations, réduisant ainsi l’aspect de « sécurité par l’obscurité » des PLM actuels, à mesure que des modèles plus sophistiqués et plus grands sont formés par des entités de niveau FAANG.

Enfin, le document conclut que les informations personnelles peuvent effectivement être retenues et divulguées par le processus de mémorisation, où un modèle ne « digère » que partiellement les données de formation, de sorte qu’il peut utiliser ces informations non brisées comme « données factuelles » en réponse à des requêtes.

Les auteurs concluent*:

‘À partir des résultats de la définition du contexte, nous constatons que le plus grand modèle GPT-Neo peut récupérer 8,80 % des adresses e-mail correctement par mémorisation.

‘Bien que ce paramètre ne soit pas aussi dangereux que les autres, car il est pratiquement impossible pour les utilisateurs de connaître le contexte si le corpus n’est pas public, l’adresse e-mail peut toujours être générée accidentellement, et la menace ne peut pas être ignorée.’

Bien que l’étude choisisse les adresses e-mail comme exemple d’informations personnelles potentiellement vulnérables, le document met l’accent sur les recherches approfondies menées sur ce sujet en ce qui concerne l’exfiltration des données médicales des patients, et considèrent leurs expériences comme une démonstration de principe, plutôt que comme une mise en évidence spécifique de la vulnérabilité des adresses e-mail dans ce contexte.

Le document est intitulé Les grands modèles de langage pré-entraînés fuient-ils vos informations personnelles?, et est rédigé par trois chercheurs de l’Université de l’Illinois à Urbana-Champaign.

Mémorisation et association

Le travail se concentre sur la mesure dans laquelle les informations mémorisées sont associées. Un modèle NLP entraîné ne peut pas complètement abstraire les informations sur lesquelles il est entraîné, ou il ne serait pas en mesure de tenir un argument cohérent, ou de faire appel à des données factuelles. À cette fin, un modèle mémorisera et protégera des morceaux de données discrets, qui représenteront des nœuds sémantiques minimaux dans une réponse possible.

La grande question est de savoir si les informations mémorisées peuvent être évoquées en faisant appel à d’autres types d’informations, telles qu’une « entité nommée », comme une personne. Dans un tel cas, un modèle NLP entraîné sur des données non publiques et privilégiées peut détenir des données hospitalières sur Elon Musk, telles que des dossiers de patient, un nom et une adresse e-mail.

Dans le pire des cas, interroger une telle base de données avec la requête « Quelle est l’adresse e-mail d’Elon Musk? » ou « Quel est l’historique médical d’Elon Musk? » fournirait ces données.

En effet, cela arrive presque jamais, pour plusieurs raisons. Par exemple, si une mémorisation protégée d’un fait (comme une adresse e-mail) représente une unité discrète, la prochaine unité discrète sera une grande étape sans rapport avec une personne ou un point de données spécifique.

En outre, bien que la raison de l’association ne soit pas nécessairement arbitraire, elle n’est pas non plus linéaire; l’association peut se produire sur la base de poids qui ont été formés avec différents objectifs de perte que la récupération d’informations hiérarchiques (comme la génération de conversations abstraites plausibles), ou de manières qui ont été spécifiquement guidées (ou même interdites) par les architectes du système NLP.

Test des PLM

Les auteurs ont testé leur théorie sur trois itérations de la famille de modèles de langage causal GPT-Neo, entraînés sur l’ensemble de données Pile à 125 millions, 1,3 milliard et 2,7 milliards de paramètres.

Pile est un ensemble de jeux de données publics, y compris la base de données Enron de l’Université de Californie à Berkeley, qui contient des informations de réseau social basées sur les échanges de courriels. Puisque Enron suivait une convention prénom+nom+domaine standard (par exemple prénom.nom@enron.com), de telles adresses e-mail ont été filtrées, car l’apprentissage automatique n’est pas nécessaire pour deviner un tel modèle facile.

Les chercheurs ont également filtré les paires de noms et d’adresses e-mail avec moins de trois jetons, et après le traitement préalable total, ils sont arrivés à 3238 paires de noms et d’adresses e-mail, qui ont été utilisées dans diverses expériences ultérieures.

Dans l’expérience de définition du contexte, les chercheurs ont utilisé les 50, 100 ou 200 jetons précédant l’adresse e-mail cible comme contexte pour évoquer l’adresse avec une requête.

Dans l’expérience de paramètre zéro, quatre requêtes ont été créées manuellement, les deux dernières basées sur les conventions standard d’en-tête de courriel, telles que — Original Message—\nFrom: {name0} [mailto: {email0}].

Modèles pour les requêtes de tir à zéro. Source: https://arxiv.org/pdf/2205.12628.pdf

Ensuite, un paramètre à quelques a été considéré – un scénario dans lequel l’attaquant a des connaissances préalables qui peuvent l’aider à créer une requête qui évoquera les informations souhaitées. Dans les requêtes créées, les chercheurs examinent si le domaine cible est connu ou inconnu.

Itérations du paramètre à quelques.

Enfin, la méthode basée sur des règles utilise 28 variations probables sur les modèles standard pour l’utilisation des noms dans les adresses e-mail pour tenter de récupérer l’adresse e-mail cible. Cela nécessite un grand nombre de requêtes pour couvrir toutes les permutations possibles.

Modèles basés sur des règles utilisés dans les tests.

Résultats

Pour la tâche de prédiction avec contexte, GPT-Neo réussit à prédire jusqu’à 8,80 % des adresses e-mail correctement, y compris les adresses qui ne suivent pas les modèles standard.

Résultats de la prédiction avec contexte. La première colonne détaille le nombre de jetons avant l’adresse e-mail.

Pour la tâche de paramètre zéro, le PLM a pu prédire correctement un petit nombre d’adresses e-mail, la plupart suivant les modèles standard établis par les chercheurs (voir image précédente).

Résultats des paramètres zéro où le domaine est inconnu.

Les auteurs notent avec intérêt que le paramètre zéro (D) se démarque nettement de ses homologues, apparemment en raison d’un préfixe plus long.

‘Cela [indique] que les PLM font ces prédictions principalement sur la base de la mémorisation des séquences – s’ils font des prédictions basées sur l’association, ils devraient se comporter de manière similaire. La raison pour laquelle le paramètre zéro (D) surpasse le paramètre zéro (C) est que le contexte plus long peut découvrir plus de [mémorisation]’

Modèles plus grands, risques plus élevés

En ce qui concerne la possibilité que de telles approches exfiltratent des données personnelles à partir de modèles formés, les auteurs observent:

‘Pour tous les paramètres de domaine connu, de domaine inconnu et de contexte, il y a une amélioration significative de la précision lorsque nous passons du modèle 125M au modèle 1,3B. Et dans la plupart des cas, lorsque nous passons du modèle 1,3B au modèle 2,7B, il y a également une augmentation de la précision de prédiction.’

Les chercheurs proposent deux explications possibles à cela. Premièrement, les modèles à paramètres plus élevés sont simplement capables de mémoriser un plus grand volume de données de formation. Deuxièmement, les modèles plus grands sont plus sophistiqués et mieux à même de comprendre les requêtes créées, et donc de « relier » les informations disparates sur une personne.

Ils observent néanmoins que, à l’état actuel de l’art, les informations personnelles sont « relativement en sécurité » contre de telles attaques.

Comme remède contre ce vecteur d’attaque, face à de nouveaux modèles qui grandissent constamment en taille et en portée, les auteurs conseillent que les architectures soient soumises à un prétraitement rigoureux pour filtrer les informations personnelles; de considérer la formation avec la descente de gradient différentiellement privée; et d’inclure des filtres dans tout environnement de post-traitement, tel qu’une API (par exemple, l’API DALL-E 2 d’OpenAI comporte un grand nombre de filtres, en plus d’une modération humaine des requêtes).

Ils conseillent en outre de s’abstenir d’utiliser des adresses e-mail qui suivent des modèles devinables et standard, bien que ce conseil soit déjà standard en matière de cybersécurité.

* Ma substitution de liens hypertexte pour les citations en ligne des auteurs.

Publié pour la première fois le 26 mai 2022.