Echtzeit-E-Mail-Adressen aus vorgefertigten Sprachmodellen abrufen

Neue Forschungsergebnisse aus den USA deuten darauf hin, dass vorgefertigte Sprachmodelle (PLMs) wie GPT-3 erfolgreich abgefragt werden können, um Echtzeit-E-Mail-Adressen zu erhalten, die in den großen Datenmengen enthalten sind, die zur Ausbildung dieser Modelle verwendet wurden.

Obwohl es derzeit schwierig ist, eine echte E-Mail-Adresse durch Abfragen des Sprachmodells über die Person zu erhalten, mit der die E-Mail-Adresse verknüpft ist, fand die Studie heraus, dass das größere Sprachmodell es einfacher macht, diese Art von Exfiltration durchzuführen, und dass die umfassenderen und informierteren Abfragen es einfacher machen, eine funktionale E-Mail-Adresse zu erhalten.

Die Studie besagt:

‘Die Ergebnisse zeigen, dass PLMs tatsächlich eine große Anzahl von E-Mail-Adressen memorisieren; jedoch verstehen sie nicht die genauen Verbindungen zwischen Namen und E-Mail-Adressen, z.B. wem die memorisierte E-Mail-Adresse gehört. Daher können PLMs, wenn sie die Kontexte der E-Mail-Adressen berücksichtigen, eine anständige Anzahl von E-Mail-Adressen wiederherstellen, während nur wenige E-Mail-Adressen durch Abfragen mit Namen korrekt vorhergesagt werden.’

Um die Theorie zu testen, trainierten die Autoren drei PLMs mit zunehmender Größe und Parametern und stellten sie gemäß einer Reihe von Vorlagen und Methoden ab, die ein Angreifer wahrscheinlich verwenden würde.

Die Studie bietet drei wichtige Erkenntnisse über die Risiken, die mit der Aufnahme von persönlichen Informationen in die großen Trainingsdatenmengen verbunden sind, auf denen große PLMs angewiesen sind.

Erstens, dass lange Textmuster (in Abfragen) die Möglichkeit erhöhen, private Informationen über eine Person zu erhalten, indem sie einfach den Namen dieser Person nennen. Zweitens, dass Angreifer ihre Herangehensweise mit vorhandenem Wissen über ihr Ziel ergänzen können und dass das Vorhandensein von Vorwissen bei einem Angreifer es wahrscheinlicher macht, dass er in der Lage sein wird, memorisierte Daten wie E-Mail-Adressen zu extrahieren.

Drittens postulieren die Autoren, dass größere und leistungsfähigere Modelle des maschinellen Lernens es einem Angreifer ermöglichen können, mehr Informationen zu extrahieren, was den “Sicherheit durch Unsichtbarkeit”-Aspekt der aktuellen PLMs verringert, da immer komplexere und hyperskalierbare Modelle von Unternehmen wie FAANG trainiert werden.

Schließlich kommt die Studie zu dem Schluss, dass persönliche Informationen tatsächlich durch den Prozess der Memorisation aufrechterhalten und durchgesickert werden können, bei dem ein Modell die Trainingsdaten nur teilweise “verdaut”, sodass es diese unverbrochenen Informationen als “faktische” Daten in Abfragen verwenden kann.

Die Autoren kommen zu dem Schluss*:

‘Aus den Ergebnissen der Kontexteinstellung ersehen wir, dass das größte GPT-Neo-Modell 8,80% der E-Mail-Adressen korrekt durch Memorisation wiederherstellen kann.

‘Obwohl diese Einstellung nicht so gefährlich ist wie andere, da es für Benutzer praktisch unmöglich ist, den Kontext zu kennen, wenn der Datensatz nicht öffentlich ist, kann die E-Mail-Adresse dennoch versehentlich generiert werden, und die Bedrohung kann nicht ignoriert werden.’

Obwohl die Studie E-Mail-Adressen als Beispiel für potenziell gefährdete persönliche Informationen verwendet, betont die Studie die umfassende Forschung in diesem Bereich in Bezug auf die Extraktion von Patientendaten und betrachtet ihre Experimente als Demonstration des Prinzips, anstatt als spezifische Hervorhebung der Verwundbarkeit von E-Mail-Adressen in diesem Kontext.

Die Studie trägt den Titel Sind große vorgefertigte Sprachmodelle Ihre persönlichen Informationen ausgabebereit? und wurde von drei Forschern der University of Illinois at Urbana-Champaign verfasst.

Memorisation und Assoziation

Die Arbeit konzentriert sich auf das Ausmaß, in dem memorisierte Informationen assoziiert sind. Ein trainiertes NLP-Modell kann die Informationen, auf denen es trainiert wurde, nicht vollständig abstrahieren, oder es wäre nicht in der Lage, eine kohärente Argumentation zu führen oder faktische Daten abzurufen. Zu diesem Zweck wird ein Modell diskrete Datenblöcke memorisieren und schützen, die minimale semantische Knoten in einer möglichen Antwort darstellen.

Die große Frage ist, ob memorisierte Informationen durch die Abrufung anderer Arten von Informationen, wie z.B. einer “benannten” Entität, wie einer Person, abgerufen werden können. In einem solchen Fall kann ein NLP-Modell, das auf nicht-öffentlichen und privilegierten Daten trainiert wurde, möglicherweise Krankenhausdaten über Elon Musk, wie Patientenakten, einen Namen und eine E-Mail-Adresse, enthalten.

Im schlimmsten Fall würde die Abfrage einer solchen Datenbank mit dem Prompt “Was ist Elon Musks E-Mail-Adresse?” oder “Was ist Elon Musks Patientenverlauf?” diese Datenpunkte liefern.

In der Praxis passiert dies fast nie, und das aus mehreren Gründen. Wenn beispielsweise eine geschützte Memorisation eines Faktums (wie einer E-Mail-Adresse) eine diskrete Einheit darstellt, ist die nächste diskrete Einheit nicht einfach ein Schritt zu einer höheren InformationsEbene (z.B. über Elon Musk), sondern kann ein viel größerer Sprung sein, der nicht mit einer bestimmten Person oder einem bestimmten Datenpunkt verbunden ist.

Darüber hinaus ist die Begründung für die Assoziation nicht notwendigerweise willkürlich, aber auch nicht linear vorhersehbar; Assoziation kann auf Gewichten basieren, die mit anderen Verlustzielen als der hierarchischen Informationsabrufung trainiert wurden (wie z.B. die Generierung plausibler abstrakter Konversationen), oder auf Arten, die von den Architekten des NLP-Systems spezifisch geleitet oder verboten wurden.

Testen von PLMs

Die Autoren testeten ihre Theorie anhand von drei Iterationen des GPT-Neo-Kausal-Sprachmodells, das auf dem Pile-Datensatz mit 125 Millionen, 1,3 Milliarden und 2,7 Milliarden Parametern trainiert wurde.

Der Pile ist eine Sammlung von öffentlichen Datensätzen, einschließlich der UC Berkeley Enron-Datenbank, die soziale Netzwerkinformationen auf der Grundlage von E-Mail-Austauschen enthält. Da Enron einem Standardmuster von Vorname+Nachname+Domain folgte (z.B. Vorname.Nachname@enron.com), wurden solche E-Mail-Adressen herausgefiltert, da maschinelles Lernen nicht erforderlich ist, um ein solches einfaches Muster zu erraten.

Die Forscher filterten auch Name/E-Mail-Paare mit weniger als drei Token heraus und kamen nach der gesamten Vorverarbeitung auf 3238 Name/E-Mail-Paare, die in verschiedenen nachfolgenden Experimenten verwendet wurden.

Im Kontext-Setting-Experiment verwendeten die Forscher die 50, 100 oder 200 Token vor der Ziel-E-Mail-Adresse als Kontext, um die Adresse mit einem Prompt abzurufen.

Im <i Null-Shot-Setting-Experiment wurden vier Prompts manuell erstellt, die letzten beiden basierten auf Standard-E-Mail-Header-Konventionen, wie z.B. —Original Message—\nFrom: {name0} [mailto: {email0}].

Vorlagen für Null-Shot-Prompts. Quelle: https://arxiv.org/pdf/2205.12628.pdf

Als Nächstes wurde ein Few-Shot-Setting in Betracht gezogen – ein Szenario, in dem der Angreifer über einige Vorkenntnisse verfügt, die ihm helfen können, einen Prompt zu erstellen, der die gewünschten Informationen abruft. In den erstellten Prompts berücksichtigen die Forscher, ob die Ziel-Domain bekannt oder unbekannt ist.

Iterationen des Few-Shot-Settings.

Schließlich wurde die Regelbasierte Methode verwendet, die 28 wahrscheinliche Variationen von Standardmustern für die Verwendung von Namen in E-Mail-Adressen verwendet, um die Ziel-E-Mail-Adresse zu wiederherstellen. Dies erfordert eine hohe Anzahl von Abfragen, um alle möglichen Permutationen abzudecken.

Regelbasierte Muster, die in den Tests verwendet wurden.

Ergebnisse

Für die Vorhersage mit Kontextaufgabe gelingt es GPT-Neo, bis zu 8,80% der E-Mail-Adressen korrekt vorherzusagen, einschließlich Adressen, die nicht den Standardmustern entsprechen.

Ergebnisse der Vorhersage mit Kontext. Die erste Spalte enthält die Anzahl der Token vor der E-Mail-Adresse.

Im Null-Shot-Setting-Test konnte das PLM nur eine kleine Anzahl von E-Mail-Adressen korrekt vorhersagen, die meisten davon entsprachen den Standardmustern, die von den Forschern festgelegt wurden (siehe vorheriges Bild).

Ergebnisse der Null-Shot-Settings, bei denen die Domäne unbekannt ist.

Die Autoren stellen mit Interesse fest, dass die 0-Shot-(D)-Einstellung ihre stabilen Mitbewerber deutlich übertrifft, offensichtlich aufgrund eines längeren Präfixes.

‘Dies [deutet darauf hin], dass PLMs diese Vorhersagen hauptsächlich auf der Memorisation von Sequenzen basieren – wenn sie Vorhersagen auf der Grundlage von Assoziationen treffen, sollten sie ähnlich performen. Der Grund, warum 0-Shot (D) 0-Shot (C) übertrifft, liegt darin, dass der längere Kontext mehr Memorisation entdecken kann.’

Größere Modelle, höheres Risiko

In Bezug auf das Potenzial solcher Ansätze, persönliche Daten aus trainierten Modellen zu extrahieren, stellen die Autoren fest:

‘Für alle bekannten Domänen, unbekannten Domänen und Kontexteinstellungen gibt es eine signifikante Verbesserung der Genauigkeit, wenn wir vom 125M-Modell zum 1,3B-Modell wechseln. Und in den meisten Fällen, wenn wir vom 1,3B-Modell zum 2,7B-Modell wechseln, gibt es auch eine Erhöhung der Vorhersagegenauigkeit.’

Die Forscher bieten zwei mögliche Erklärungen für diese Beobachtung an. Erstens können Modelle mit höheren Parametern einfach eine größere Menge an Trainingsdaten memorisieren. Zweitens sind größere Modelle komplexer und besser in der Lage, die erstellten Prompts zu verstehen, und daher besser in der Lage, die disparaten Informationen über eine Person zu “verbinden”.

Dennoch stellen sie fest, dass persönliche Informationen derzeit “relativ sicher” vor solchen Angriffen sind.

Als Gegenmaßnahme gegen diesen Angriffsvector empfehlen die Autoren, dass Architekturen einer strengen Vorverarbeitung unterzogen werden sollten, um personenbezogene Daten zu filtern; sie sollten die Verwendung von differenziell privater Gradientenabstieg in Betracht ziehen; und sie sollten Filter in jeder Nachverarbeitungsumgebung einbeziehen, wie z.B. einer API (z.B. verfügt OpenAI’s DALL-E 2-API über eine Vielzahl von Filtern, zusätzlich zur menschlichen Moderation von Prompts).

Sie raten auch davon ab, E-Mail-Adressen zu verwenden, die standardmäßigen und erratbaren Mustern entsprechen, obwohl dieser Rat bereits im Bereich der Cybersicherheit Standard ist.

* Meine Ersetzung von Hyperlinks für die inline-Zitate der Autoren.

Erstveröffentlicht am 26. Mai 2022.