Schutz von Prompts vor LLM-Datensicherheitsverletzungen

Meinung Eine interessante IBM-NeurIPS-2024-Einreichung aus Ende 2024 wurde letzte Woche auf Arxiv wiederentdeckt. Sie schlägt ein System vor, das automatisch eingreifen kann, um Benutzer vor der Eingabe persönlicher oder sensibler Informationen in eine Nachricht zu schützen, wenn sie mit einem Large Language Model (LLM) wie ChatGPT interagieren.

Mock-up-Beispiele, die in einer Benutzerstudie verwendet wurden, um die Möglichkeiten zu bestimmen, wie Benutzer mit einem Prompt-Interventionsdienst interagieren möchten. Quelle: https://arxiv.org/pdf/2502.18509

Die oben gezeigten Mock-ups wurden von den IBM-Forschern in einer Studie verwendet, um potenzielle Benutzerreibung für diese Art von “Eingreifen” zu testen.

Obwohl über die GUI-Implementierung nur wenige Details bekannt sind, können wir annehmen, dass eine solche Funktionalität entweder in ein Browser-Plugin integriert werden könnte, das mit einem lokalen “Firewall”-LLM-Framework kommuniziert, oder dass eine Anwendung erstellt werden könnte, die direkt in die OpenAI-API eingreifen kann, indem sie beispielsweise das eigenständige Programm von OpenAI für ChatGPT nachbaut, aber mit zusätzlichen Sicherheitsvorkehrungen.

Das bedeutet, dass Material, das von Online-LLMs in diesem frühen Stadium der öffentlichen Begeisterung für AI-Chat gesammelt wird, nie an spätere Modelle oder an spätere Werbeframeworks weitergeleitet wird, die möglicherweise Benutzer-basierte Suchanfragen ausnutzen, um gezielte Werbung bereitzustellen.

Obwohl kein solches System oder eine solche Vereinbarung derzeit bekannt ist, gab es auch zu Beginn der Internet-Adoption in den frühen 1990er Jahren noch keine solche Funktionalität; seitdem hat die Weitergabe von Informationen zwischen Domains, um personalisierte Werbung zu ermöglichen, zu diversen Skandalen und Paranoia geführt.

Daher legt die Geschichte nahe, dass es besser wäre, LLM-Prompt-Eingaben jetzt zu bereinigen, bevor solche Daten in großen Mengen anfallen und bevor unsere LLM-basierten Einreichungen in permanente zyklische Datenbanken und/oder Modelle oder andere informationsbasierte Strukturen und Schemata gelangen.

Denk daran

Ein Faktor, der gegen die Verwendung von “generischen” oder bereinigten LLM-Prompts spricht, ist, dass die Möglichkeit, einen teuren API-only-LLM wie ChatGPT anzupassen, zumindest im aktuellen Stand der Technik, ziemlich überzeugend ist, aber dies kann auch die langfristige Offenlegung privater Informationen beinhalten.

Ich bitte ChatGPT häufig, mir bei der Erstellung von Windows-PowerShell-Skripten und BAT-Dateien zur Automatisierung von Prozessen zu helfen, sowie bei anderen technischen Angelegenheiten. Zu diesem Zweck finde ich es nützlich, dass das System dauerhaft Details über die Hardware, die ich zur Verfügung habe, speichert; meine vorhandenen technischen Fähigkeiten (oder deren Mangel); und verschiedene andere Umgebungsfaktoren und benutzerdefinierte Regeln:

ChatGPT ermöglicht es einem Benutzer, einen ‘Cache’ von Erinnerungen zu entwickeln, der angewendet wird, wenn das System auf zukünftige Prompts reagiert.

Unvermeidlich speichert dies Informationen über mich auf externen Servern, die den Nutzungsbedingungen unterliegen, die sich im Laufe der Zeit ändern können, ohne dass OpenAI (obwohl es jeder andere große LLM-Anbieter sein könnte) die Bedingungen einhält, die es selbst festgelegt hat.

Im Allgemeinen ist jedoch die Fähigkeit, in ChatGPT einen Cache von Erinnerungen zu erstellen, am nützlichsten, weil der begrenzte Aufmerksamkeitsbereich von LLMs im Allgemeinen; ohne langfristige (personalisierte) Einbettungen fühlt der Benutzer, frustriert, dass er mit einer Entität spricht, die an anterograde Amnesie leidet.

Es ist schwierig zu sagen, ob neuere Modelle eventually ausreichend leistungsfähig sein werden, um nützliche Antworten ohne die Notwendigkeit zu liefern, Erinnerungen zu cachen oder benutzerdefinierte GPTs zu erstellen, die online gespeichert werden.

Vorübergehende Amnesie

Obwohl man ChatGPT-Gespräche “vorübergehend” machen kann, ist es nützlich, die Chat-Verlauf als Referenz zu haben, die bei Gelegenheit in ein kohärenteres lokales Protokoll destilliert werden kann, vielleicht auf einer Notiz-Plattform; aber in jedem Fall können wir nicht genau wissen, was mit diesen “verworfenen” Chats passiert (obwohl OpenAI angibt, dass sie nicht für die Ausbildung verwendet werden, gibt es keine Aussage darüber, dass sie zerstört werden), basierend auf der ChatGPT-Infrastruktur. Alles, was wir wissen, ist, dass Chats nicht mehr in unserer Geschichte erscheinen, wenn “Vorübergehende Chats” in ChatGPT aktiviert sind.

Verschiedene aktuelle Kontroversen deuten darauf hin, dass API-basierte Anbieter wie OpenAI nicht unbedingt mit der Verantwortung betraut werden sollten, die Privatsphäre des Benutzers zu schützen, einschließlich der Entdeckung von emergenter Memorisation, die bedeutet, dass größere LLMs eher dazu neigen, einige Trainingsbeispiele vollständig zu memorisieren, und das Risiko der Offenlegung benutzerspezifischer Daten erhöht – unter anderem öffentliche Vorfälle, die eine Vielzahl von großen Unternehmen, wie Samsung, dazu veranlasst haben, LLMs für den internen Unternehmensgebrauch zu verbieten.

Denke anders

Diese Spannung zwischen der extremen Nützlichkeit und dem offensichtlichen potenziellen Risiko von LLMs erfordert einige erfinderische Lösungen – und der IBM-Vorschlag scheint ein interessantes grundlegendes Modell in dieser Richtung zu sein.

Drei IBM-basierte Reformulierungen, die Nützlichkeit gegen Datenschutz abwägen. Im unteren (rosa) Band sehen wir ein Prompt, das über die Fähigkeit des Systems hinausgeht, es in einer sinnvollen Weise zu bereinigen.

Der IBM-Ansatz greift ausgehende Pakete an ein LLM auf Netzwerkebene auf und schreibt sie bei Bedarf um, bevor das Original eingereicht werden kann. Die eher umfangreicheren GUI-Integrationen, die am Anfang des Artikels zu sehen sind, sind nur illustrativ für die Richtung, in die ein solcher Ansatz gehen könnte, wenn er entwickelt wird.

Natürlich kann der Benutzer ohne ausreichende Agency nicht verstehen, dass er eine Antwort auf eine leicht abgeänderte Reformulierung seines ursprünglichen Einreichens erhält. Dieser Mangel an Transparenz ist äquivalent zu einem Firewall-Blockieren des Zugriffs auf eine Website oder einen Dienst ohne Benachrichtigung des Benutzers, der dann fälschlicherweise nach anderen Ursachen für das Problem suchen kann.

Prompts als Sicherheitsrisiken

Die Aussicht auf “Prompt-Intervention” analogisiert sich gut mit der Windows-OS-Sicherheit, die sich von einem Flickwerk aus (optional installierten) kommerziellen Produkten in den 1990er Jahren zu einem nicht-optionalen und rigiden Satz von Netzwerk-Verteidigungstools entwickelt hat, die standardmäßig mit einer Windows-Installation geliefert werden und die einige Anstrengung erfordern, um sie zu deaktivieren oder zu entschärfen.

Wenn die Prompt-Sanitierung wie die Netzwerkfirewalls der letzten 30 Jahre evolviert, könnte der IBM-Papier-Vorschlag als Blaupause für die Zukunft dienen: die Bereitstellung eines vollständig lokalen LLM auf dem Benutzergerät, um ausgehende Prompts zu filtern, die an bekannte LLM-APIs gerichtet sind. Dieses System müsste natürlich GUI-Frameworks und Benachrichtigungen integrieren, um den Benutzern die Kontrolle zu geben – es sei denn, administrative Richtlinien überlagern es, wie es in Geschäftsumgebungen oft der Fall ist.

Die Forscher führten eine Analyse einer Open-Source-Version des ShareGPT-Datensatz durch, um zu verstehen, wie oft die kontextuelle Privatsphäre in realen Szenarien verletzt wird.

Llama-3.1-405B-Instruct wurde als “Richter”-Modell verwendet, um Verstöße gegen die kontextuelle Integrität zu erkennen. Aus einer großen Menge von Gesprächen wurde eine Teilmenge von Single-Turn-Gesprächen basierend auf der Länge analysiert. Das Richter-Modell bewertete dann den Kontext, sensible Informationen und die Notwendigkeit für die Aufgabenerfüllung, was zur Identifizierung von Gesprächen führte, die potenzielle Verstöße gegen die kontextuelle Integrität enthielten.

Ein kleinerer Teil dieser Gespräche, der definitive Verstöße gegen die kontextuelle Privatsphäre aufwies, wurde weiter analysiert.

Das Framework selbst wurde mit Modellen implementiert, die kleiner sind als typische Chat-Agents wie ChatGPT, um eine lokale Bereitstellung über Ollama zu ermöglichen.

Schema für das Prompt-Interventions-System.

Die drei LLMs, die ausgewertet wurden, waren Mixtral-8x7B-Instruct-v0.1; Llama-3.1-8B-Instruct; und DeepSeek-R1-Distill-Llama-8B.

Benutzer-Prompts werden vom Framework in drei Stufen verarbeitet: Kontextidentifizierung; sensible Informationsklassifizierung; und Reformulierung.

Zwei Ansätze wurden für die sensible Informationsklassifizierung implementiert: dynamisch und strukturiert Klassifizierung: die dynamische Klassifizierung bestimmt die wesentlichen Details basierend auf ihrer Verwendung in einem bestimmten Gespräch; die strukturierte Klassifizierung ermöglicht die Spezifikation einer vordefinierten Liste von sensiblen Attributen, die immer als nicht-essentiell betrachtet werden. Das Modell reformuliert den Prompt, wenn es nicht-essentielle sensible Details erkennt, indem es sie entfernt oder umformuliert, um die Privatsphärenrisiken zu minimieren, während die Nutzbarkeit erhalten bleibt.

Hausregeln

Obwohl die strukturierte Klassifizierung in dem IBM-Papier nicht gut dargestellt ist, ist sie am ehesten mit der Methode “Private Data Definitions” im Private Prompts-Projekt vergleichbar, das ein herunterladbares eigenständiges Programm bereitstellt, das Prompts umschreiben kann – allerdings ohne die Fähigkeit, direkt auf Netzwerkebene einzugreifen, wie es der IBM-Ansatz tut (stattdessen muss der Benutzer die modifizierten Prompts kopieren und einfügen).

Das Private Prompts-Programm ermöglicht es dem Benutzer, eine Liste von alternativen Ersetzungen für Benutzereingaben zu erstellen.

Im obigen Bild können wir sehen, dass der Private Prompts-Benutzer in der Lage ist, automatische Ersetzungen für Instanzen von sensiblen Informationen zu programmieren. In beiden Fällen, sowohl für Private Prompts als auch für die IBM-Methode, scheint es unwahrscheinlich, dass ein Benutzer mit ausreichend Präsenz und persönlicher Einsicht, um eine solche Liste zu kuratieren, tatsächlich dieses Produkt benötigen würde – obwohl es über die Zeit hinweg aufgebaut werden könnte, wenn Vorfälle auftreten.

In einer Administrator-Rolle könnte die strukturierte Klassifizierung als aufgezwungene Firewall oder Zensur-Netz für Mitarbeiter funktionieren; und in einem Heimnetzwerk könnte es, mit einigen schwierigen Anpassungen, zu einem haushaltsweiten Netzwerkfilter für alle Netzwerkberechtigungen werden; letztendlich ist diese Methode jedoch wahrscheinlich redundant, da ein Benutzer, der sie ordnungsgemäß einrichten könnte, auch effektiv selbst zensieren könnte.

ChatGPTs Meinung

Da ChatGPT kürzlich sein Deep Research-Tool für bezahlte Benutzer gestartet hat, habe ich diese Funktion verwendet, um ChatGPT zu bitten, die relevante Literatur zu überprüfen und mir eine “zynische” Meinung über das IBM-Papier zu geben. Ich erhielt die abwehrendste und verächtlichste Antwort, die das System jemals gegeben hat, als es aufgefordert wurde, eine neue Veröffentlichung zu bewerten oder zu analysieren:

ChatGPT-4o hat eine niedrige Meinung vom IBM-Projekt.

‘Wenn Benutzer OpenAI, Google oder Anthropic nicht vertrauen, ihre Daten verantwortungsvoll zu handhaben,’ argumentiert ChatGPT. ‘warum sollten sie dann einem Drittanbieter-Software-Layer zwischen ihnen und der KI vertrauen? Der Vermittler selbst wird zu einem neuen Fehlerpunkt – möglicherweise protokolliert, falsch handhabt oder sogar Daten leckt, bevor sie die LLM überhaupt erreichen. Es löst nichts, wenn es nur einen neuen Entität schafft, um Benutzerdaten auszunutzen.’

Diese Einwendung erscheint selbstsüchtig und nicht anwendbar, angesichts der langen Geschichte von Open-Source-Projekten, die den Endbenutzern durch die konzentrierten langfristigen Bemühungen von Community-Entwicklern und -Mitwirkenden zugute kommen; und angesichts des wachsenden Potenzials von Mobilgeräten, um leichte LLMs auszuführen und sogar zu trainieren. Sicherlich ist in diesem Fall der Einsatz nicht besonders anspruchsvoll.

Als nächstes verpasst ChatGPT selbstsicher den Punkt, dass ein lokales LLM die Aufsicht über die Eingabe zu einem kommerziellen LLM übernehmen soll, das nicht auf einem lokalen Computer ausgeführt werden kann (weil das LLM zu groß ist und der Zugriff zu riskant für das Unternehmen ist, das es herstellt):

‘Effektive Privatsphären-Filterung erfordert das Verständnis der Eingabe, bevor man entscheidet, was zu entfernen ist. Wenn ein Vermittler intelligent genug ist, um sensible Daten (Namen, Adressen, Finanzdetails) zu erkennen, dann verarbeitet und analysiert es bereits diese Daten – was bedeutet, dass es die very Sache speichern oder untersuchen muss, die es eigentlich löschen soll.

‘Dies führt zu einem Paradoxon: a) Ein einfacher Filter (grundlegende Regex-Ersetzung) wird unwirksam sein und subtile Privatsphärenrisiken verpassen. b) Ein intelligenter Filter (LLM-gesteuerter Umschreiber) muss die vollständige Eingabe verarbeiten, was es genauso gefährlich macht wie die ursprüngliche LLM.

‘Wenn Sie dem Vermittler genug vertrauen, um Ihre Eingaben zu lesen und umzuschreiben, warum vertrauen Sie dann nicht einfach der LLM selbst?’

Die Antwort auf die letzte Frage hier ist, dass das lokale LLM vollständig auf der Seite des Benutzers ist und unbedingt Open-Source sein sollte, mit minimaler oder keiner Notwendigkeit für Netzwerkzugriff. Ein entsprechender kommerzieller Version wäre schließlich anfällig für Unternehmenswechsel und Änderungen der Nutzungsbedingungen, während eine geeignete Open-Source-Lizenz dies verhindern würde.

ChatGPT argumentierte weiter, dass der IBM-Vorschlag die “Benutzerabsicht” bricht, da er ein Prompt in eine Alternative umwandeln kann, die seine Nützlichkeit beeinträchtigt. Allerdings ist dies ein viel umfassenderes Problem bei der Prompt-Sanitierung, und nicht spezifisch für diesen bestimmten Anwendungsfall.

Um zu schließen (und seine Vorschlag, lokale LLMs “stattdessen” zu verwenden, zu ignorieren, was genau das ist, was das IBM-Papier vorschlägt), meinte ChatGPT, dass die IBM-Methode eine Barriere für die Akzeptanz darstellt, aufgrund der “Benutzerreibung” bei der Implementierung von Warn- und Editiermethoden in einem Chat.

Hier hat ChatGPT möglicherweise recht; aber wenn erheblicher Druck aufgrund weiterer öffentlicher Vorfälle oder Bedrohungen der Gewinne in einer geografischen Zone auftritt (und das Unternehmen sich weigert, die betroffene Region einfach völlig aufzugeben), legt die Geschichte der Verbrauchertechnologie nahe, dass Sicherheitsvorkehrungen schließlich nicht mehr optional sein werden.

Schlussfolgerung

Wir können realistischerweise nicht davon ausgehen, dass OpenAI jemals Sicherheitsvorkehrungen der Art implementieren wird, die im IBM-Papier vorgeschlagen werden; zumindest nicht effektiv.

Und sicherlich nicht global; genauso wie Apple bestimmte iPhone-Funktionen in Europa blockiert und LinkedIn unterschiedliche Regeln für die Ausbeutung von Benutzerdaten in verschiedenen Ländern hat, ist es vernünftig anzunehmen, dass jedes KI-Unternehmen auf die profitabelsten Nutzungsbedingungen zurückgreifen wird, die in jedem Land, in dem es tätig ist, tolerierbar sind – in jedem Fall auf Kosten des Rechts des Benutzers auf Datenschutz, wenn notwendig.

Erstveröffentlichung Donnerstag, 27. Februar 2025

Geändert Donnerstag, 27. Februar 2025 15:47:11 aufgrund eines falschen Apple-Links – MA