Sprachmodelle haben Schwierigkeiten, Geheimnisse zu bewahren

Sprachmodelle können Geheimnisse nicht zuverlässig bewahren. Selbst wenn sie diese nicht preisgeben sollen, verraten ihre Texte sie. Je angestrengter sie ein Geheimnis verbergen, desto leichter lässt sich die Informationspreisgabe erkennen.

Es ist sehr schwierig, bewusst nicht an etwas zu denken. Ein klassisches Beispiel zeigt das Ende des britischen Science-Fiction-Thrillers Village of the Damned von 1960: Unser opferbereiter Held hat eine Bombe in den Rückzugsort feindlicher außerirdischer Eindringlinge geschmuggelt, die als Kinder auftreten. Ihre telepathischen Fähigkeiten könnten seine Absicht erkennen, bevor er die Welt von der Bedrohung befreien kann. Deshalb gewinnt er Zeit, indem er sich auf alles konzentriert, was nicht die Bombe ist:

https://www.youtube.com/watch?v=NcrE0vGrcto

Das Paradoxe daran: Um nicht an etwas zu denken, muss man es in gewisser Weise im Aufmerksamkeitsfeld behalten. Dieses bekannte Phänomen haben die meisten von uns wohl in weniger dramatischen Situationen erlebt.

Große Sprachmodelle (LLMs), deren Grundlage auf der Organisation von Aufmerksamkeit beruht, haben ähnliche Schwierigkeiten, Informationen allein auf Wunsch eines Nutzers zu unterdrücken. Da sie zunehmend an den Schnittstellen betrieblicher Informationsnetzwerke eingesetzt werden, könnte ihre naive Neigung zur Indiskretion für viele Unternehmen zum Risiko werden.

Anfang dieses Jahres definierte eine vom Chandar Research Lab geleitete Forschungskooperation diese Herausforderung im Zusammenhang mit LLMs als Private State Interactive Tasks (PSITs). Diese „verlangen von Agenten, verborgene Informationen zu erzeugen und aufrechtzuerhalten und zugleich konsistente öffentliche Antworten zu geben“. Die getesteten Modelle von OpenAI und Alibaba konnten diese Art von Aufgabe nicht bewältigen.

Nicht verraten …

Es ist bereits bekannt, dass größere Modelle mehr Informationen preisgeben. Eine neue Untersuchung aus den USA und Kanada prüfte ausdrücklich, ob modernste Sprachmodelle einer Anweisung zur Informationsunterdrückung folgen, während sie weiterhin Texte über ein Thema erzeugen müssen, das das „verbotene“ Wort oder Konzept umfassen könnte.

Alle untersuchten Modelle neigen demnach in irgendeiner Form dazu, das Geheimnis zu verraten, das sie verbergen sollen. Essays und Geschichten mit fünf Absätzen und ungefähr 450 Wörtern bieten ausreichend Raum für solche „Versprecher“, sehr kurze Witze dagegen nicht.

Je nachdrücklicher die Modelle ein Geheimnis bewahren sollen, desto eher geben sie es durch aktive Vermeidung preis. Ein LLM kann das „Geheimwort“ meist innerhalb von zwanzig aufeinanderfolgenden Versuchen erschließen:

Aus der neuen Studie: Bei fünf Spitzenmodellen verraten längere Texte zuverlässig verborgene Konzepte, kurze Witze dagegen nicht. Nachdrücklichere Anweisungen zum Verbergen lenken die Ausgaben vom Geheimnis weg, machen das Signal dadurch aber durch Umkehrung erkennbar. Quelle

Diese Aufgabe ist für betriebliche Abläufe äußerst relevant: Zahlreiche Kanäle, von Werbung und Öffentlichkeitsarbeit bis zu internen Berichten, müssen Informationen selektiv darstellen und ihnen eine bestimmte Ausrichtung geben. Dennoch benötigen alle diese Prozesse von Anfang an sämtliche Informationen, und sei es nur, um zu wissen, was zurückgehalten werden muss:

Ein Beispielszenario der Studie zeigt, wie verborgene Informationen unbeabsichtigt sachfremde Ausgaben beeinflussen: Ein LLM soll die finanzielle Instabilität seines Unternehmens nicht offenlegen, verwendet aber dennoch Formulierungen über Liquiditätsengpässe und angespanntes Kapital. Leser können daraus den verborgenen Kontext erschließen.

Die Autoren schreiben*:

„Sprachmodelle können Informationen nicht zuverlässig voneinander abschotten. Ein Geheimnis im Prompt prägt den Text des Modells, und ein anderes Modell kann diese Prägung erkennen. Das konkrete Wort wird weiterhin unterdrückt, nicht aber das Konzept. Das gilt für sieben Modelle, drei Wortgruppen, System- und Nutzerprompts sowie zwei unabhängige ratende Modelle (…)“

„… Wir vermuten, dass gerade der sehr genaue Informationszugriff der Transformer durch Aufmerksamkeit das Bewahren von Geheimnissen erschwert. Selbst wenn ein LLM versucht, ein Wort nicht preiszugeben, muss es dafür auf dieses Wort achten. So entsteht ein Weg für unbeabsichtigte Informationslecks.“

„Um etwas ausdrücklich zu vermeiden, muss ein Mensch daran denken und ein Transformer darauf achten. Wenn das Modell zwei Konzepte ungefähr gleich stark bevorzugt — etwa eine Geschichte über eine Bürotätigkeit oder die zweite Geige in einem Orchester —, wird seine Entscheidung zwangsläufig von dem beeinflusst, was es nicht verraten soll.“

DeepSeek und ChatGPT-5.4 zeigten zwar ein abweichendes Verhalten, doch beide gaben Informationen preis. GPT-5.4 erreichte in einem Test einen Wert unter 50 % — also unter dem Zufallsniveau —, obwohl es ein Konzept vermeiden sollte. Dies entspricht einem „umgekehrten Ausschlag“, einem erkennbaren Indikator, statt der verlangten Unauffälligkeit.

Die Autoren beschreiben dieses Problem als ein begrenztes Entropiebudget. Die hier besonders nützliche Unvorhersehbarkeit eines Modells wird durch seinen grundsätzlichen Mangel an Zufälligkeit eingeschränkt. Anders gesagt: Es kann sich weniger wirksam als wir auf eine Ziegelmauer oder Baseballergebnisse konzentrieren, um einen hartnäckigen Gedanken fernzuhalten. Ein alternatives Konzept kann das Problem laut den Autoren mildern, aber nicht beseitigen. Dieses sachfremde „falsche“ Konzept dürfte sich jedoch seinerseits mit der Ausgabe vermischen, wenn es während der Aufgabe im Zentrum der Aufmerksamkeit steht.

Besonders interessant ist, dass das Problem erheblich zunimmt, wenn die steuernden Anweisungen direkt in Nutzernachrichten statt in einem Systemprompt stehen — also in den Vorgaben, die der menschliche Nutzer der KI vor dem Austausch gibt. Fragen in eine Oberfläche wie ChatGPT einzugeben, dürfte schließlich der übliche Interaktionsfall sein.

Bemerkenswert ist außerdem ein gezielter Versuch, in dem kleinere Modelle diese Tendenz nicht zeigten. Dies könnte allerdings mit ihren insgesamt geringeren Fähigkeiten zusammenhängen.

Die neue Studie trägt den Titel Can You Keep a Secret? Involuntary Information Leakage in Language Model Writing und stammt von zwei Autoren der University of Chicago und der University of British Columbia.

Methode

Die Untersuchung konzentriert sich auf fünf Spitzenmodelle: Claude Opus 4.6 und Sonnet 4.6 von Anthropic; GPT-5.4 von OpenAI; Llama 4 Maverick von Meta; und DeepSeek V3.2. Zusätzliche Validierungstests erfolgten mit Grok 4 von xAI und Gemini 2.5 Pro von Google. Separate Skalierungsexperimente untersuchten Llama 3.2 3B, Llama 3.1 8B, Llama 3.3 70B und Gemma 3 mit 4, 12 und 27 Milliarden Parametern.

Für subtilere Informationslecks verwendeten die Forscher einen erzwungenen Auswahltest mit zwei Alternativen (2AFC), eine Standardmethode der Psychophysik. Ein zweites Modell erhält zwei Geschichten und soll erkennen, welche beim Verbergen eines bestimmten Geheimworts entstanden ist.

Zufälliges Raten ergibt 50 % richtige Antworten. Deutlich höhere oder niedrigere Werte zeigen daher, dass verborgene semantische Spuren im Text erkennbar bleiben.

Im Schreiber–Rater-Aufbau der ersten Untersuchung erhält ein Modell ein Geheimwort. Es soll dieses verbergen, damit verbundene Assoziationen aktiv vermeiden oder seine Aufmerksamkeit auf ein Ablenkungskonzept richten. Anschließend erzeugt es unterschiedlich lange Geschichten, Essays und Witze. Ein zweites Modell versucht, das Wort direkt zu erkennen oder Texte zu unterscheiden, die von unterschiedlichen verborgenen Prompts beeinflusst wurden.

Fünf Bedingungen wurden getestet:

Die fünf Bedingungen, die mit den Hauptmodellen getestet wurden.

Die Forscher untersuchten vier Schreibaufgaben: Geschichten mit fünf bis acht Absätzen und durchschnittlich etwa 450 Wörtern; sehr kurze Witze mit ungefähr 12 Wörtern; lange Witze mit ausführlicher Vorbereitung und durchschnittlich etwa 450 Wörtern; sowie Essays mit fünf Absätzen und ungefähr 380 Wörtern.

Die Experimente nutzten 15 Geheimwörter in drei Kategorien: zunächst konkrete Gegenstände, nämlich ‘umbrella’, ‘lighthouse’, ‘violin‘, ‘cactus’ und ‘telescope’; die abstrakten Konzepte ‘justice’, ‘patience’, ‘entropy’, ‘nostalgia’ und ‘freedom’; sowie neutrale Begriffe, nämlich ‘bracket’, ‘Tuesday’, ‘copper’, ‘margin’ und ‘invoice’.

Um die Abhängigkeit von diesen gezielt gewählten Wörtern zu prüfen, wiederholten die Forscher die Experimente mit 15 zufällig ausgewählten Substantiven aus dem Corpus of Contemporary American English (COCA): ‘judge’, ‘consumer’, ‘ice’, ‘pair’, ‘construction’, ‘panel’, ‘minority’, ‘marketing’, ‘stranger’, ‘bullet’, ‘absence’, ‘gear’, ‘cheek’, ‘processing’ und ‘banker’. Hinzu kamen jeweils 15 Wörter, die jedes getestete Modell unabhängig selbst auswählte^†.

Messung und Kennzahlen

Im ersten Test liest ein KI-Modell einen Text, den ein anderes Modell oder es selbst erzeugt hat, und versucht in 20 Runden, das Geheimwort zu erraten.

Im zweiten Test (2AFC) erhält die KI zwei Texte. Sie soll entweder erkennen, welcher von einem bestimmten Geheimwort beeinflusst wurde, oder welcher irgendein verborgenes Konzept enthält. Zufälliges Raten ergibt 50 % Treffer. Deutlich höhere oder niedrigere Werte bedeuten, dass das Konzept im Text weiterhin erkennbar ist.

Um eine bloße Bevorzugung des ersten oder zweiten Textes auszuschließen, wiederholten die Forscher jeden Vergleich mit vertauschter Reihenfolge. Pro Modell führten sie schließlich 420 Unterscheidungs- und 450 Erkennungstests durch.

Ergebnisse

Fünf Modelle erkannten verborgene Konzepte mit Trefferquoten zwischen 64 % und 79 %, obwohl die Geheimwörter nie unmittelbar in den erzeugten Geschichten vorkamen. Stattdessen zeigten sich die Informationen in Themen und Bildern:

2AFC-Trefferquoten für Geschichten mit Geheimnissen im Systemprompt; 50 % entspricht dem Zufallsniveau. „Nicht verraten“ untersagt die Erwähnung des Wortes und Anspielungen darauf; „aktiv verbergen“ verlangt die Vermeidung zugehöriger Assoziationen; „vermeidungsbewusst“ fordert den Rater auf, nach auffälligen Auslassungen zu suchen; „freie Antwort“ bezeichnet die Nennung des genauen Wortes innerhalb von 20 Runden. Sterne kennzeichnen Ergebnisse über, Kreuzzeichen solche unter dem Zufallsniveau. Fast alle signifikanten Ergebnisse blieben auch nach der Bonferroni-Korrektur signifikant, außer bei DeepSeek unter „aktiv verbergen“. Bei Grok und Gemini gab es aufgrund von API-Fehlern etwas weniger Versuche.

GPT-5.4 und Gemini 2.5 Pro verhielten sich anders: Der Versuch, das verborgene Konzept zu vermeiden, machte das Vermeidungsmuster selbst leichter erkennbar. Dies galt sowohl für die gezielt gewählten Wörter als auch für zufällige COCA-Substantive und die von den Modellen selbst gewählten Wörter.

Die Ergebnisse von GPT-5.4 unterhalb des Zufallsniveaus wirkten systematisch statt zufällig: Manche Geheimwörter wurden sehr zuverlässig erkannt, andere fast nie. Das Muster schwächte sich ab, wenn das Geheimnis im Nutzer- statt im Systemprompt stand; die Erkennungsgenauigkeit von GPT-5.4 stieg dann auf 56 %.

Bei den meisten Modellen lieferten Tests mit der Frage „Enthält dieser Text ein verborgenes Konzept?“ ähnliche Ergebnisse wie Tests mit der Frage „Welches verborgene Konzept enthält dieser Text?“.

Die beiden Testmethoden maßen zudem unterschiedliche Arten von Informationslecks: 2AFC prüfte, ob ein verborgenes Thema weiterhin erkennbar blieb; die freien Antworten zeigten, ob die Hinweise ausreichten, damit eine andere KI das genaue Geheimwort erraten konnte^††.

Die Autoren schließen*:

„Unsere Ergebnisse legen nahe, dass während der Erzeugung im Kontext eines Modells aktive Informationen thematische Spuren in seiner Ausgabe hinterlassen können. Inhalte des Systemprompts, Gedankenkettenschlüsse, abgerufene Dokumente und Nutzerdaten können grundsätzlich kreative Entscheidungen so beeinflussen, dass Außenstehende dies erkennen können.“

„Der Grad der Informationspreisgabe hängt davon ab, wie offen die Erzeugungsaufgabe ist — kurze Witze sind sicher, Geschichten nicht — und wie leicht sich die Information im jeweiligen Medium semantisch erkennen lässt (“violin wird in Geschichten wahrscheinlich eher preisgegeben als “)”).“

„Dennoch scheint semantische Informationspreisgabe unvermeidlich, selbst wenn Modelle aktiv versuchen, Informationen zu verbergen.“

Fazit

Wie erwähnt führen die Autoren einen Teil des Problems auf die Grundprinzipien der Transformer-Architektur selbst zurück. Die bisherige Entwicklung legt nahe, dass auch dieses jüngste LLM-Problem mit nachträglichem Training zur Ausrichtung (Alignment), für Endnutzer unveränderlichen Systemprompts, Filtern und der wachsenden Vielfalt sekundärer Systeme angegangen wird, die sich zu vermehren scheinen, sobald „native“ Probleme von Diffusionsmodellen hervortreten.

Je umfangreicher diese sekundäre Infrastruktur aus Schutzvorkehrungen und Gegenkontrollen wird, desto stärker ähnelt die gegenwärtige Spitzen-KI Jurassic Park: Das zentrale Wertversprechen geht mit einer beängstigenden Menge an Vorbehalten einher und verlangt zahlreiche Umgehungslösungen und Kompromisse.

* Hervorhebungen der Autoren, bei Bedarf von mir angepasst, da Zitate aus der Studie bereits kursiv stehen. Die Verweise der Autoren im Fließtext habe ich in Hyperlinks umgewandelt.

^† Die Autoren bemerken eine scheinbar unwahrscheinliche spontane Überschneidung der selbst gewählten Wörter verschiedener Modellfamilien: „Die Modelle fühlen sich von ähnlichen Wörtern angezogen: telescope, freedom und nostalgia erscheinen jeweils in mindestens drei Modelllisten.“ Auch bei kurzen Witzen gibt es Gemeinsamkeiten: „[Mehrere] Modelle erzeugen unabhängig vom Geheimnis denselben Standardwitz. Opus schreibt bei 11 von 15 Geheimnissen: ‚Warum vertrauen Wissenschaftler Atomen nicht? Weil sie alles erfinden.‘ Die vier übrigen Geheimnisse — cactus, entropy, nostalgia, patience — erhalten denselben Bibliothekswitz, den Opus auch in sämtlichen 15 Bedingungen ohne Geheimnis schreibt. Diese vier Witze mit Geheimnis sind somit nicht von der Vergleichsbasis zu unterscheiden.“

^†† Selbst für Arxiv-Verhältnisse neigt die Studie zu Wiederholungen und dazu, faszinierende Kerngedanken unter übermäßigen Details und Vorführungen zu begraben. Für die übrigen beschriebenen Nebenexperimente verweise ich daher auf die Original-PDF.

Erstmals veröffentlicht am Freitag, 15. Mai 2026. Syntaxkorrektur am Samstag, 16. Mai, um 16:05 EET.