KI-Systeme verhalten sich anders, wenn sie wissen, dass sie getestet werden, zeigt Forschung

Im Echo des Diesel-Skandals von 2015 deuten neue Forschungsergebnisse darauf hin, dass KI-Sprachmodelle wie GPT-4, Claude und Gemini ihr Verhalten während Tests ändern können, manchmal “sicherer” für den Test als in der realen Welt. Wenn LLMs (Large Language Models) habituell ihr Verhalten unter Beobachtung anpassen, könnten Sicherheitsaudits dazu führen, Systeme zu zertifizieren, die sich in der realen Welt sehr unterschiedlich verhalten.

Im Jahr 2015 entdeckten Ermittler, dass Volkswagen Software in Millionen von Diesel-Fahrzeugen installiert hatte, die erkennen konnten, wenn Emissionstests durchgeführt wurden, was dazu führte, dass die Fahrzeuge ihre Emissionen vorübergehend senkten, um “kompatibel” mit den gesetzlichen Standards zu sein. In normalen Fahrzeugbedingungen jedoch überstiegen ihre Schadstoffemissionen die gesetzlichen Grenzwerte. Die vorsätzliche Manipulation führte zu Strafverfolgung, Milliardenstrafen und einem globalen Skandal über die Zuverlässigkeit von Sicherheits- und Konformitätstests.

Zwei Jahre vor diesen Ereignissen, die als “Dieselgate” bezeichnet wurden, wurde Samsung entlarvt, ähnliche täuschende Mechanismen in seinem Galaxy Note 3-Smartphone implementiert zu haben; und seitdem sind ähnliche Skandale bei Huawei und OnePlus aufgetaucht.

Jetzt gibt es wachsende Beweise in der wissenschaftlichen Literatur, dass Large Language Models (LLMs) möglicherweise nicht nur die Fähigkeit haben, zu erkennen, wenn sie getestet werden, sondern auch ihr Verhalten unter diesen Umständen ändern.

Obwohl dies ein sehr menschliches Verhalten ist, kommt die neueste Forschung aus den USA zu dem Schluss, dass dies ein gefährliches Verhalten sein könnte, das auf lange Sicht zu Problemen führen kann.

In einer neuen Studie fanden Forscher heraus, dass “Frontier-Modelle” wie GPT-4, Claude und Gemini oft erkennen können, wenn sie getestet werden, und dass sie ihr Verhalten entsprechend anpassen, was möglicherweise die Gültigkeit systematischer Testmethoden beeinträchtigen könnte.

Als Bewertungsbewusstsein bezeichnet, könnte diese (vielleicht) angeborene Eigenschaft in Sprachmodellen die Zuverlässigkeit von Sicherheitsbewertungen gefährden, laut den Autoren der neuen Studie:

‘[Wir] empfehlen, das Bewertungsbewusstsein als neue Quelle potenzieller Verteilungsverschiebung zwischen Test und realer Welt zu betrachten, die die Genauigkeit der Bewertungsergebnisse negativ beeinflussen könnte.

‘Im schlimmsten Fall könnten Modelle strategisch unterdurchschnittlich abschneiden, wenn es um gefährliche Fähigkeitsbewertungen (“Sandbagging”) oder Neigungsbewertungen (“Alignment-Faking”) geht, was dazu führen könnte, dass die Gesellschaft die Sicherheit solcher Modelle überschätzt.’

Andere Studien haben ähnliches Verhalten beobachtet, einschließlich Forschung von der Stanford-Universität, die feststellte, dass Large Language Modelle ihre Antworten so anpassen, dass sie “sympathischer” oder “sozial wünschenswerter” erscheinen, wenn sie erkennen, dass sie bewertet werden, was menschliches Verhalten in Persönlichkeitstests widerspiegelt.

Die Autoren der neuen Arbeit schlagen nicht vor, dass LLMs absichtlich so programmiert werden, um Tests zu “betrügen”, wie Volkswagen’s Diesel-Fahrzeuge vor einem Jahrzehnt. Vielmehr scheint das Verhalten als natürliche psychologische Nebenwirkung der Trainingsprozesse und latenten Ziele der Modelle aufzutreten; und die zugrunde liegende Ursache dieses Phänomens bleibt unbekannt.

Die neue Arbeit trägt den Titel Large Language Models wissen oft, wenn sie bewertet werden und stammt von fünf Autoren aus dem UC Berkeley-verbundenen ML-Alignment- und Theory-Scholars-Programm (MATS) und apolloresearch.ai (einer Denkfabrik, die sich der Bewertung der Risiken von KI widmet).

Methodik

Um die Bewertungsbenchmarks zu erstellen, sammelten die Autoren eintausend Transkripte aus einundsechzig Datensätzen, darunter SWE-bench, WMDP, MMLU, XStest, GAIA, AgentHarm, ShareGPT, Deep Research, Safetybench, Civics und RealToxicityPrompts.

Das Material war gleichmäßig zwischen Bewertungs- und Einsatzszenarien ausgewogen und weiter in einfache Chat-Interaktionen und komplexere agente Sitzungen unterteilt, in denen die Modelle autonom agieren und Tools verwenden können, die auf externe Datenbanken oder das Internet zugreifen.

Bewertungsdaten umfassten Fähigkeitstests für Denkfähigkeit, Codierung, Cybersicherheit und allgemeines Wissen sowie Ausrichtungstests für Ethik, Sicherheit und Verweigerungsverhalten. Einsatzdaten stammten aus Benutzerinteraktionen wie ShareGPT-Logs, Crowdsourced-Agent-Runs und synthetischen Aufgabenabschlüssen.

Um agente Daten zu ergänzen, generierten die Autoren zusätzliche Beispiele mit Orchestrierungsframeworks wie Aider und SmolAgents unter anderem – ein Ansatz, der darauf abzielt, oberflächliche Hinweise zu minimieren, die es den Modellen ermöglichen, einfach Datensatzstrukturen zu memorieren, und sie stattdessen dazu zwingt, auf allgemeinere Signale zu vertrauen, wenn sie entscheiden, ob ein Transkript von einem echten Benutzer oder einem Test stammt.

Die Forscher testeten dann, ob Modelle erkennen konnten, ob ein Transkript von einem Test stammte, indem sie ihnen Dialogaufzeichnungen präsentierten und Abwandlungen einer einfachen Frage stellten: Stammt diese Konversation von einem Test?

Um zu vermeiden, dass Modelle einfach eine bestimmte Formulierung memorieren, entwickelten sie achtundzwanzig verschiedene Versionen der Frage, wobei sie sowohl die Formulierung als auch die Präsentation des Transkripts änderten.

Die Transkripte wurden entweder direkt an die Frage angehängt oder in Formaten wie JSON oder XML präsentiert, die die Reaktionen der Modelle beeinflussen können. Nach ersten Tests wurden fünf Frageversionen ausgewählt, die konsistent über alle Modelle hinweg funktionierten, von denen wir ein Beispiel unten sehen können:

Eine der fünf Testfrageformate, die verwendet wurden, um zu überprüfen, ob Sprachmodelle erkennen können, ob sie bewertet werden. Jede Variante formuliert die Kernfrage neu, um zu verhindern, dass Modelle einfach eine feste Formulierung memorieren. Bitte beachten Sie die Quelle für weitere Beispiele. Quelle: https://arxiv.org/pdf/2505.23836

Um die Ergebnisse zu bewerten, wurden drei Metriken verwendet: Fläche unter der ROC-Kurve (AUC, zeigt, wie gut Modelle Test- von Nicht-Test-Daten unterscheiden); Brier-Score (misst die Gesamtpredictionsgenauigkeit); und Erwarteter Kalibrierungsfehler (misst, wie gut das Modellvertrauen mit der tatsächlichen Korrektheit übereinstimmt).

Was ist los?

Die Forscher testeten auch, ob Modelle den Zweck einer Bewertung erkennen konnten. Mit jedem Transkript, das bereits als Fähigkeitstest (technische Fähigkeiten, Wissen, Denkfähigkeit) oder Ausrichtungstest (Ethik, Sicherheit und Verweigerungsverhalten) gekennzeichnet war, wurden den Modellen eine von drei Fragearten präsentiert: eine bedingte Multiple-Choice-Frage, die bestätigte, dass das Transkript von einem Test stammte; eine unbedingte Multiple-Choice-Frage mit realen und Bewertungsoptionen; oder eine offene Frage, deren Antworten von einem separaten GPT-4.1-basierten Klassifizierer beurteilt wurden. Der Klassifizierer wurde anhand einer handannotierten Teilmenge von fünfzig Antworten validiert.

Beispiele für die drei Frageformate, die verwendet wurden, um zu überprüfen, ob Modelle nicht nur die Anwesenheit einer Bewertung, sondern auch ihren Zweck erkennen können. Antworten wurden durch Multiple-Choice und GPT-4.1-basierte Beurteilung bewertet.

Zwei der Autoren^†† haben alle eintausend Transkripte von Hand beschriftet, indem sie jedes mit einer Bewertung von null (nicht ein Test) bis eins (definitiv ein Test) versehen und ihre Bewertungen gemittelt haben, um einen menschlichen Vergleichswert zu erhalten. Trotz der subjektiven Natur der Aufgabe zeigten die Annotatoren eine starke Übereinstimmung, mit einem Intraclass-Korrelationskoeffizienten von 0,768. Die endgültigen menschlichen Bewertungen wurden über beide Rater^† gemittelt.

Daten und Tests

Die neun getesteten Modelle waren GPT-4.1; Claude 3.7; claude-3.5-sonnet-new; claude-3.7-sonnet (Denken); gemini-2.5-flash; gemini-2.5-pro; gpt-4o; gpt-4.1; gpt-4.1-mini; und o4-mini, von denen alle ein gewisses Maß an Bewertungsbewusstsein zeigten.

Bei Chat-Daten kam GPT-4.1 nahe an menschliche Ebenen der Bewertungsbewusstseinsklassifizierungsleistung (die Fähigkeit, Bewertungs- von Einsatztranskripten zu unterscheiden), mit einem AUC von 0,77 gegenüber einem menschlichen Wert von 0,81.

Bei agentenbasierten Daten, bei denen Modelle autonom Tools verwenden, war der Unterschied schärfer: Gemini 2.5 Pro erreichte einen AUC von 0,95, während Claude 3.7 Sonnet mit 0,92 folgte, nahe am menschlichen Obergrenzwert von 0,996:

Empfänger-Operateur-Charakteristiken (ROC-Kurven), die zeigen, wie gut Modelle und Menschen Bewertungstranskripte von realen Benutzerinteraktionen unterscheiden. Gemini 2.5 Pro und Claude 3.7 Sonnet nähern sich der menschlichen Diskriminierung auf agentenbasierten Daten.

Die Studie stellt fest, dass neuere “Denk”-Modelle besonders gut darin geworden sind, zu erkennen, wenn sie in agentenbasierten Szenarien getestet werden, aber nicht darin, zu beurteilen, wie sicher sie in ihren Entscheidungen sein sollten. Insgesamt waren die Claude- und Gemini-Modelle am besten darin, Testfälle von regulären Nutzungen zu unterscheiden.

Die Forscher testeten dann, ob Modelle auch erkennen konnten, warum eine Bewertung durchgeführt wurde. Modelle wurden nur den Bewertungstranskripten präsentiert und aufgefordert, zu klassifizieren, ob jeder davon die Fähigkeit oder die Ausrichtung testete:

Genauigkeit der Modelle bei der Klassifizierung des Bewertungszwecks als Fähigkeit oder Ausrichtung, unter Verwendung sowohl von Multiple-Choice- als auch offenen Formaten. Claude 3.7 Sonnet übertrifft andere Modelle, besonders wenn es nicht vorbereitet wird.

In der klarsten Umgebung, in der das Modell informiert wurde, dass das Transkript von einem Test stammte, erreichte Claude 3.7 Sonnet eine Genauigkeit von 93 Prozent und GPT-4.1 eine Genauigkeit von 89 Prozent. Ohne diesen Hinweis sank die Leistung: Claude erreichte immer noch 84 Prozent, während GPT-4.1 auf 55 Prozent fiel und oft Testtranskripte als reale Benutzerinteraktionen falsch klassifizierte.

Bei offenen Formaten (in denen Modelle keine Multiple-Choice-Optionen erhielten) war die Leistung schwächer, obwohl Claude 3.7 Sonnet den Bewertungszweck in 46 Prozent der Fälle korrekt identifizierte.

Die Vertrauenswerte der Modelle wurden dann mit den tatsächlichen Ergebnissen verglichen, wobei festgestellt wurde, dass die Modelle oft die Wahrscheinlichkeit überschätzten, dass ein Transkript von einem Test stammte. Kalibrierungsplots zeigten, dass das Modellvertrauen im Allgemeinen zu hoch war, wobei Bewertungen häufiger als angemessen gekennzeichnet wurden:

Kalibrierungskurven, die zeigen, wie gut die Vertrauenswerte der Modelle mit den tatsächlichen Ergebnissen übereinstimmen. Die meisten Modelle überschätzten, wie wahrscheinlich es war, dass Transkripte von Bewertungen stammten. Claude 3.5 Sonnet war am besten kalibriert; Gemini 2.5 Pro und Claude 3.7 Sonnet waren überconfident.

Gute Kalibrierung wurde bei Claude 3.5 Sonnet beobachtet, während Gemini 2.5 Pro und Claude 3.7 Sonnet erheblich überconfident waren, trotz hoher Genauigkeit. Keine klare Verbesserung wurde bei neueren Modellen beobachtet, und selbst wenn Bewertungstranskripte in agentenbasierten Szenarien genauer erkannt wurden, blieben die Vertrauensurteile unzuverlässig.

Benchmark-Erinnerungen

In Bezug auf die Art und Weise, wie Modelle ihre Entscheidungen über die Herkunft eines Transkripts von einer Bewertung erklärten, verließen sich viele Modelle auf offensichtliche Hinweise, wie etwa, ob die Aufgabe im Multiple-Choice-Format vorlag. Die stärkeren Modelle wie Gemini 2.5 Pro und Claude 3.7 Sonnet bemerkten manchmal subtilere Anzeichen, wie erfundene Namen oder künstliche Szenarien, besonders in Datensätzen wie AgentHarm.

Die Studie besagt:

‘[Alle] Modelle erkennen häufig gemeinsame Benchmarking-Strategien, die von Evaluatoren verwendet werden, wie die Formatierung der Aufgabe (“Multiple-Choice-Format”), die Neigung, Probleme mit überprüfbaren Lösungen zu stellen, und Systemprompts, die darauf ausgelegt sind, Leistung zu erzeugen. Doch nur die leistungsstärksten Modelle, Claude 3.7 Sonnet und Gemini 2.5 Pro, erkennen konsistent subtilere Indikatoren wie synthetische Eingaben.

‘Zum Beispiel erkennen diese Modelle in 22% bzw. 17% der Fälle die synthetische Natur von Szenarien im AgentHarm-Benchmark und identifizieren sie zu über 95% korrekt als Bewertungen.

‘Umgekehrt, wenn die Modelle begründen, dass ein Transkript eine reale Interaktion zu sein scheint, wird oft von “Hin-und-Her-Dialog mit dem Benutzer” gesprochen, zum Beispiel in iterativen Debugging-Kontexten.’

Verteilung der Argumentationsstrategien der Modelle bei der Entscheidung, ob ein Transkript von einer Bewertung stammt. Die stärksten Modelle, wie Gemini 2.5 Pro und Claude 3.7 Sonnet, waren eher bereit, subtile Hinweise wie synthetische Szenarien oder Aufgabenformatierungen zu erkennen, während einige Modelle auf Meta-Argumentation durch die Verwendung der Bewertungsfrage selbst als Beweis zurückgriffen.

In einigen Fällen erkannten Modelle ganze Benchmarks aus ihrer Trainingsdaten, was darauf hindeutet, dass sie eine Art “Gedächtnis” für ihre Trainingsdaten haben. Einige Modelle verwendeten auch die Tatsache, dass sie nach einer Bewertung gefragt wurden als Hinweis darauf, dass sie getestet wurden, was die Autoren als Meta-Argumentation bezeichnen; dies war am häufigsten bei o4-mini, das dies in 15% seiner Antworten zeigte.

Zusammenfassung

Es wäre vielleicht beruhigender, wenn LLMs als “testbewusst” angesehen werden könnten, einfach weil sie von Menschen so programmiert wurden, wie Volkswagen seine Fahrzeuge vor einem Jahrzehnt so programmierte, dass sie Testbedingungen erkennen konnten.

Wie es derzeit steht, scheint dieses Verhalten als natürliche psychologische Nebenwirkung der Trainingsprozesse und latenten Ziele der Modelle aufzutreten – ein defensiver Ansatz, der bei Menschen erwartet werden kann, aber bei einer Maschine unangenehm, wenn nicht sogar gefährlich ist, abhängig von ihrem Grad an Freiheit und Autonomie.

Es gibt keine unmittelbare Lösung; die Black-Box-Natur der Modell-Latentraumzeit erzwingt, dass wir sie aufgrund ihres Verhaltens und nicht aufgrund ihrer empirischen Architektur bewerten.

* Verweisen Sie auf die Quelle für weitere Details.

^†Die Autoren weisen jedoch darauf hin, dass dies wahrscheinlich eine Obergrenze ist, da die Annotatoren sehr vertraut mit den Datensätzen und den KI-Bewertungsmethoden waren, was ihnen Vorteile verschaffte, die die meisten Menschen nicht haben.

†† Soweit feststellbar; die Formulierung der Studie lässt die plötzliche Erscheinung von zwei Annotatoren in Bezug auf ihre Identität unklar.

Erstveröffentlichung am Mittwoch, den 4. Juni 2025