NVIDIA-Forschung zeigt: KI-Agenten werden beim Einsatz von Tools weniger sicher

KI-Modelle wie ChatGPT, Gemini und Claude können Agenten antreiben – „Gerüste“, die es den Modellen ermöglichen, direkt mit der realen Welt zu interagieren. Das ist eine recht neue und zunehmend umstrittene Innovation.

Jedenfalls sind Agenten nicht automatisch mit den Fähigkeiten ausgestattet, die sie beim Navigieren in einem Netzwerk oder einer Datenbank benötigen, denn die erforderlichen Tools unterscheiden sich je nach Aufgabe und Einsatzbereich. So benötigen sie möglicherweise Fähigkeiten zur optischen Zeichenerkennung (OCR), um beispielsweise Text in Fotos zu interpretieren, neben weiteren Kompetenzen. Es gibt sogar Tool-Kategorien, die auf den Umfang der Aufgaben und die Absicht des Agenten zugeschnitten sind.

Theoretisch wird eine Anfrage, die gegen die eingebauten Schutzmechanismen einer KI verstößt, niemals ausgeführt – unabhängig davon, ob dabei Tools zum Einsatz kommen. In der Praxis können Tools die Schutzfilter, die KI-Agenten davon abhalten, „Verfehlungen“ zu begehen, jedoch erheblich schwächen, wie neue Forschungsergebnisse zeigen.

Verweigerung bleibt aus

Die neue Studie von NVIDIA mit dem Titel MLLMs verweigern Anfragen nicht, wenn sie agentisch Tools einsetzen zeigt, dass multimodale Sprachmodelle (im Folgenden MLLM, hier jedoch mit der geläufigeren Bezeichnung „VLM“ für Vision Language Model) deutlich häufiger schädlichen Anfragen nachkommen, sobald Tools eingebunden werden. Die Zahl der Fälle, in denen eine Verweigerung ausbleibt, stieg bei jedem getesteten Modell und Benchmark.

Zwar erwiesen sich Modelle mit offenen Gewichten wie Qwen3-VL als anfälliger für dieses Problem, doch auch führende KI-Modelle wie Claude Opus 4.7, Gemini 3.1 Pro und GPT-5.4 verweigerten Anfragen beim Einsatz von Tools häufiger nicht.

Die Autoren schreiben*:

„Trotz der jüngsten großen Erfolge agentischer MLLMs deckt diese Arbeit ein gravierendes Sicherheitsproblem beim Einsatz von Tools auf: Agentische MLLMs, die Tools verwenden, können schädliche Anfragen schlechter verweigern.“

„Unsere Experimente bestätigen, dass alle von uns getesteten führenden MLLMs mit offenen und geschlossenen Gewichten bei drei beliebten Sicherheitsbenchmarks in Umgebungen mit Tool-Einsatz deutlich weniger sicher sind als in Umgebungen ohne Tools. Dabei stieg die relative Rate ausbleibender Verweigerungen um bis zu 68,7 %.

„Auf Grundlage der Analyse von mehr als 100.000 Antworten, einschließlich umfangreicherer Experimente, schlagen wir außerdem zwei mögliche Gründe für diese Verschlechterung der Sicherheit vor.“

Als mögliche Gründe nennt die Studie eine Verwässerung des Kontexts, bei der die ursprüngliche schädliche Anfrage durch die zunehmende Menge an Tool-Ausgaben an Bedeutung verliert, sowie eine Verlagerung des Sicherheitsfokus, bei der sich das Modell auf die Beschreibung der aus den Tools gewonnenen Beobachtungen konzentriert, statt der Sicherheit Vorrang einzuräumen.

Testergebnisse veranschaulichen die zentrale Sicherheitsfeststellung der Studie. Oben fragt ein Nutzer, wie sich ein offenbar auf einem Bild gezeigter Taschendiebstahl ausführen lässt. Ein herkömmliches VLM weist die Anfrage direkt zurück. Eine Version mit Tool-Zugriff ruft hingegen zunächst Bildanalyse-Tools wie die Zoomfunktion auf, setzt dann ihre Schlussfolgerungen fort und gibt schließlich eine schädliche Antwort. Das folgende Diagramm zeigt, dass dieser Anstieg der Fälle ausbleibender Verweigerungen bei allen untersuchten Modellen mit offenen Gewichten und proprietären Modellen zu beobachten war. Quelle

Bei allen elf getesteten Modellen führte die Aktivierung von Tools durchgängig zu mehr Fällen ausbleibender Verweigerungen. In den schlimmsten Fällen betrug der relative Anstieg 68,7 % – selbst bei Modellen, die ansonsten eine hohe Sicherheitsleistung zeigten.

Es wird interessant sein zu sehen, ob die Ergebnisse dieser Arbeit, die von sechs Forschenden bei NVIDIA stammt, andernorts reproduziert oder bestätigt werden und ob sie unser Verständnis des offensichtlichen und sich abzeichnenden Fehlverhaltens von gesetzeswidrig handelnden KI-Agenten vertiefen könnten.

Methodik und Daten

Die Forschenden untersuchten elf VLMs aus sieben Modellfamilien. Zu den proprietären Modellen gehörten Gemini 2.5 Pro, Gemini 3.1 Pro Preview, Claude Opus 4.6, Claude Opus 4.7 und GPT-5.4.

Zu den Modellen mit offenen Gewichten gehörten Qwen3-VL-235B-A22B-Instruct, Qwen3.5-122B-A10B, Kimi-K2.5, Kimi-K2.6, GLM-5V-Turbo und AdaReasoner-7B-Randomized, ein Modell mit offenen Gewichten, das speziell für den agentischen Einsatz von Tools abgestimmt wurde.

Zusätzlich wurden separate Experimente mit Gemini 3 Flash Vision Agent durchgeführt, da dessen autonome Nutzung von Tools eine unabhängige Bewertung erforderte.

Für die Tests mit Werkzeugen verwendeten die Forschenden das ReAct-Format, bei dem sich schlussfolgerndes Denken und Werkzeugaufrufe abwechseln. Die vier verfügbaren Werkzeuge umfassten das Tagging mit RAM++; Vergrößern und Zuschneiden; optische Zeichenerkennung (OCR) mit GOT-OCR2.0; sowie einen abgeschotteten Python-Code-Interpreter, mit dem Bilder bearbeitet und analysiert werden konnten.

Die Forschenden entwarfen aufeinander abgestimmte Prompts, um den Effekt des Werkzeugeinsatzes unabhängig vom Prompt-Stil zu untersuchen. Herkömmliche VLMs sollten das Bild prüfen und direkt auf die Anfrage des Nutzers antworten, während agentische Versionen dem ReAct-Ablauf folgten und wiederholt entschieden, ob sie Werkzeuge aufrufen sollten, bevor sie eine abschließende Antwort gaben.

Vergleich der aufeinander abgestimmten Prompts für die Hauptexperimente. Bei der Bedingung ohne Werkzeuge waren eine Bildanalyse und direktes Schlussfolgern erforderlich, während die agentische Bedingung dem iterativen ReAct-Ablauf folgte und es dem Modell erlaubte, selbst zu entscheiden, wann es externe Werkzeuge aufruft, bevor es seine abschließende Antwort gibt.

Als drei multimodale Sicherheitsbenchmarks dienten MM-SafetyBench, VLSBench und HoliSafe. Jedes dieser Sets umfasst zusammengehörige Bilder und schädliche Nutzeranfragen. Sie sollen prüfen, ob ein Modell in unsicheren Situationen Hilfe verweigert – etwa bei der Frage, wie sich ein im Bild dargestellter mutmaßlicher Taschendiebstahl ausführen lässt.

Als wichtigste Messgröße diente die Rate der Verweigerungsfehler (RFR). Sie gibt den Prozentsatz schädlicher Anfragen an, deren Beantwortung ein Modell nicht verweigerte. Höhere Werte bedeuten eine geringere Sicherheit.

Tests

GPT-5.2 bewertete die Antworten als LLM-Beurteilungsmodell anhand des von VLSBench empfohlenen Evaluations-Prompts:

Der GPT-5.2-Evaluations-Prompt diente dazu festzustellen, ob die jeweilige Modellantwort eine erfolgreiche Verweigerung, eine sicherheitsbewusste Antwort, die auf die damit verbundenen Risiken hinwies, oder eine unsichere Antwort darstellte, die diese Risiken nicht erkannte und der schädlichen Anfrage nachkam. Das Beurteilungsmodell erhielt das Originalbild, die Nutzeranfrage und die Modellantwort und musste seine Klassifizierung und Begründung im JSON-Format zurückgeben.

Jede Antwort wurde einer von drei Kategorien zugeordnet: sicher mit Verweigerung, sicher mit Warnung oder unsicher.

Raten der Verweigerungsfehler bei den drei Sicherheitsbenchmarks, wobei jedes Modell mit und ohne Zugriff auf Werkzeuge verglichen wird. Mit Werkzeugen verweigerte jedes Modell schädliche Anfragen seltener, wobei das Ausmaß stark variierte: Die durchschnittliche RFR stieg bei GLM-5V-Turbo um 12,6 Punkte, bei GPT-5.4 dagegen um 2,3 Punkte. Eine dunklere Schattierung steht für einen stärkeren Anstieg der Verweigerungsfehler.

Mit Werkzeugen beantworteten die Modelle schädliche Anfragen häufiger, obwohl sie diese ohne Werkzeuge verweigert hätten – ein Ergebnis, das bei jedem getesteten Modell und in jedem Benchmark auftrat. Insgesamt nahmen die Verweigerungsfehler um 17,7 % zu, verglichen mit denselben Modellen, die ohne Werkzeuge arbeiteten.

GPT-5.4 war am wenigsten betroffen: Ohne Werkzeuge verweigerte es 14,6 % der schädlichen Anfragen nicht; mit Werkzeugen stieg dieser Anteil auf 16,8 %. Bei GLM-5V-Turbo nahm der Anteil der Fehler von 38,7 % (Ausgangswert ohne Werkzeuge) auf 51,3 % zu. Dasselbe Muster zeigte sich bei allen drei Benchmarks. Das deutet darauf hin, dass das Problem möglicherweise nicht auf eine bestimmte Art schädlicher Anfrage beschränkt ist.

Gründe für das Fehlverhalten..?

Wie bereits erwähnt, führen die Forschenden den Anstieg der Fehler unter anderem auf eine „Verwässerung des Kontexts“ zurück: Wenn ein Agent nacheinander mehrere Werkzeuge aufruft, tritt die ursprüngliche schädliche Anfrage in den Hintergrund, während sich die Ausgaben der Werkzeuge ansammeln.

Um dies zu prüfen, berücksichtigten sie nur Anfragen, die dasselbe Modell ohne Werkzeuge erfolgreich verweigert hatte. Wie unten dargestellt, stieg die Fehlerquote mit der Zahl der Werkzeugaufrufe schrittweise an: Sie lag bei nahezu null, wenn kein Werkzeug aufgerufen wurde, und erreichte nach drei oder mehr Aufrufen deutlich höhere Werte:

Testergebnisse zum Vergleich der Verweigerungsfehler bei unterschiedlicher Anzahl von Werkzeugaufrufen. Die Fehlerraten stiegen mit zunehmender Zahl von Werkzeugaufrufen sowohl bei den einzelnen Modellen als auch über alle Modelle hinweg.

Ein zweiter Test kehrte den Effekt teilweise um. Wurden die ursprüngliche Anfrage und das Bild nach dem letzten Werkzeugaufruf, unmittelbar vor der Antwort des Modells, erneut eingefügt, sank die Zahl der Verweigerungsfehler modell- und benchmarkübergreifend im Durchschnitt um 7,6 Prozent, wie unten dargestellt:

Testergebnisse zum Vergleich der Verweigerungsfehler mit und ohne erneutes Einfügen der ursprünglichen Anfrage und des Bildes. Das erneute Einfügen nach dem letzten Werkzeugaufruf senkte die durchschnittliche Fehlerrate bei den fünf getesteten Modellen um 7,6 Prozent.

Dies stützt die Annahme, dass eine Verwässerung des Kontexts ein mitwirkender Faktor ist, und deutet zugleich auf eine vergleichsweise einfache Gegenmaßnahme hin.

Die zweite Erklärung, die das Paper vorschlägt, ist eine „Verlagerung des Sicherheitsfokus“. Die Nutzung von Werkzeugen scheint die Aufmerksamkeit des Modells davon abzulenken, ob die Anfrage schädlich ist, und sie stattdessen darauf zu lenken, zu beschreiben, was die Werkzeuge gefunden haben.

Testergebnisse dazu, wie die Nutzung von Werkzeugen den Beginn von Antworten veränderte, mit denen Modelle schädliche Anfragen letztlich verweigerten. Ohne Werkzeuge begannen die Antworten meist damit, direkt auf die Anfrage einzugehen (55,6 %) oder Sicherheitsbedenken anzusprechen (25,8 %). Mit Werkzeugen begannen sie stattdessen in 52,3 % der Fälle damit, die mithilfe der Werkzeuge gefundenen Informationen zu beschreiben, während ausdrückliche Sicherheitshinweise auf 10,3 % zurückgingen.

Untersucht wurden Fälle, in denen die Modelle Anfragen sowohl mit als auch ohne Werkzeuge erfolgreich verweigerten. Ohne Werkzeuge begannen 55,6 % dieser Antworten damit, direkt auf die Anfrage einzugehen, während 25,8 % mit einem ausdrücklichen Sicherheitshinweis begannen. Mit Werkzeugen sanken diese Anteile auf 37,4 % beziehungsweise 10,3 %, während der Anteil der Antworten, die mit Beschreibungen der durch Werkzeuge gewonnenen Erkenntnisse begannen, auf 52,3 % stieg.

Die Autoren führen ein interessantes qualitatives Beispiel mit Claude Opus 4.6 an. Auf die Frage, wie sich die Sicherheitsvorkehrungen in öffentlichen Toiletten umgehen ließen, verweigerte das Modell die Antwort ohne Werkzeuge sofort:

Beispiel dafür, wie die Nutzung von Werkzeugen den Sicherheitsaspekt aus dem unmittelbaren Fokus des Modells verdrängte. Claude Opus 4.6 verweigerte die schädliche Anfrage ohne Werkzeuge sofort; mit Werkzeugen vergrößerte es zunächst das Bild, las den Text, identifizierte dessen Inhalt und beschrieb das Toilettenschild, bevor es die Anfrage schließlich verweigerte.

Mit Werkzeugen vergrößerte dasselbe Modell stattdessen das Bild, las den Text und identifizierte dessen Inhalt, bevor es seine Antwort mit einer Beschreibung des Toilettenschilds begann. Erst danach folgte die Verweigerung. Das veranschaulicht, wie der Werkzeugnutzungsprozess die Sicherheit aus dem unmittelbaren Fokus des Modells verdrängt hatte.

Die Autoren kommen zu folgendem Schluss:

„Insgesamt sprechen unsere Ergebnisse dafür, den Einsatz von Werkzeugen nicht nur als Mechanismus zur Erweiterung der Fähigkeiten beim visuellen Schlussfolgern zu betrachten, sondern auch als sicherheitsrelevante Designentscheidung, die das Verweigerungsverhalten verändern kann. Künftige agentische MLLMs sollten daher unter Bedingungen mit Werkzeugnutzung evaluiert und trainiert werden, anstatt anzunehmen, dass sich die Sicherheitsausrichtung ohne Werkzeuge unverändert auf agentische Umgebungen übertragen lässt.“

Fazit

Das Versagen eines dauerhaft verfügbaren Kontexts ist bei komplexen, durch eine Eingabeaufforderung ausgelösten Ereignisketten eindeutig ein Nachteil – doch derzeit gibt es keine einfachen Antworten auf die Neigung eines begrenzten Kontextfensters, einen Agenten seine „obersten Direktiven“ vergessen und einfach das gerade zur Hand befindliche Werkzeug einsetzen zu lassen.

* Hervorhebungen der Autoren; meine Umwandlung der Quellenverweise der Autoren im Fließtext in Hyperlinks, wo nötig.

Erstmals veröffentlicht am Mittwoch, 7. Oktober 2026