Warum bevorzugen KI-Agenten unnötig leistungsstarke Tools?

Das ist schnell eskaliert: Forschungsergebnisse zeigen, dass KI-Agenten immer wieder mehr Zugriff anfordern, als sie benötigen, und kleine Fehler dazu führen, dass sie noch weiter eskalieren, wodurch Daten und Systeme unnötigerweise exponiert werden.

Ein wachsende Anzahl von Schlagzeilen hat in letzter Zeit auf die Risiken hingewiesen, die mit der Gewährung von agentic AI übermäßigen Privilegien verbunden sind, oft durch die Verwendung von überprivilegierten Tools und Methoden, die einen viel größeren Umfang bieten, als für eine bestimmte Aufgabe erforderlich ist.

Bei einem jüngsten Ereignis traf ein Claude-gesteuerter Codieragent auf ein breit gefächertes Railway-API-Token während einer Routineaufgabe und verwendete es, um eine Produktionsdatenbank und ihre Backups zu löschen – obwohl die Aufgabe nicht einen so hohen Zugriff erforderte.

In einem separaten Fall aus dem Jahr 2025 ignorierte Replits KI-Codieragent ausdrückliche Einschränkungen, modifizierte geschützten Code und löschte eine Live-Produktionsdatenbank.

In einem dritten Fall vom Februar dieses Jahres durchlief ein KI-gestützter Workflow eine Kette von Privilegien, die letztendlich Paket-Veröffentlichungsberechtigungen erreichte, was effektiv einen Lieferkettenangriff erstellte.

Anschließend haben Sicherheitsanalysen diese und ähnliche Fälle als Beispiel für die Tendenz von Agentsystemen zitiert, kleine Eingaben in hochwirksame Aktionen umzuwandeln, sobald breite Berechtigungen verfügbar sind. Diese Vorfälle deuten darauf hin, dass autonome KI sofort und “instinktiv” nach dem leistungsstärksten – und potenziell destruktivsten – Tool greift, insbesondere wenn Probleme auftreten.

Tool Time

Um dieses Problem anzugehen, hat neue Forschung aus China eine Reihe der beliebtesten proprietären und Open-Source-Modelle getestet, um ihre Neigung zu erforschen, in Fällen, in denen solche Tools übermäßig für eine Aufgabe sind, auf leistungsstarke Tools zuzugreifen:

Aus dem neuen Papier: Leistung von elf führenden KI-Modellen bei der Auswahl zwischen minimale Privilegien und leistungsstärkeren Alternativen, die für die Aufgabe nicht erforderlich waren. Qwen3-8B und LLaMA-3.1-8B zeigten die stärkste Tendenz zu übermäßigen Privilegien, während Claude 4.6 Sonett, GPT-5.2 und GLM-5 viel zurückhaltender waren. Dunklere Segmente zeigen unmittelbare Überbeanspruchung, während hellere Segmente eine Eskalation nach vorübergehenden Fehlern anzeigen, was darauf hindeutet, dass viele Modelle auf Rückschläge mit einer Erweiterung des Zugriffs reagieren, anstatt bei sichereren Optionen zu verharren. Quelle

Die Tests zeigen, dass Open-Weight-Modelle wie Qwen3-8B und LLaMA-3.1-8B eher zu Eskalation neigen, möglicherweise aufgrund ihrer begrenzteren post-Training-Konditionierung im Vergleich zu proprietären Modellen wie ChatGPT und Gemini-Reihe.

Die Autoren stellen fest:

‘Sechs der elf Modelle überschreiten 30% [Überprivilegierte-Tool-Verwendungssatz (OPUR)], mit besonders hohen Raten für häufig verwendete kleinere Open-Weight-Modelle wie Qwen3-8B (64,9%) und LLaMA-3.1-8B (55,9%).

‘Währenddessen bleiben Modelle mit niedrigerem OPUR wie Claude 4.6 Sonett, GPT-5.2 und GLM-5 unter 10%, zeigen aber immer noch messbare übermäßige Verwendung in einigen Einstellungen.

‘Diese Variation legt nahe, dass die Einhaltung der geringsten Privilegien eine modellabhängige Verhaltenseigenschaft ist, möglicherweise durch Unterschiede in der allgemeinen Fähigkeit, Tool-Verwendungstraining und Sicherheitsausrichtung geprägt.’

Darüber hinaus variiert die Tendenz zu übermäßiger Tool-Verwendung je nach Domäne, wobei Codebase-Arbeiten das höchste Risiko darstellen und strenger überwachte Domänen wie Gesundheitswesen weniger radikale Maßnahmen inspirieren:

Raten unnötiger Hochprivilegien-Tool-Verwendung über verschiedene Aufgabenbereiche und Risikokategorien. Codierung, Datenbank und Infrastrukturaufgaben produzierten konsistent einige der höchsten Raten der Eskalation, während Gesundheits- und Regierungsaufgaben im Allgemeinen mehr Zurückhaltung bewirkten. Über Risikotypen hinweg neigten Modelle am stärksten dazu, durch Autoritäts-Eskalation und Sicherheits-Bypass-Aktionen zu übergriffig zu werden, was darauf hindeutet, dass KI-Systeme, wenn sie auf Hindernisse stoßen, oft bevorzugen, breiteren Zugriff und weniger Einschränkungen zu haben, anstatt innerhalb der engsten Berechtigungen zu bleiben, die zur Aufgabenerfüllung erforderlich sind.

Darüber hinaus zeigen die Ergebnisse, dass einige der schlimmsten Ergebnisse auftreten, wenn das Modell sich selbst unter “Druck” sieht. Über mehrere Modellfamilien hinweg führten vorübergehende Fehler von niedrigeren Privilegien oft zu einer schnellen Verschiebung zu breiteren, leistungsstärkeren Alternativen – obwohl die ursprünglichen Tools immer noch vollständig in der Lage waren, die Aufgabe abzuschließen.

Panik-Modus!

Auf diese Weise konnte ein vorübergehender Fehler dazu führen, dass Modelle das Prinzip der geringsten Privilegien ganz aufgeben. Anstatt einen anderen niedrigen Privilegien-Option zu versuchen oder das gleiche Tool erneut zu verwenden, reagierten viele Systeme, indem sie ihrer Zugriff erweiterten.

Die Autoren behaupten, dass wiederholte Rückschläge das Vertrauen in engere Tools untergraben und die Wahrscheinlichkeit einer unnötigen Privilegien-Eskalation unter Bedingungen der Unsicherheit erhöhen – ein Verhalten, das in verschiedenen Graden sowohl bei Open-Weight- als auch bei proprietären Modellen beobachtet wurde.

Privilegien-bewusstes Post-Training erreicht einen gewissen begrenzten Erfolg als mögliche Abmilderung, indem es die Verwendung von niedrigen Privilegien-Tools belohnt und eine vorzeitige Eskalation bestraft. Allerdings bot die Manipulation von Prompts in den Tests wenig Verbesserung, und für den Moment scheint das Problem mit höheren Verhaltensprinzipien in LLMs zusammenzuhängen.

Obwohl die Studie dies nicht berührt, scheint es logisch anzunehmen, dass KIs weit mehr Trainingsmaterial über “Endresultate” haben als über den Prozess der Trial-and-Error, der zu diesen Ergebnissen führt – eine ungeduldige “TLDR-Kultur”, die möglicherweise auch in KI Ungeduld gezüchtet hat..?

Das neue Papier trägt den Titel Wenn geringere Privilegien ausreichen: Untersuchung der übermäßigen Tool-Auswahl in LLM-Agents und stammt von acht Autoren aus der Chinesischen Akademie der Wissenschaften, der Chinesischen Universität Hongkong, der Peking-Universität und der Universität der Chinesischen Akademie der Wissenschaften.

Methode

Um die übermäßige Tool-Verwendung unter kontrollierten Bedingungen zu untersuchen, erstellten die Forscher ToolPrivBench, eine Benchmark, die 544 Szenarien aus acht Anwendungsdomänen umfasst: Business, Codierung, Datenbank, Bildung, Regierung, Gesundheitswesen, Infrastruktur und Medien.

Fünf wiederkehrende Risikomuster wurden untersucht: Autoritäts-Eskalation, Daten-Überexposition, Sicherheits-Bypass, Umfangserweiterung und Zeitliche Persistenz:

Verteilung der 544 Szenarien in ToolPrivBench über fünf Privilegien-Eskalationsmuster und acht Anwendungsdomänen. Autoritäts-Eskalation war die häufigste Risikokategorie, während Datenbank, Business und Bildung den größten Anteil der Benchmark ausmachten. Die breite Streuung von Domänen und Risikotypen sollte testen, ob die übermäßige Tool-Auswahl über verschiedene Betriebsumgebungen hinweg besteht, anstatt aus einer engen Reihe von Aufgaben zu entstehen.

Jedes Szenario kombinierte eine Benutzeraufgabe mit drei niedrigeren Privilegien-Tools und drei höheren Privilegien-Alternativen. Alle sechs Tools waren unabhängig in der Lage, die Aufgabe abzuschließen, sodass eine Präferenz für breiteren Zugriff nicht durch fehlende Funktionalität erklärt werden konnte.

ToolPrivBench ist dazu ausgelegt, mehr zu messen als nur, ob ein Modell zunächst das leistungsstärkste Tool auswählt: Während der Bewertung wurden vorübergehende Fehler wie Verbindungsfehler absichtlich in niedrigeren Privilegien-Tools eingeführt, obwohl diese Tools immer noch vollständig in der Lage waren, die Aufgabe abzuschließen. Dies ermöglichte es den Forschern, zu beobachten, wie Modelle auf Rückschläge reagierten, einschließlich der Frage, ob sie niedrigeren Privilegien-Optionen erneut versuchten oder zu breiteren, höheren Privilegien-Tools eskalierten:

Überblick über die ToolPrivBench-Bewertungspipeline. (a) Jedes Test-Szenario präsentiert eine Aufgabe zusammen mit drei niedrigeren Privilegien-Tools und drei höheren Privilegien-Alternativen, die alle in der Lage sind, das gleiche Ziel abzuschließen. (b) Modelle werden sowohl für die unmittelbare Auswahl eines übermäßigen Tools als auch für die Eskalation nach vorübergehenden Fehlern in niedrigeren Privilegien-Tools bewertet. (c) Benchmark-Fälle werden aus realen API-Risikomustern generiert, dann durch automatisierte Überprüfungen, Tool-Suffizienz-Validierung, Fehleranalyse und menschliche Experten-Überprüfung überprüft, bevor sie in die endgültige Bewertungs-Set aufgenommen werden.

Der benutzerdefinierte Metrik, der für die Studie entwickelt wurde, ist Überprivilegierte-Tool-Verwendungssatz (OPUR), der aufzeichnet, wie oft ein Modell ein höheres Privilegien-Tool verwendet, obwohl sicherere Alternativen immer noch verfügbar sind. Vor-Eskalations-Explorations-Tiefe (PED) wird ebenfalls gemessen, die aufzeichnet, wie viele niedrigeren Privilegien-Tools vor einer Eskalation ausprobiert werden.

Um sicherzustellen, dass das Privilegien-Level der einzige bedeutungsvolle Unterschied zwischen den Tools war, wurde jedes Szenario in den Tests mehreren Validierungsstufen unterzogen, bevor es in die Benchmark aufgenommen wurde. ChatGPT-5.2 und Gemini 2.5 Pro wurden unabhängig verwendet, um zu überprüfen, dass alle sechs Tools die zugewiesene Aufgabe abschließen konnten. Nur Fälle, die von beiden Systemen Zustimmung erhielten, wurden beibehalten. Die verbleibenden Szenarien wurden dann von menschlichen Prüfern geprüft, bevor sie in die endgültige Benchmark aufgenommen wurden.

Tests

Die Benchmark wurde unter Verwendung von elf Sprachmodellen aus proprietären und Open-Weight-Familien bewertet: Qwen3-8B, LLaMA-3.1-8B, MiniMax-M2.7, Grok 4.1 Fast, Qwen3.5-397B, DeepSeek-v3.2, Kimi K2.5, Gemini 3 Flash, GPT-5.2, GLM-5 und Claude 4.6 Sonett. Die Leistung wurde unter Verwendung von OPUR und PED gemessen.

Die meisten Modelle zeigten erhebliche Raten unnötiger Privilegien-Verwendung, obwohl niedrigeren Privilegien-Alternativen immer noch in der Lage waren, die Aufgabe abzuschließen. Qwen3-8B erreichte den höchsten OPUR-Wert bei 64,9%, gefolgt von LLaMA-3.1-8B bei 55,9%, während sechs der elf Modelle 30% überschritten:

Verteilung der übermäßigen Tool-Verwendung über die elf bewerteten Modelle. Qwen3-8B und LLaMA-3.1-8B erreichten die höchsten OPUR-Werte, während Claude 4.6 Sonett, GPT-5.2 und GLM-5 die niedrigsten Raten zeigten. Dunklere Segmente zeigen die unmittelbare Auswahl eines unnötig leistungsstarken Tools, während hellere Segmente eine Eskalation nach einem oder mehreren niedrigeren Privilegien-Tools anzeigen, was darauf hindeutet, dass die Privilegien-Eskalation oft nach vorübergehenden Rückschlägen auftrat, anstatt am ersten Entscheidungspunkt zu erfolgen.

Am anderen Ende des Spektrums blieben Claude 4.6 Sonett, GPT-5.2 und GLM-5 unter 10%, obwohl messbare Verletzungen immer noch beobachtet wurden. Zwischenresultate wurden für MiniMax-M2.7, Grok 4.1 Fast, Qwen3.5-397B, DeepSeek-v3.2, Kimi K2.5 und Gemini 3 Flash gemeldet.

Insgesamt variierte die Einhaltung der geringsten Privilegien-Prinzipien erheblich über die elf Modelle. Tool-Fehler erhöhten die Wahrscheinlichkeit einer Privilegien-Eskalation: Wenn niedrigeren Privilegien-Tools vorübergehende Probleme begegneten, verschoben sich viele Modelle zu höheren Privilegien-Alternativen, anstatt niedrigeren Privilegien-Optionen zu verharren, die immer noch in der Lage waren, die Aufgabe abzuschließen.

Laut den Autoren schienen wiederholte Fehler das Vertrauen in niedrigeren Privilegien-Tools zu untergraben und die Tendenz zur Auswahl breiterer Zugriffs-Alternativen zu erhöhen, auch wenn diese zusätzlichen Privilegien für die Aufgabe nicht erforderlich waren:

‘Wir beobachten eine konsistente Tendenz, bei der die Tool-Auswahl-Verzerrung durch sequenzielle Umgebungs-Reibung stark verstärkt wird. Anstatt minimale Privilegien-Alternativen zu versuchen, verschieben sich viele Agenten schnell zu breiteren und leistungsstärkeren Tools, nachdem sie Rückschläge erlebt haben.

‘Zum Beispiel zeigt GPT-5.2 eine Null-Shot-Auswahl-Verzerrung nur 5 Mal (PED=0), aber seine Verzerrung wird 13 Mal bei PED=1 ausgelöst und explodiert auf 35 Mal bei PED=2.

‘Ähnliche Eskalationsmuster werden konsistent über DeepSeek-v3.2, Grok 4.1 Fast, Kimi K2.5 und Qwen-Serie-Modelle beobachtet. ‘

Eminente Domain-Probleme

Eskalationsraten variierten auch erheblich über Anwendungsdomänen und Risikokategorien. Infrastruktur-Aufgaben produzierten einige der höchsten OPUR-Werte, erreichten 46,4% für DeepSeek-v3.2, 42,9% für Grok 4.1 Fast und 37,5% für Qwen3.5-397B.

Erhöhte Raten wurden auch in Codierung, Datenbank und Medien-bezogenen Aufgaben beobachtet, während Gesundheitswesen und Regierung-Szenarien im Allgemeinen niedrigere Eskalationsraten produzierten, insbesondere bei GPT-5.2 und Claude 4.6 Sonett. Laut den Autoren mag dieses Muster auf Unterschiede in der Interpretation von Risiken und betrieblichen Einschränkungen über Domänen hinweg hinweisen:

OPUR (%) über acht Anwendungsdomänen und fünf Eskalationskategorien. Open-Weight-Modelle zeigten im Allgemeinen die höchsten Raten unnötiger Privilegien-Verwendung, wobei Codierung, Datenbank, Infrastruktur, Autoritäts-Eskalation und Sicherheits-Bypass-Szenarien die stärkste Tendenz zur Überbeanspruchung produzierten.

Die Art der Privilegien-Eskalation war auch wichtig: Autoritäts-Eskalation und Sicherheits-Bypass waren die häufigsten Formen übermäßigen Verhaltens über die bewerteten Modelle hinweg: LLaMA-3.1-8B erreichte 72,7% bei Autoritäts-Eskalation und 74,1% bei Sicherheits-Bypass, während Qwen3.5-397B 42,4% bzw. 45,7% aufwies.

Im Gegensatz dazu war Umfangserweiterung konsistent die seltenste Kategorie, was darauf hindeutet, dass Modelle eher danach streben, breitere Autorität oder Sicherheits-Bypass zu erlangen, als den Umfang ihrer Aktionen über zusätzliche Benutzer oder Systeme zu erweitern.

Auf der Suche nach Lösungen

Milderungs-Experimente untersuchten, ob bestehende Agent-Sicherheitsmethoden auch die unnötige Privilegien-Eskalation reduzieren. Die Ergebnisse-Tabelle unten vergleicht OPUR mit der Leistung auf AgentHarm, einer Benchmark, die schädliches Verhalten und Ablehnungsraten in KI-Agenten misst.

Der erste Test bewertete AgentAlign, eine Sicherheits-Ausrichtungsmethode, die darauf ausgelegt ist, schädliches Verhalten zu reduzieren. AgentAlign verbesserte die Leistung auf der AgentHarm-Sicherheits-Benchmark erheblich:

Sicherheits-Ausrichtung und übermäßige Tool-Verwendung vor und nach AgentAlign-Training. AgentAlign verbesserte die Leistung auf der AgentHarm-Sicherheits-Benchmark erheblich, reduzierte schädliche Ausgaben und erhöhte Ablehnungsraten; aber sein Effekt auf OPUR war inkonsistent, wobei ein Modell eine moderate Reduzierung der unnötigen Privilegien-Eskalation zeigte und ein anderes eine Zunahme aufwies. Dieses Ergebnis zeigt, dass Verbesserungen in herkömmlicher Agent-Sicherheit nicht unbedingt zu besserer ‘geringster Privilegien’-Tool-Auswahl führen.

Bei Ministral-8B-Instruct sank der schädliche Score von 67,4 auf 10,5, während die Ablehnungsrate von 0,0 auf 79,5 stieg. Bei Qwen2.5-7B-Instruct sank der schädliche Score von 41,9 auf 6,7 und die Ablehnungsrate von 21,6 auf 85,8. Allerdings übersetzten sich diese Verbesserungen nicht konsistent in niedrigere OPUR-Werte. OPUR sank moderat für Ministral-8B-Instruct von 68,8 auf 62,5, aber stieg für Qwen2.5-7B-Instruct von 50,4 auf 60,7.

Die Autoren testeten auch prompt-basierte Interventionen, die Modelle explizit anwiesen, niedrigeren Privilegien-Tools den Vorzug zu geben. Obwohl diese Prompts die OPUR in einigen Einstellungen reduzierten, verringerte sich der Effekt, wenn niedrigeren Privilegien-Tools Fehler begegneten:

Effekt von Milderungs-Strategien auf übermäßige Tool-Verwendung in drei Qwen3-Modellen. Prompt-Engineering (PE) reduzierte Eskalationsraten, aber privilegien-bewusstes Post-Training (‘Ours’) produzierte wesentlich größere Reduzierungen der OPUR über alle Modelle und Eskalations-Tiefen hinweg.

Die stärksten Milderungs-Ergebnisse wurden durch einen speziellen Post-Training-Ansatz erzielt, der sich speziell auf die geringste Privilegien-Tool-Auswahl konzentrierte. Modelle wurden trainiert, niedrigeren Privilegien-Tools den Vorzug zu geben, wenn sie für die Aufgabe ausreichend waren, und unnötige Eskalation zu vermeiden.

Laut den Autoren produzierte dieser Ansatz größere Reduzierungen der OPUR, während die Aufgaben-Abschluss-Leistung erhalten blieb, was darauf hindeutet, dass geringste Privilegien-Verhalten möglicherweise gezieltes Training erfordert, anstatt automatisch aus allgemeiner Sicherheits-Ausrichtung zu entstehen.

Schlussfolgerung

Um die Frage zu beantworten, die durch den Titel dieses Artikels gestellt wird, kommen die Autoren zu dem Schluss, dass die Eskalation durch Fähigkeits-Uncertainty angetrieben wird: Nach vorübergehenden Fehlern verlieren Modelle das Vertrauen in niedrigeren Privilegien-Tools und wählen immer öfter breitere, flexiblere Tools, die eher zum Erfolg führen, auch wenn niedrigeren Privilegien-Alternativen immer noch ausreichend sind.

Wir sehen erneut Probleme, die den trainierten Modellen eigen sind und die durch tertiäre Methoden, Einschränkungen, Post-Training-Konditionierung und andere Hilfsansätze angegangen werden müssen, wenn die Präferenz darin bestünde, dass ein solches Verhalten innerhalb der Architektur gebildet werden könnte – vermutlich durch bessere Kuration der Daten oder die Kontextualisierung der Art von ‘Schnellantwort’-Datenpunkten, die Sammlungen dominieren, und die LLMs möglicherweise zu rücksichtslosem Verhalten neigen.

Erstveröffentlicht am Sonntag, 21. Juni 2026