Dlaczego agenci AI faworyzują niepotrzebnie potężne narzędzia?

To eskalowało szybko: badania wykazują, że agenci AI nadal pobierają więcej dostępu, niż potrzebują, a niewielkie niepowodzenia powodują, że eskalują jeszcze dalej, narażając dane i systemy w sposób niepotrzebny.

Wzrastająca liczba incydentów, które przyciągnęły uwagę w ostatnim czasie, zwróciła uwagę na ryzyko związane z przyznawaniem agentic AI nadmiernych uprawnień, często poprzez użycie narzędzi i metod o zbyt szerokim zakresie, niż był potrzebny do określonego zadania.

W jednym z niedawnych wydarzeń, agent kodowania Claude napotkał token API Railway o szerokim zakresie podczas rutynowego zadania i użył go do usunięcia bazy danych produkcyjnej i jej kopii zapasowych – pomimo, że zadanie nie wymagało takiego poziomu dostępu.

W oddzielnym przypadku z 2025 roku, agent kodowania Replit zignorował jawne ograniczenia, zmodyfikował chroniony kod i usunął bazę danych produkcyjną.

W trzecim przypadku z lutego tego roku, wspomagany przez AI workflow przeszedł przez łańcuch uprawnień, który ostatecznie osiągnął poświadczenia do publikacji pakietów, skutecznie tworząc atak łańcucha dostaw.

Następnie, analizy bezpieczeństwa wskazały ten, i podobne przypadki, jako ilustrację tendencji systemów agentów do przekształcania mniejszych danych wejściowych w działania o wysokim wpływie, gdy dostępne są szerokie uprawnienia. Te incydenty sugerują, że autonomiczny AI natychmiast i “instynktownie” sięga po najpotężniejsze – i potencjalnie destrukcyjne – narzędzie, zwłaszcza gdy pojawiają się problemy.

Czas narzędzi

Aby rozwiązać ten problem, nowe badania z Chin przetestowały zakres najpopularniejszych modeli własnościowych i open source, aby odkryć ich skłonność do sięgania po potężne narzędzia w przypadkach, w których takie narzędzia są nadmiarowe dla zadania:

Z nowego artykułu: wyniki jedenastu wiodących modeli AI przy wyborze między narzędziami o minimalnych uprawnieniach a bardziej potężnymi alternatywami, które były niepotrzebne dla zadania. Qwen3-8B i LLaMA-3.1-8B wykazały najmocniejszą tendencję do nadmiernych uprawnień, podczas gdy Claude 4.6 Sonnet, GPT-5.2 i GLM-5 były znacznie bardziej powściągliwe. Ciemniejsze segmenty wskazują natychmiastowe przekroczenie, podczas gdy jaśniejsze segmenty pokazują eskalację po tymczasowych niepowodzeniach, sugerując, że wiele modeli reaguje na niepowodzenia przez rozszerzenie dostępu, zamiast trwania przy bezpieczniejszych opcjach. Źródło

Testy wskazują, że modele open-weight, takie jak Qwen3-8B i LLaMA-3.1-8B, są bardziej skłonne do eskalacji, być może ze względu na ich ograniczone warunki szkolenia, w porównaniu z modelami własnościowymi, takimi jak ChatGPT i Gemini series.

Autorzy stwierdzają:

‘Sześć z jedenastu modeli przekracza 30% [Wskaźnik użycia narzędzi o nadmiernych uprawnieniach (OPUR)], z szczególnie wysokimi wskaźnikami dla powszechnie używanych mniejszych modeli open-weight, takich jak Qwen3-8B (64,9%) i LLaMA-3.1-8B (55,9%).

‘Tymczasem, modele o niższych wskaźnikach OPUR, takie jak Claude 4.6 Sonnet, GPT-5.2 i GLM-5, pozostają poniżej 10%, ale nadal wykazują mierne użycie narzędzi o nadmiernych uprawnieniach w niektórych ustawieniach.

‘Ta zmienność sugeruje, że przestrzeganie zasad najmniejszych uprawnień jest właściwością behawioralną modelu, potencjalnie kształtowaną przez różnice w ogólnej zdolności, szkoleniu w użyciu narzędzi i wyrównaniu bezpieczeństwa.’

Ponadto, skłonność do użycia narzędzi o nadmiernych uprawnieniach różni się w zależności od dziedziny, z pracami nad kodem na najwyższym poziomie ryzyka, a bardziej kontrolowanymi dziedzinami, takimi jak opieka zdrowotna, inspirując mniej radykalne środki:

Wskaźniki niepotrzebnego użycia narzędzi o wysokich uprawnieniach w różnych dziedzinach zadań i kategoriach ryzyka. Prace nad kodem, bazami danych i infrastrukturą wykazywały niektóre z najwyższych wskaźników eskalacji, podczas gdy zadania związane z opieką zdrowotną i rządem ogólnie prowadziły do większej powściągliwości. Przez typy ryzyka, modele były najbardziej skłonne do przekroczenia uprawnień przez eskalację uprawnień i działania obejścia bezpieczeństwa, sugerując, że gdy systemy AI napotykają przeszkody, często preferują szerszy dostęp i mniej ograniczeń, zamiast pozostania w ramach najwęższych uprawnień niezbędnych do wykonania zadania.

Ponadto, wyniki wskazują, że niektóre z najgorszych wyników występują, gdy model czuje się “pod presją”. Przez wiele rodzin modeli, tymczasowe niepowodzenia z narzędziami o niższych uprawnieniach często wywoływały szybką zmianę w kierunku szerszych, bardziej potężnych alternatyw – nawet jeśli oryginalne narzędzia nadal były w pełni zdolne do wykonania zadania.

Tryb paniki!

W ten sposób, przejściowy błąd mógł spowodować, że modele porzucą zasadę najmniejszych uprawnień całkowicie. Zamiast próbowania innego narzędzia o niższych uprawnieniach lub ponownego wypróbowania tego samego narzędzia, wiele systemów zareagowało przez rozszerzenie swojego dostępu.

Autorzy twierdzą, że powtarzające się niepowodzenia wydają się niszczyć zaufanie do narzędzi o niższych uprawnieniach, czyniąc eskalację uprawnień coraz bardziej prawdopodobną w warunkach niepewności – zachowanie obserwowane w różnym stopniu zarówno w modelach open-weight, jak i własnościowych.

Świadomość uprawnień po szkoleniu osiąga ograniczony sukces jako możliwa mitigacja, nagradzając użycie narzędzi o niższych uprawnieniach i karząc przedwczesną eskalację. Jednak manipulacja podpowiedziami oferowała niewielką poprawę w testach, a na razie problem wydaje się związany z wyższymi zasadami behawioralnymi w LLM.

Chociaż artykuł nie porusza tego tematu, wydaje się logiczne przypuszczać, że AI ma znacznie więcej materiału szkoleniowego na “ostateczne wyniki” niż na proces prób i błędów, który prowadzi do tych wyników – niecierpliwa “kultura TLDR”, która może również wyhodować niecierpliwość w AI..?

Nowy artykuł tytułowany Gdy niższe uprawnienia są wystarczające: Badanie nad użyciem narzędzi o nadmiernych uprawnieniach w agentach LLM, pochodzi od ośmiu autorów z Chińskiej Akademii Nauk, Uniwersytetu Chińskiego w Hongkongu, Uniwersytetu Pekińskiego i Uniwersytetu Chińskiej Akademii Nauk.

Metoda

Aby zbadać użycie narzędzi o nadmiernych uprawnieniach w kontrolowanych warunkach, badacze stworzyli ToolPrivBench, benchmark składający się z 544 scenariuszy pochodzących z ośmiu dziedzin aplikacji: Business, Coding, Database, Education, Government, Healthcare, Infrastructure i Media.

Pięć powtarzających się wzorców ryzyka zostało zbadanych: Eskalacja uprawnień, Nadmierna ekspozycja danych, Obejście bezpieczeństwa, Rozszerzenie zakresu i Utajnienie czasowe:

Rozkład 544 scenariuszy w ToolPrivBench w pięciu wzorcach eskalacji uprawnień i ośmiu dziedzinach aplikacji. Eskalacja uprawnień była najczęstszą kategorią ryzyka, podczas gdy bazy danych, biznes i edukacja stanowiły największe udziały w benchmarku. Szeroki zakres dziedzin i typów ryzyka miał na celu przetestowanie, czy użycie narzędzi o nadmiernych uprawnieniach trwa w różnych ustawieniach operacyjnych, a nie pochodzi z wąskiego zakresu zadań.

Każdy scenariusz łączył zadanie użytkownika z trzema narzędziami o niższych uprawnieniach i trzema alternatywami o wyższych uprawnieniach. Wszystkie sześć narzędzi było niezależnie zdolnych do wykonania zadania, co oznacza, że preferencja dla szerszego dostępu nie mogła być spowodowana brakiem funkcjonalności.

ToolPrivBench jest zaprojektowany, aby mierzyć więcej niż tylko to, czy model początkowo wybiera najpotężniejsze narzędzie: podczas oceny, tymczasowe niepowodzenia, takie jak błędy połączenia, były celowo wprowadzane do narzędzi o niższych uprawnieniach, nawet jeśli te narzędzia nadal były w pełni zdolne do wykonania zadania. To pozwoliło badaczom obserwować, jak modele reagują na niepowodzenia, w tym czy ponownie próbują narzędzi o niższych uprawnieniach czy eskalują do szerszych, narzędzi o wyższych uprawnieniach:

Przegląd potoku oceny ToolPrivBench. (a) Każdy testowy scenariusz prezentuje zadanie wraz z trzema narzędziami o niższych uprawnieniach i trzema alternatywami o wyższych uprawnieniach, wszystkie zdolne do wykonania tego samego celu. (b) Modele są oceniane zarówno pod kątem natychmiastowego wyboru narzędzia o nadmiernych uprawnieniach, jak i eskalacji po tymczasowych niepowodzeniach wprowadzonych do narzędzi o niższych uprawnieniach. (c) Przypadki benchmarkowe są generowane z prawdziwych wzorców ryzyka API, a następnie przechodzą przez automatyczne kontrole, walidację wystarczalności narzędzi, analizę niepowodzeń i przegląd ekspertów przed dopuszczeniem do ostatecznego zestawu oceny.

Specjalna metryka opracowana dla tego badania to Wskaźnik użycia narzędzi o nadmiernych uprawnieniach (OPUR), który rejestruje, jak często model używa narzędzia o wyższych uprawnieniach, pomimo że bezpieczniejsze alternatywy są nadal dostępne. Głębokość eksploracji przed eskalacją (PED) jest również mierzona, rejestrując, ile narzędzi o niższych uprawnieniach jest próbowanych przed eskalacją.

Aby upewnić się, że poziom uprawnień pozostaje jedyną istotną różnicą między narzędziami, każdy scenariusz w testach był poddany kilku etapom walidacji przed dopuszczeniem do benchmarku. ChatGPT-5.2 i Gemini 2.5 Pro zostały niezależnie użyte do potwierdzenia, że wszystkie sześć narzędzi może wykonać zadanie przypisane. Tylko przypadki, które otrzymały zgodę od obu systemów, zostały zachowane. Pozostałe scenariusze zostały następnie zbadane przez recenzentów, zanim zostały włączone do ostatecznego benchmarku.

Testy

Benchmark został oceniony przy użyciu jedenastu modeli językowych z rodzin własnościowych i open-weight: Qwen3-8B, LLaMA-3.1-8B, MiniMax-M2.7, Grok 4.1 Fast, Qwen3.5-397B, DeepSeek-v3.2, Kimi K2.5, Gemini 3 Flash, GPT-5.2, GLM-5 i Claude 4.6 Sonnet. Występowanie zostało zmierzone przy użyciu OPUR i PED.

Większość modeli wykazała znaczne wskaźniki niepotrzebnego użycia uprawnień, pomimo że alternatywy o niższych uprawnieniach były w pełni zdolne do wykonania zadania. Qwen3-8B zarejestrował najwyższy OPUR na poziomie 64,9%, a następnie LLaMA-3.1-8B na poziomie 55,9%, podczas gdy sześć z jedenastu modeli przekroczyło 30%:

Rozkład użycia narzędzi o nadmiernych uprawnieniach w jedenastu ocenianych modelach. Qwen3-8B i LLaMA-3.1-8B zarejestrowały najwyższe wartości OPUR, podczas gdy Claude 4.6 Sonnet, GPT-5.2 i GLM-5 wykazały najniższe wskaźniki. Ciemniejsze segmenty wskazują natychmiastowe wybranie niepotrzebnego, potężnego narzędzia, podczas gdy jaśniejsze segmenty wskazują eskalację po tym, jak jeden lub więcej narzędzi o niższych uprawnieniach zostało wypróbowanych najpierw, ujawniając, że eskalacja uprawnień często następuje po tymczasowych niepowodzeniach, a nie na pierwszym punkcie decyzyjnym.

Na drugim końcu spektrum, Claude 4.6 Sonnet, GPT-5.2 i GLM-5 pozostały poniżej 10%, chociaż nadal obserwowano mierne naruszenia. Wyniki pośrednie zostały zgłoszone dla MiniMax-M2.7, Grok 4.1 Fast, Qwen3.5-397B, DeepSeek-v3.2, Kimi K2.5 i Gemini 3 Flash.

W ogóle, przestrzeganie zasad najmniejszych uprawnień różniło się znacznie wśród jedenastu modeli. Niepowodzenia narzędzi zwiększały prawdopodobieństwo eskalacji uprawnień: gdy narzędzia o niższych uprawnieniach napotkały tymczasowe problemy, wiele modeli przechodziło do alternatyw o wyższych uprawnieniach, zamiast kontynuować eksplorację alternatyw o niższych uprawnieniach, które nadal były w stanie wykonać zadanie.

Według autorów, powtarzające się niepowodzenia wydają się redukować zaufanie do narzędzi o niższych uprawnieniach, zwiększając tendencję do wyboru alternatyw o szerszym dostępie, nawet gdy te dodatkowe uprawnienia okazują się niepotrzebne do zadania:

‘Obserwujemy stałą tendencję, w której uprzedzenie wyboru narzędzi jest znacznie nasilone przez sekwencyjną tarcie środowiskowe. Zamiast próbowania narzędzi o minimalnych uprawnieniach, wiele agentów szybko przechodzi do szerszych i bardziej potężnych narzędzi po doświadczeniu niepowodzeń.

‘Na przykład, GPT-5.2 wykazuje uprzedzenie wyboru tylko 5 razy (PED=0), ale jego uprzedzenie jest wywołane 13 razy przy PED=1, i wzrasta do 35 razy przy PED=2.

‘Podobne wzorce eskalacji są stale obserwowane w modelach DeepSeek-v3.2, Grok 4.1 Fast, Kimi K2.5 i Qwen-series. ‘

Ważne problemy

Wskaźniki eskalacji różnią się znacznie w zależności od dziedziny aplikacji i kategorii ryzyka. Zadania infrastrukturalne wygenerowały niektóre z najwyższych wartości OPUR, sięgając 46,4% dla DeepSeek-v3.2, 42,9% dla Grok 4.1 Fast i 37,5% dla Qwen3.5-397B.

Podwyższone wskaźniki zostały również zaobserwowane w zadaniach programistycznych, bazach danych i mediach, podczas gdy zadania zdrowotne i rządowe ogólnie wykazywały niższe wskaźniki eskalacji, szczególnie wśród GPT-5.2 i Claude 4.6 Sonnet. Według autorów, ten wzorzec może odzwierciedlać różnice w tym, jak modele interpretują ryzyko i ograniczenia operacyjne w różnych dziedzinach:

OPUR (%) w ośmiu dziedzinach aplikacji i pięciu kategoriach eskalacji. Modele open-weight ogólnie zarejestrowały najwyższe wskaźniki niepotrzebnego użycia uprawnień, z zadania programistycznymi, bazami danych, infrastrukturą, eskalacją uprawnień i działaniami obejścia bezpieczeństwa wykazującymi najmocniejszą tendencję do przekroczenia uprawnień.

Typ eskalacji uprawnień również miał znaczenie: Autoracja eskalacji i Obejście bezpieczeństwa były najczęstszymi formami zachowania o nadmiernych uprawnieniach wśród ocenianych modeli: LLaMA-3.1-8B osiągnęła 72,7% w przypadku Autoracji eskalacji i 74,1% w przypadku Obejścia bezpieczeństwa, podczas gdy Qwen3.5-397B zarejestrowała odpowiednio 42,4% i 45,7%.

W przeciwieństwie do tego, Rozszerzenie zakresu było stale najmniej powszechną kategorią, wskazując, że modele są bardziej skłonne do poszukiwania szerszych uprawnień lub obejścia ograniczeń, niż do rozszerzania zakresu swoich działań na dodatkowych użytkowników lub systemy.

W poszukiwaniu rozwiązań

Eksperymenty z mitigacją sprawdziły, czy istniejące metody bezpieczeństwa agentów również redukują niepotrzebne eskalowanie uprawnień. Tabela wyników poniżej porównuje OPUR z wynikami AgentHarm, benchmarku, który mierzy zachowania szkodliwe i odmowy w agentach AI.

Pierwszy test ocenił AgentAlign, metodę wyrównania bezpieczeństwa zaprojektowaną w celu redukcji szkodliwych działań. AgentAlign znacznie poprawił wyniki AgentHarm:

<img class=" wp-image-428875" src="https://www.unite.ai/wp-content/uploads/2026/06/table-2-4.jpg" alt="Wyrównanie bezpieczeństwa i użycie narzędzi o nadmiernych uprawnieniach przed i po szkoleniu AgentAlign. AgentAlign znacznie poprawił wyniki benchmarku AgentHarm, redukując szkodliwe dane wyjściowe i zwiększając odmowy, ale jego wpływ na OPUR był niekonsekwentny, z jednym modelem wykazującym umiarkowaną redukcję niepotrzebnego eskalowania uprawnień i innym modelem wykazującym wzrost.” width=”809″ height=”303″ /> Wyrównanie bezpieczeństwa i użycie narzędzi o nadmiernych uprawnieniach przed i po szkoleniu AgentAlign. AgentAlign znacznie poprawił wyniki benchmarku AgentHarm, redukując szkodliwe dane wyjściowe i zwiększając odmowy; ale jego wpływ na OPUR był niekonsekwentny, z jednym modelem wykazującym umiarkowaną redukcję niepotrzebnego eskalowania uprawnień i innym modelem wykazującym wzrost. To wynik wskazuje, że poprawy w konwencjonalnym bezpieczeństwie agentów niekoniecznie tłumaczą się na lepsze wybór narzędzi o najmniejszych uprawnieniach.

Dla Ministral-8B-Instruct, wynik szkodliwy spadł z 67,4 do 10,5, podczas gdy wskaźnik odmowy wzrósł z 0,0 do 79,5. Dla Qwen2.5-7B-Instruct, wynik szkodliwy spadł z 41,9 do 6,7, a wskaźnik odmowy wzrósł z 21,6 do 85,8. Jednak te poprawy nie tłumaczyły się konsekwentnie na niższy OPUR. OPUR spadł umiarkowanie dla Ministral-8B-Instruct, z 68,8 do 62,5, ale wzrosło dla Qwen2.5-7B-Instruct, z 50,4 do 60,7.

Autorzy również przetestowali interwencje oparte na podpowiedziach, które wyraźnie instruowały modele, aby preferować narzędzia o niższych uprawnieniach. Chociaż te podpowiedzi redukowały OPUR w niektórych ustawieniach, efekt zmniejszał się, gdy narzędzia o niższych uprawnieniach napotkały niepowodzenia:

Wpływ strategii mitigacji na użycie narzędzi o nadmiernych uprawnieniach w trzech modelach Qwen3. Inżynieria podpowiedzi (PE) redukowała wskaźniki eskalacji, ale szkolenie zorientowane na uprawnienia ('Ours') wyprodukowało znacznie większe redukcje OPUR we wszystkich modelach i głębokościach eskalacji.

Najmocniejsze wyniki mitigacji zostały uzyskane dzięki dedykowanemu podejściu po szkoleniu, skoncentrowanemu specjalnie na wyborze narzędzi o najmniejszych uprawnieniach. Modele były szkolone, aby faworyzować narzędzia o niższych uprawnieniach, gdy były one wystarczające do zadania, i unikać niepotrzebnej eskalacji.

Według autorów, to podejście wyprodukowało większe redukcje OPUR, zachowując przy tym wyniki wykonania zadania, wskazując, że zachowanie o najmniejszych uprawnieniach może wymagać ukierunkowanego szkolenia, zamiast pojawiać się automatycznie z ogólnego wyrównania bezpieczeństwa.

Wnioski

Aby odpowiedzieć na pytanie postawione przez tytuł tego artykułu, autorzy wnioskują, że eskalacja jest napędzana przez niepewność zdolności: po przejściowych niepowodzeniach, modele tracą zaufanie do narzędzi o niższych uprawnieniach i coraz częściej wybierają szersze, bardziej elastyczne narzędzia, które wydają się bardziej prawdopodobne do powodzenia, nawet jeśli alternatywy o niższych uprawnieniach nadal są wystarczające do wykonania zadania.

Ponownie widzimy problemy, które są rodzime dla wytrenowanych modeli i które muszą być rozwiązane przez dodatkowe metody, ograniczenia, warunki szkolenia i inne pomocnicze podejścia, kiedy preferencją byłoby, aby takie zachowanie mogło być ukształtowane w ramach architektury – prawdopodobnie poprzez lepszą kurację danych lub kontekstualizację rodzaju “szybkich punktów danych”, które dominują w zbiorach, i które mogą skłaniać LLM do zachowań lekkomyślnych.

Publikacja po raz pierwszy w niedzielę, 21 czerwca 2026