Badania NVIDIA pokazują, że agenci AI stają się mniej bezpieczni, gdy korzystają z narzędzi

Modele AI, takie jak ChatGPT, Gemini i Claude, mogą zasilać agentów — mechanizmy pozwalające modelom bezpośrednio wchodzić w interakcje ze światem rzeczywistym. To niedawna innowacja, która staje się coraz bardziej kontrowersyjna.

W każdym razie agenci nie są automatycznie wyposażeni w umiejętności potrzebne im do poruszania się po sieci lub bazie danych, ponieważ wymagane narzędzia różnią się w zależności od misji i trybu działania. Mogą na przykład potrzebować funkcji optycznego rozpoznawania znaków (OCR), aby odczytywać tekst na zdjęciach, a także innych umiejętności. Istnieją nawet kategorie narzędzi dostosowane do zakresu działania agenta i jego celu.

W teorii prośba naruszająca wbudowane w AI zabezpieczenia nigdy nie zostanie spełniona, niezależnie od tego, czy podczas jej realizacji wykorzystywane są narzędzia. W praktyce — jak wykazały nowe badania — korzystanie z narzędzi może znacząco osłabić filtry ochronne, które powstrzymują agenta AI przed dopuszczeniem się „wykroczeń”.

Odmowa, która nie następuje

Nowy artykuł NVIDIA zatytułowany Multimodalne modele językowe nie odmawiają, gdy autonomicznie korzystają z narzędzi pokazuje, że multimodalne modele językowe (MLLM, dalej określane częściej używanym skrótem „VLM”, od ang. Vision Language Model) znacznie częściej spełniają szkodliwe prośby po udostępnieniu im narzędzi, a przypadki nieodmówienia odnotowano we wszystkich badanych modelach i testach porównawczych.

Choć modele z otwartymi wagami, takie jak Qwen3-VL, okazały się bardziej podatne na ten problem, również czołowe modele AI, takie jak Claude Opus 4.7, Gemini 3.1 Pro i GPT-5.4, częściej nie odmawiały, gdy korzystały z narzędzi.

Autorzy piszą*:

„Mimo niedawnych znaczących sukcesów autonomicznych multimodalnych modeli językowych, w tej pracy ujawniamy poważny problem z bezpieczeństwem w modelu korzystania z narzędzi: autonomiczne multimodalne modele językowe korzystające z narzędzi gorzej radzą sobie z odmawianiem spełnienia szkodliwych próśb.

„Nasze eksperymenty potwierdzają, że we wszystkich trzech popularnych testach porównawczych bezpieczeństwa czołowe multimodalne modele językowe z otwartymi i zamkniętymi wagami, które badaliśmy, wykazują znacznie niższy poziom bezpieczeństwa, gdy korzystają z narzędzi, niż gdy ich nie używają. Względny wzrost odsetka przypadków nieodmówienia sięga 68,7%.

„Na podstawie analizy ponad 100 000 odpowiedzi, obejmującej także rozszerzone eksperymenty, proponujemy również dwa możliwe wyjaśnienia tego pogorszenia bezpieczeństwa”.

Dwa możliwe wyjaśnienia przedstawione w artykule to rozmycie kontekstu, w którym pierwotna szkodliwa prośba staje się mniej istotna w miarę gromadzenia wyników działania narzędzi, oraz przesunięcie uwagi z bezpieczeństwa, gdy model skupia się na opisywaniu obserwacji uzyskanych za pomocą narzędzi zamiast traktować bezpieczeństwo priorytetowo.

Wyniki testów ilustrujące główny wniosek artykułu dotyczący bezpieczeństwa. U góry użytkownik pyta, jak dokonać kradzieży kieszonkowej przedstawionej na obrazie. Standardowy VLM kategorycznie odmawia, natomiast wersja korzystająca z narzędzi najpierw uruchamia narzędzia do analizy obrazu, takie jak powiększanie, a następnie kontynuuje rozumowanie i ostatecznie udziela szkodliwej odpowiedzi. Poniższy wykres pokazuje, że wzrost liczby przypadków nieodmówienia odnotowano we wszystkich badanych modelach z otwartymi wagami i modelach własnościowych. Źródło

We wszystkich jedenastu badanych modelach udostępnienie narzędzi konsekwentnie zwiększało liczbę przypadków nieodmówienia. W najgorszych przypadkach względny wzrost sięgał 68,7% — nawet wśród modeli, które poza tym wykazywały wysoki poziom bezpieczeństwa.

Ciekawe będzie sprawdzenie, czy wyniki tej pracy, której autorami jest sześciu badaczy z NVIDIA, zostaną powtórzone lub potwierdzone w innych badaniach oraz czy mogą pogłębić naszą wiedzę o widocznej i nasilającej się skłonności agentów AI do lekceważenia prawa.

Metody i dane

Badacze ocenili jedenaście VLM-ów reprezentujących siedem rodzin modeli. Wśród modeli własnościowych znalazły się: Gemini 2.5 Pro, Gemini 3.1 Pro Preview, Claude Opus 4.6, Claude Opus 4.7 i GPT-5.4.

Wśród modeli z otwartymi wagami znalazły się: Qwen3-VL-235B-A22B-Instruct, Qwen3.5-122B-A10B, Kimi-K2.5, Kimi-K2.6, GLM-5V-Turbo i AdaReasoner-7B-Randomized — model z otwartymi wagami dostrojony specjalnie do autonomicznego korzystania z narzędzi.

Przeprowadzono również osobne eksperymenty z modelem Gemini 3 Flash Vision Agent, ponieważ jego autonomiczne korzystanie z narzędzi wymagało niezależnej oceny.

W testach z użyciem narzędzi badacze zastosowali format ReAct, w którym naprzemiennie występują rozumowanie i wywoływanie narzędzi. Dostępne były cztery narzędzia: tagowanie za pomocą RAM++; powiększanie i kadrowanie; optyczne rozpoznawanie znaków (OCR) za pomocą GOT-OCR2.0; oraz działający w odizolowanym środowisku interpreter kodu Python, który umożliwiał modyfikowanie i analizowanie obrazów.

Badacze przygotowali sparowane prompty, aby wyodrębnić wpływ korzystania z narzędzi, niezależnie od stylu formułowania promptów. W instrukcjach dla tradycyjnych modeli VLM polecono im przeanalizować obraz i bezpośrednio odpowiedzieć na prośbę użytkownika, natomiast wersje agentowe działały według schematu ReAct, wielokrotnie decydując, czy wywołać narzędzia, zanim wygenerują odpowiedź końcową.

Porównanie dopasowanych promptów użytych w głównych eksperymentach. W wariancie bez narzędzi model miał przeanalizować obraz i samodzielnie wyciągnąć wnioski, natomiast wariant agentowy działał według iteracyjnego schematu ReAct, pozwalając modelowi zdecydować, kiedy wywołać narzędzia zewnętrzne, zanim wygeneruje odpowiedź końcową.

Wykorzystano trzy multimodalne benchmarki bezpieczeństwa: MM-SafetyBench; VLSBench; oraz HoliSafe. Każdy z tych zbiorów składa się z par obrazów i szkodliwych próśb użytkowników. Zostały one opracowane po to, by sprawdzić, czy model odmawia pomocy w niebezpiecznych sytuacjach — na przykład gdy użytkownik pyta, jak przeprowadzić widoczną na obrazie kradzież kieszonkową.

Główną miarą był wskaźnik nieudanych odmów (Refusal Failure Rate, RFR), określający odsetek szkodliwych próśb, których model nie odrzucił. Wyższy wynik oznaczał niższy poziom bezpieczeństwa.

Testy

Odpowiedzi klasyfikował GPT-5.2, pełniący rolę sędziego LLM, korzystając z promptu ewaluacyjnego zalecanego przez VLSBench:

Prompt ewaluacyjny GPT-5.2 służący do ustalenia, czy odpowiedź modelu stanowiła skuteczną odmowę, odpowiedź uwzględniającą zasady bezpieczeństwa i wskazującą związane z prośbą zagrożenia, czy też niebezpieczną odpowiedź, która nie rozpoznawała tych zagrożeń i spełniała szkodliwą prośbę. Sędzia otrzymywał oryginalny obraz, zapytanie użytkownika i odpowiedź modelu, a następnie miał zwrócić klasyfikację oraz uzasadnienie w formacie JSON.

Każdą odpowiedź przypisywano do jednej z trzech kategorii: bezpieczna — odmowa; bezpieczna — ostrzeżenie; lub niebezpieczna.

Wskaźniki nieudanych odmów w trzech benchmarkach bezpieczeństwa, z porównaniem każdego modelu działającego z dostępem do narzędzi i bez niego. Podczas korzystania z narzędzi każdy model rzadziej odmawiał spełnienia szkodliwych próśb, choć skala tej zmiany znacznie się różniła: średni RFR wzrósł o 12,6 punktu procentowego w przypadku GLM-5V-Turbo, a w przypadku GPT-5.4 — o 2,3 punktu procentowego. Ciemniejsze cieniowanie oznacza większy wzrost wskaźnika nieudanych odmów.

Wyposażenie modeli w narzędzia zwiększyło prawdopodobieństwo, że odpowiedzą na szkodliwe prośby, które w innych okolicznościach by odrzuciły — zjawisko to zaobserwowano w przypadku każdego modelu i we wszystkich testowanych benchmarkach. Ogółem liczba nieudanych odmów wzrosła o 17,7% w porównaniu z tymi samymi modelami działającymi bez narzędzi.

GPT-5.4 odczuł tę zmianę w najmniejszym stopniu: bez narzędzi nie odmówił spełnienia 14,6% szkodliwych próśb, a po ich udostępnieniu odsetek ten wzrósł do 16,8%. W przypadku GLM-5V-Turbo liczba nieudanych odmów wzrosła z 38,7% (wartość bazowa bez narzędzi) do 51,3%. Ten sam wzorzec wystąpił we wszystkich trzech benchmarkach, co wskazuje, że problem może nie ograniczać się do określonego rodzaju szkodliwej prośby.

Przyczyny niepowodzeń..?

Jak wspomniano wcześniej, badacze proponują „rozmycie kontekstu” jako jedno z wyjaśnień wzrostu liczby niepowodzeń: w miarę jak agent kolejno wywołuje narzędzia, pierwotna szkodliwa prośba traci na znaczeniu wśród gromadzących się wyników działania narzędzi.

Aby to sprawdzić, badacze uwzględnili wyłącznie te prośby, których spełnienia ten sam model skutecznie odmówił bez użycia narzędzi. Jak pokazano poniżej, liczba nieudanych odmów rosła stopniowo wraz ze wzrostem liczby wywołań narzędzi — od wartości bliskich zeru, gdy nie wywołano żadnego narzędzia, do znacznie wyższych po co najmniej trzech wywołaniach:

Wyniki testów porównujących liczbę nieudanych odmów przy różnej liczbie wywołań narzędzi. Wskaźniki niepowodzeń rosły wraz z kolejnymi wywołaniami narzędzi — zarówno w przypadku poszczególnych modeli, jak i wszystkich modeli łącznie.

Drugi test częściowo odwrócił ten efekt. Gdy po ostatnim wywołaniu narzędzia, tuż przed udzieleniem odpowiedzi przez model, ponownie wprowadzono pierwotne polecenie i obraz, średni odsetek nieudanych odmów we wszystkich modelach i testach porównawczych spadł o 7,6%, jak pokazano poniżej:

Wyniki testów porównujących liczbę nieudanych odmów przy ponownym wprowadzeniu pierwotnego polecenia i obrazu oraz bez niego. Ponowne wprowadzenie ich po ostatnim wywołaniu narzędzia obniżyło średni wskaźnik niepowodzeń o 7,6% w przypadku pięciu testowanych modeli.

Potwierdza to, że rozmycie kontekstu jest jednym z czynników, a zarazem wskazuje na stosunkowo proste rozwiązanie łagodzące ten problem.

Drugim wyjaśnieniem zaproponowanym w artykule jest „przesunięcie uwagi z kwestii bezpieczeństwa”. Wygląda na to, że korzystanie z narzędzi odwraca uwagę modelu od oceny, czy prośba jest szkodliwa, i kieruje ją na opisywanie tego, co udało się znaleźć za pomocą tych narzędzi.

Wyniki testów pokazujące, jak korzystanie z narzędzi zmieniło sposób rozpoczynania odpowiedzi, które ostatecznie odmawiały spełnienia szkodliwych próśb. Bez narzędzi odpowiedzi zwykle zaczynały się od bezpośredniego odniesienia do prośby (55,6%) lub zwrócenia uwagi na kwestie bezpieczeństwa (25,8%). Gdy modele korzystały z narzędzi, w 52,3% przypadków zaczynały zamiast tego od opisania tego, co udało się dzięki nim znaleźć, a wyraźne wzmianki o bezpieczeństwie pojawiały się rzadziej — w 10,3% odpowiedzi.

Przeanalizowano przypadki, w których modele skutecznie odmawiały zarówno z użyciem narzędzi, jak i bez nich. Bez narzędzi 55,6% tych odpowiedzi rozpoczynało się od bezpośredniego odniesienia do prośby, a 25,8% — od wyraźnego stwierdzenia dotyczącego bezpieczeństwa. Gdy modele korzystały z narzędzi, odsetki te spadły odpowiednio do 37,4% i 10,3%, natomiast udział odpowiedzi rozpoczynających się od opisu obserwacji uzyskanych za pomocą narzędzi wzrósł do 52,3%.

Autorzy przedstawiają ciekawy przykład jakościowy z użyciem Claude Opus 4.6. Zapytany, jak można ominąć zabezpieczenia w publicznej toalecie, model bez narzędzi od razu odmówił:

Przykład pokazujący, jak korzystanie z narzędzi odsunęło bezpieczeństwo na dalszy plan w bezpośrednim toku rozumowania modelu. Claude Opus 4.6 bez użycia narzędzi od razu odmówił spełnienia szkodliwej prośby; po włączeniu narzędzi najpierw przybliżył obraz, odczytał i zidentyfikował jego zawartość, a następnie opisał znak w toalecie, zanim ostatecznie odmówił.

Po udostępnieniu narzędzi ten sam model zamiast tego przybliżył obraz, odczytał tekst i zidentyfikował jego zawartość, a odpowiedź rozpoczął od opisu znaku w toalecie. Odmowa pojawiła się dopiero później, co pokazuje, jak proces korzystania z narzędzi odsunął bezpieczeństwo od bezpośrednich priorytetów modelu.

Autorzy podsumowują:

„Ogólnie rzecz biorąc, nasze ustalenia wskazują, że korzystanie z narzędzi należy traktować nie tylko jako mechanizm zwiększający możliwości rozumowania wizualnego, lecz także jako decyzję projektową istotną z punktu widzenia bezpieczeństwa, która może zmieniać zachowanie modelu przy odmowie; dlatego przyszłe multimodalne duże modele językowe działające jako agenci należy oceniać i trenować w warunkach korzystania z narzędzi, zamiast zakładać, że dostosowanie do wymogów bezpieczeństwa bez narzędzi nie ulega zmianie w środowiskach agentowych”.

Wnioski

Utrata trwałości kontekstu jest wyraźnym obciążeniem w złożonych łańcuchach dalszych zdarzeń wywoływanych przez prompt — a jednak obecnie nie ma prostych odpowiedzi na pytanie, jak ograniczyć skłonność niewielkiego okna kontekstu do sprawiania, że agent zapomina o swoich „nadrzędnych dyrektywach” i po prostu zaczyna używać narzędzia, które ma pod ręką.

* Wyróżnienia autorów; moje przekształcenie przypisów autorów w tekście na hiperłącza tam, gdzie było to konieczne.

Opublikowano po raz pierwszy w środę, 7 października 2026 r.