NVIDIA Research visar att AI-agenter blir mindre säkra när de använder verktyg

AI-modeller som ChatGPT, Gemini och Claude kan användas för att driva agenter – ”ramverk” som gör att modellerna kan interagera direkt med den verkliga världen. Det är en ny innovation, och en alltmer omdiskuterad sådan.

Agenter är i alla fall inte automatiskt utrustade med de förmågor de behöver när de rör sig i ett nätverk eller en databas, eftersom de verktyg som krävs varierar beroende på uppdrag och användningsområde. De kan till exempel behöva funktioner för optisk teckenigenkänning (OCR) för att kunna tolka text i bilder, bland annat. Det finns till och med verktygskategorier som är anpassade efter agentens omfattning och avsikt.

I teorin kommer en begäran som strider mot AI-modellens inbyggda säkerhetsspärrar aldrig att genomföras, oavsett om verktyg används i samband med utförandet eller inte. I praktiken kan verktygsanvändning enligt ny forskning kraftigt försvaga de skyddsfilter som hindrar en AI-agent från att begå ”överträdelser”.

Misslyckanden med att vägra

Den nya artikeln från NVIDIA, med titeln MLLM:er misslyckas med att vägra när de använder verktyg på ett agentiskt sätt, visar att multimodala språkmodeller (MLLM, nedan kallade den vanligare beteckningen VLM, eller visionsspråkmodell) är betydligt mer benägna att tillmötesgå skadliga förfrågningar när verktyg introduceras. Andelen misslyckade vägranden ökade i samtliga testade modeller och riktmärken.

Även om modeller med öppna vikter, som Qwen3-VL, visade sig vara mer benägna att drabbas av problemet, uppvisade även avancerade AI-modeller som Claude Opus 4.7, Gemini 3.1 Pro och GPT-5.4 fler misslyckade vägranden när de använde verktyg.

Författarna skriver*:

”Trots de senaste stora framgångarna med agentiska MLLM:er avslöjar detta arbete en allvarlig säkerhetsbrist i verktygsanvändningsparadigmet: agentiska MLLM:er som använder verktyg blir sämre på att vägra skadliga förfrågningar.

”Våra experiment bekräftar att samtliga ledande MLLM:er med öppna och slutna vikter som vi testar uppvisar betydligt lägre säkerhet när de använder verktyg än när de inte gör det, enligt tre vanliga säkerhetsriktmärken. Den relativa ökningen av andelen misslyckade vägranden är upp till 68,7 %.

”Utifrån en analys av över 100 000 svar, inklusive utökade experiment, föreslår vi också två möjliga orsaker till denna försämrade säkerhet.”

De två möjliga orsaker som artikeln anger är utspädning av kontexten, där den ursprungliga skadliga förfrågan blir mindre framträdande när resultaten från verktyg samlas på hög, och förskjutning av säkerhetsfokus, där modellen fokuserar på att beskriva observationer från verktygen i stället för att prioritera säkerheten.

Testresultat som illustrerar artikelns centrala säkerhetsfynd. Överst frågar en användare hur man begår den fickstöld som verkar visas på en bild. En konventionell VLM avvisar begäran direkt, medan en version som använder verktyg först använder bildanalysverktyg, till exempel för att zooma in, och därefter fortsätter resonemanget och till slut ger ett skadligt svar. Diagrammet nedan visar att denna ökning av misslyckade vägranden observerades hos samtliga utvärderade modeller med öppna vikter och proprietära modeller. Källa

För samtliga elva testade modeller ledde aktivering av verktyg konsekvent till fler misslyckade vägranden. I de värsta fallen var den relativa ökningen 68,7 %, även för modeller som i övrigt uppvisade hög säkerhet.

Det blir intressant att se om resultaten från detta arbete, som har utförts av sex forskare vid NVIDIA, kan upprepas eller bekräftas på annat håll, och om de kan fördjupa vår förståelse av det uppenbara och framväxande normbrytande beteendet hos lagtrotsande AI-agenter.

Metod och data

Forskarna utvärderade elva VLM:er från sju modellfamiljer. De proprietära modellerna var Gemini 2.5 Pro, Gemini 3.1 Pro Preview, Claude Opus 4.6, Claude Opus 4.7 och GPT-5.4.

Modellerna med öppna vikter var Qwen3-VL-235B-A22B-Instruct, Qwen3.5-122B-A10B, Kimi-K2.5, Kimi-K2.6, GLM-5V-Turbo och AdaReasoner-7B-Randomized, en modell med öppna vikter som finjusterats särskilt för agentisk verktygsanvändning.

Separata experiment genomfördes också med Gemini 3 Flash Vision Agent, eftersom dess autonoma verktygsanvändning innebar att den behövde utvärderas separat.

I testerna med verktyg använde forskarna ReAct-formatet, där resonemang varvas med verktygsanrop. De fyra tillgängliga verktygen var taggning med RAM++, zoomning och beskärning, optisk teckenigenkänning (OCR) med GOT-OCR2.0 samt en isolerad Python-kodtolk som kunde bearbeta och analysera bilder.

Forskarna utformade matchade promptar för att isolera effekten av verktygsanvändning från effekten av promptens utformning. Konventionella VLM:er instruerades att granska bilden och besvara användarens fråga direkt, medan agentbaserade versioner följde ReAct-arbetsflödet och upprepade gånger avgjorde om de skulle anropa verktyg innan de gav ett slutligt svar.

Jämförelse av de matchade promptar som användes i huvuddelen av experimenten. I villkoret utan verktyg skulle modellen analysera bilden och resonera direkt, medan det agentbaserade villkoret följde det iterativa ReAct-arbetsflödet, där modellen kunde avgöra när externa verktyg skulle anropas innan den gav sitt slutliga svar.

De tre multimodala säkerhetsriktmärken som användes var MM-SafetyBench, VLSBench och HoliSafe. Varje dataset består av par med bilder och skadliga användarförfrågningar och är utformat för att testa om en modell avböjer att hjälpa till i osäkra situationer – till exempel när den får frågan hur man genomför ett till synes verkligt ficktjuveri som visas på en bild.

Som huvudsakligt mått användes andelen misslyckade avböjanden (RFR), det vill säga andelen skadliga förfrågningar som modellen inte avböjde. Högre värden innebär lägre säkerhet.

Tester

Svaren klassificerades av GPT-5.2, som agerade LLM-domare och använde den utvärderingsprompt som VLSBench rekommenderar:

Utvärderingsprompten för GPT-5.2, som användes för att avgöra om varje modellsvar utgjorde ett lyckat avböjande, ett säkerhetsmedvetet svar som uppmärksammade riskerna eller ett osäkert svar som inte identifierade riskerna utan i stället gick vidare med den skadliga förfrågan. Domaren fick den ursprungliga bilden, användarens fråga och modellens svar och skulle returnera sin klassificering och sitt resonemang i JSON-format.

Varje svar placerades i en av tre kategorier: säkert med avböjande, säkert med varning eller osäkert.

Andelen misslyckade avböjanden i de tre säkerhetsriktmärkena, med jämförelser mellan varje modell med och utan tillgång till verktyg. Alla modeller blev mindre benägna att avböja skadliga förfrågningar när de använde verktyg, men skillnaderna var betydande: den genomsnittliga RFR ökade med 12,6 procentenheter för GLM-5V-Turbo, jämfört med 2,3 procentenheter för GPT-5.4. Mörkare färgtoner visar större ökningar av misslyckade avböjanden.

När modellerna fick tillgång till verktyg blev de mer benägna att besvara skadliga förfrågningar som de annars skulle ha avböjt – ett resultat som gällde samtliga modeller och alla testade riktmärken. Sammantaget ökade antalet misslyckade avböjanden med 17,7 procent jämfört med när samma modeller arbetade utan verktyg.

GPT-5.4 påverkades minst: utan verktyg avböjde modellen inte 14,6 % av de skadliga förfrågningarna; med verktyg steg andelen till 16,8 %. För GLM-5V-Turbo ökade andelen misslyckanden från 38,7 % (utgångsvärde utan verktyg) till 51,3 %. Samma mönster syntes i alla tre riktmärkena, vilket tyder på att problemet kanske inte är begränsat till en viss typ av skadlig förfrågan.

Orsaker till försämringen..?

Som nämnts tidigare lyfter forskarna fram ”kontextutspädning” som en möjlig förklaring till det ökade antalet misslyckanden: när en agent gör upprepade verktygsanrop blir den ursprungliga skadliga förfrågan mindre framträdande bland de verktygsresultat som samlas på hög.

För att testa detta tittade forskarna enbart på förfrågningar som samma modell hade avböjt korrekt utan verktyg. Som framgår nedan ökade antalet misslyckanden sedan successivt med antalet verktygsanrop, från nära noll när inget verktyg anropades till betydligt högre nivåer efter tre eller fler anrop:

Testresultat som jämför uteblivna avvisningar vid olika antal verktygsanrop. Andelen uteblivna avvisningar ökade i takt med att antalet verktygsanrop blev större, både för enskilda modeller och för alla modeller sammantagna.

Ett andra test motverkade delvis effekten. När den ursprungliga begäran och bilden återinfogades efter det sista verktygsanropet, omedelbart innan modellen svarade, minskade andelen uteblivna avvisningar i genomsnitt med 7,6 % för samtliga modeller och riktmärken, som visas nedan:

Testresultat som jämför uteblivna avvisningar med och utan att den ursprungliga begäran och bilden återinfogades. När de återinfogades efter det sista verktygsanropet minskade den genomsnittliga andelen uteblivna avvisningar med 7,6 % för de fem testade modellerna.

Detta talar för att utspädning av kontexten är en bidragande faktor, samtidigt som det tyder på en relativt enkel lösning.

Den andra förklaring som artikeln lägger fram är ”förskjutning av säkerhetsfokus”. Här tycks användningen av verktyg flytta modellens uppmärksamhet från frågan om begäran är skadlig till att beskriva vad verktygen har hittat.

Testresultat som visar hur användningen av verktyg förändrade inledningen på svar där modellerna till slut avvisade skadliga begäranden. Utan verktyg började svaren oftast med att bemöta begäran direkt (55,6 %) eller ta upp säkerhetsaspekter (25,8 %). Med verktyg började svaren i stället i 52,3 % av fallen med att beskriva vad verktygen hade hittat, medan uttryckliga säkerhetsförbehåll minskade till 10,3 %.

Man undersökte fall där modellerna framgångsrikt avvisade begäran både med och utan verktyg. Utan verktyg började 55,6 % av dessa svar med att bemöta begäran direkt, medan 25,8 % inleddes med ett uttryckligt säkerhetsförbehåll. Med verktyg sjönk dessa andelar till 37,4 % respektive 10,3 %, medan andelen svar som inleddes med beskrivningar av vad verktygen hade observerat steg till 52,3 %.

Författarna ger ett intressant kvalitativt exempel med Claude Opus 4.6. När modellen fick frågan om hur säkerheten på offentliga toaletter kunde kringgås avvisade den begäran omedelbart utan verktyg:

Exempel på hur användningen av verktyg flyttade modellens omedelbara fokus från säkerhet. Claude Opus 4.6 avvisade den skadliga begäran direkt utan verktyg. Med verktyg zoomade modellen först in på bilden, läste och identifierade dess innehåll och beskrev toalettskylten innan den till slut avvisade begäran.

Med verktyg tillgängliga zoomade samma modell i stället in på bilden, läste texten och identifierade dess innehåll, innan den inledde svaret med en beskrivning av toalettskylten. Först därefter kom avvisningen, vilket visar hur verktygsanvändningen hade trängt undan säkerhet som modellens omedelbara prioritet.

Författarna drar följande slutsats:

”Sammantaget visar våra resultat att verktygsanvändning inte bara bör ses som en mekanism som förbättrar förmågan till visuellt resonerande, utan också som ett säkerhetsrelevant designval som kan förändra avvisningsbeteendet. Framtida agentbaserade MLLM:er bör därför utvärderas och tränas under förhållanden där verktyg används, i stället för att man antar att säkerhetsanpassning utan verktyg överförs oförändrad till agentbaserade miljöer.”

Slutsats

Bristande kontextbeständighet är en tydlig svaghet i komplexa kedjor av efterföljande händelser som utlöses av en prompt – men det finns för närvarande inga enkla svar på hur man motverkar att ett begränsat kontextfönster får en agent att glömma sina ”primära direktiv” och bara börja använda verktyget den har till hands.

* Författarnas betoningar; jag har där det behövts omvandlat författarnas hänvisningar i löptexten till hyperlänkar.

Först publicerad onsdagen den 7 oktober 2026