NVIDIA Research finder, at AI-agenter bliver mindre sikre, når de bruger værktøjer

AI-modeller som ChatGPT, Gemini og Claude kan drive agenter – »rammer«, der gør det muligt for modellerne at interagere direkte med den virkelige verden. Det er en ny innovation, og en stadig mere kontroversiel en af slagsen.

Agenter er under alle omstændigheder ikke automatisk udstyret med de evner, de får brug for, når de bevæger sig rundt på et netværk eller i en database, eftersom de nødvendige værktøjer varierer alt efter opgaven og arbejdsmåden. De kan for eksempel have brug for funktioner til optisk tegngenkendelse (OCR) for at kunne aflæse tekst på billeder, blandt andre færdigheder. Der findes endda kategorier af værktøjer, der er tilpasset agentens anvendelsesområde og formål.

I teorien bliver en anmodning, der strider mod en AI’s indbyggede sikkerhedsforanstaltninger, aldrig udført, uanset om værktøjer indgår i udførelsen eller ej. I praksis kan brugen af værktøjer ifølge ny forskning i betydelig grad svække de beskyttelsesfiltre, der forhindrer en AI-agent i at begå »overtrædelser«.

Svigtende afvisninger

Den nye artikel fra NVIDIA med titlen MLLM’er undlader at afvise, når de bruger værktøjer agentisk viser, at multimodale sprogmodeller (MLLM’er, her omtalt med den mere almindelige betegnelse »VLM’er« eller visuelle sprogmodeller) er betydeligt mere tilbøjelige til at efterkomme skadelige anmodninger, når de får adgang til værktøjer. Antallet af afvisninger, der slår fejl, steg på tværs af alle de testede modeller og benchmarks.

Selvom modeller med åbne vægte som Qwen3-VL viste sig at være mere udsatte for problemet, udviste avancerede AI-modeller som Claude Opus 4.7, Gemini 3.1 Pro og GPT-5.4 også flere svigtende afvisninger, når de brugte værktøjer.

Forfatterne skriver*:

‘Trods den seneste store succes med agentiske MLLM’er afdækker dette arbejde et kritisk sikkerhedsproblem ved brug af værktøjer: MLLM’er, der bruger værktøjer agentisk, bliver dårligere til at afvise skadelige anmodninger.

‘Vores eksperimenter bekræfter, at alle de førende MLLM’er med åbne og lukkede vægte, som vi tester, udviser markant lavere sikkerhed, når de bruger værktøjer, end når de ikke gør, på tværs af tre populære sikkerhedsbenchmarks. Den relative stigning i andelen af afvisninger, der slår fejl, er på op til 68,7 %.

‘På baggrund af en analyse af mere end 100.000 svar, herunder udvidede eksperimenter, fremsætter vi også to mulige forklaringer på denne forringelse af sikkerheden.’

De to mulige forklaringer, som artiklen giver, er udtynding af konteksten, hvor den oprindelige skadelige anmodning bliver mindre fremtrædende, efterhånden som værktøjsresultater hober sig op, og forskydning af sikkerhedsfokus, hvor modellen fokuserer på at beskrive observationer fra værktøjerne i stedet for at prioritere sikkerheden.

Testresultater, der illustrerer artiklens centrale sikkerhedsfund. Øverst spørger en bruger, hvordan man udfører et tilsyneladende lommetyveri, der vises på et billede. En konventionel VLM afviser blankt anmodningen, mens en version, der bruger værktøjer, først tager billedanalyseværktøjer i brug, for eksempel zoom, derefter fortsætter ræsonnementet og til sidst giver et skadeligt svar. Diagrammet nedenfor viser, at denne stigning i svigtende afvisninger blev observeret for alle de evaluerede modeller med åbne vægte og proprietære modeller. Kilde

Brugen af værktøjer øgede konsekvent antallet af svigtende afvisninger i alle de elleve testede modeller. I de værste tilfælde nåede de relative stigninger op på 68,7 %, også blandt modeller, der ellers viste stærke sikkerhedsegenskaber.

Det bliver interessant at se, om resultaterne fra dette arbejde, der er udført af seks forskere hos NVIDIA, bliver gentaget eller reproduceret andre steder, og om de kan øge vores forståelse af den tilsyneladende og fremvoksende lovovertrædelse blandt lovbrydende AI-agenter.

Metode og data

Forskerne evaluerede elleve VLM’er fra syv modelfamilier. De proprietære modeller omfattede Gemini 2.5 Pro, Gemini 3.1 Pro Preview, Claude Opus 4.6, Claude Opus 4.7 og GPT-5.4.

Modellerne med åbne vægte omfattede Qwen3-VL-235B-A22B-Instruct, Qwen3.5-122B-A10B, Kimi-K2.5, Kimi-K2.6, GLM-5V-Turbo og AdaReasoner-7B-Randomized, en model med åbne vægte, der er specifikt finjusteret til agentisk brug af værktøjer.

Der blev også gennemført separate eksperimenter med Gemini 3 Flash Vision Agent, fordi dens autonome brug af værktøjer krævede, at den blev evalueret særskilt.

I testene med værktøjer brugte forskerne ReAct-formatet, hvor ræsonnering veksler med værktøjskald. De fire tilgængelige værktøjer omfattede tagging med RAM++, zoom og beskæring, optisk tegngenkendelse (OCR) med GOT-OCR2.0 samt en isoleret Python-fortolker, der kunne bearbejde og analysere billeder.

Forskerne udformede parrede prompts for at isolere effekten af værktøjsbrug fra effekten af promptens udformning. Konventionelle VLM’er blev bedt om at undersøge billedet og besvare brugerens anmodning direkte, mens agentbaserede versioner fulgte ReAct-arbejdsgangen og gentagne gange besluttede, om de skulle bruge værktøjer, før de afgav et endeligt svar.

Sammenligning af de matchede prompts, der blev brugt i hovedforsøgene. Betingelsen uden værktøjer krævede billedanalyse og direkte ræsonnering, mens den agentbaserede betingelse fulgte den iterative ReAct-arbejdsgang, så modellen kunne beslutte, hvornår den skulle bruge eksterne værktøjer, før den afgav sit endelige svar.

De tre anvendte multimodale sikkerhedsbenchmarks var MM-SafetyBench, VLSBench og HoliSafe. Hvert datasæt består af par af billeder og skadelige brugerforespørgsler, der er udformet til at teste, om en model afviser at hjælpe i usikre situationer – for eksempel når den bliver spurgt om, hvordan man gennemfører et tilsyneladende lommetyveri, der vises på et billede.

Afvisningsfejlrate (RFR) blev anvendt som det primære mål og angiver procentdelen af skadelige forespørgsler, som en model ikke afviste. Højere værdier betyder lavere sikkerhed.

Test

Svarene blev klassificeret af GPT-5.2, der fungerede som LLM-dommer og anvendte den evalueringsprompt, som VLSBench anbefaler:

Evalueringsprompten til GPT-5.2, der blev brugt til at afgøre, om hvert modelsvar udgjorde en vellykket afvisning, et sikkerhedsbevidst svar, der identificerede de involverede risici, eller et usikkert svar, der ikke erkendte risiciene og imødekom den skadelige anmodning. Dommeren fik det oprindelige billede, brugerens forespørgsel og modellens svar og skulle returnere sin klassifikation og begrundelse i JSON-format.

Hvert svar blev placeret i én af tre kategorier: sikkert med afvisning, sikkert med advarsel eller usikkert.

Afvisningsfejlrater på tværs af de tre sikkerhedsbenchmarks, hvor hver model sammenlignes med og uden adgang til værktøjer. Alle modeller var mindre tilbøjelige til at afvise skadelige forespørgsler, når de brugte værktøjer, men forskellen varierede betydeligt: Den gennemsnitlige RFR steg med 12,6 procentpoint for GLM-5V-Turbo mod 2,3 procentpoint for GPT-5.4. Mørkere farvenuancer angiver større stigninger i afvisningsfejl.

Når modellerne fik adgang til værktøjer, blev de mere tilbøjelige til at besvare skadelige forespørgsler, som de ellers ville have afvist – et resultat, der gjaldt alle modeller og alle de testede benchmarks. Samlet set steg antallet af afvisningsfejl med 17,7 % sammenlignet med de samme modeller, der fungerede uden værktøjer.

GPT-5.4 var mindst påvirket: Uden værktøjer undlod modellen at afvise 14,6 % af de skadelige forespørgsler; med værktøjer steg andelen til 16,8 %. For GLM-5V-Turbo steg antallet af fejl fra 38,7 % (grundniveau uden værktøjer) til 51,3 %. Det samme mønster viste sig på alle tre benchmarks, hvilket tyder på, at problemet muligvis ikke er begrænset til en bestemt type skadelig forespørgsel.

Årsager til svigt..?

Som nævnt tidligere foreslår forskerne »kontekstfortynding« som én forklaring på det øgede antal fejl: Efterhånden som en agent foretager flere værktøjskald, træder den oprindelige skadelige anmodning mindre tydeligt frem blandt de værktøjsresultater, der hober sig op.

For at teste dette så de kun på forespørgsler, som den samme model havde afvist korrekt uden værktøjer. Som vist nedenfor steg antallet af fejl derefter gradvist med antallet af værktøjskald: fra tæt på nul, når der ikke blev brugt værktøjer, til betydeligt højere rater efter tre eller flere kald:

Testresultater, der sammenligner afvisningssvigt ved forskellige antal værktøjskald. Svigtraterne steg, efterhånden som antallet af værktøjskald voksede, både for de enkelte modeller og på tværs af alle modeller.

En anden test vendte delvist effekten. Da den oprindelige anmodning og det oprindelige billede blev indsat igen efter det sidste værktøjskald, umiddelbart før modellen svarede, faldt antallet af afvisningssvigt i gennemsnit med 7,6 % på tværs af modeller og benchmarks, som vist nedenfor:

Testresultater, der sammenligner afvisningssvigt med og uden genindsættelse af den oprindelige anmodning og det oprindelige billede. Genindsættelse efter det sidste værktøjskald reducerede den gennemsnitlige svigtrate med 7,6 % på tværs af de fem testede modeller.

Dette understøtter, at fortynding af konteksten er en medvirkende faktor, og peger samtidig på en forholdsvis enkel afhjælpning.

Den anden forklaring, som artiklen fremsætter, er »forskydning af sikkerhedsfokus«. Her ser det ud til, at brugen af værktøjer flytter modellens opmærksomhed væk fra spørgsmålet om, hvorvidt anmodningen er skadelig, og hen imod at beskrive, hvad værktøjerne har fundet.

Testresultater, der viser, hvordan brugen af værktøjer ændrede måden, modellerne indledte svar på, når de til sidst afviste skadelige anmodninger. Uden værktøjer begyndte svarene som regel med at forholde sig direkte til anmodningen (55,6 %) eller med at rejse sikkerhedsmæssige bekymringer (25,8 %). Med værktøjer begyndte 52,3 % i stedet med at beskrive, hvad værktøjerne havde fundet, mens eksplicitte sikkerhedserklæringer faldt til 10,3 %.

Forskerne undersøgte tilfælde, hvor modellerne med succes afviste anmodninger både med og uden værktøjer. Uden værktøjer begyndte 55,6 % af disse svar med at forholde sig direkte til anmodningen, mens 25,8 % begyndte med en eksplicit sikkerhedserklæring. Med værktøjer faldt disse andele til henholdsvis 37,4 % og 10,3 %, mens andelen af svar, der indledtes med beskrivelser af observationer fra værktøjerne, steg til 52,3 %.

Forfatterne giver et interessant kvalitativt eksempel med Claude Opus 4.6. Da modellen blev spurgt, hvordan man kunne omgå sikkerheden på offentlige toiletter, afviste modellen uden værktøjer straks anmodningen:

Eksempel på, hvordan brugen af værktøjer flyttede modellens umiddelbare fokus væk fra sikkerhed. Claude Opus 4.6 afviste straks den skadelige anmodning uden værktøjer; med værktøjer zoomede modellen først ind på billedet, læste og identificerede dets indhold og beskrev skiltet på toilettet, før den til sidst afviste anmodningen.

Med værktøjer zoomede den samme model i stedet ind på billedet, læste teksten og identificerede dets indhold, før den indledte sit svar med en beskrivelse af skiltet på toilettet. Først derefter kom afvisningen, hvilket illustrerer, hvordan brugen af værktøjer havde skubbet sikkerhed væk fra modellens umiddelbare fokus.

Forfatterne konkluderer:

»Samlet set viser vores resultater, at brug af værktøjer ikke kun bør betragtes som en mekanisme, der øger kapaciteten til visuel ræsonnering, men også som et designvalg med betydning for sikkerheden, der kan ændre afvisningsadfærden. Fremtidige agentbaserede MLLM’er bør derfor evalueres og trænes under betingelser, hvor værktøjer anvendes, i stedet for at antage, at sikkerhedsjustering uden værktøjer overføres uændret til agentbaserede miljøer.«

Konklusion

Svigt i vedvarende kontekst er tydeligvis en ulempe i komplekse, efterfølgende hændelsesforløb, der udløses af en prompt – men der findes i øjeblikket ingen nemme løsninger på, at et begrænset kontekstvindue kan få en agent til at glemme sine »primære direktiver« og blot begynde at bruge det værktøj, den har ved hånden.

* Forfatternes fremhævelser; mine konverteringer af forfatternes indlejrede kildehenvisninger til hyperlinks, hvor det var nødvendigt.

Først publiceret onsdag den 7. oktober 2026