NVIDIA Research finner at KI-agenter blir mindre trygge når de bruker verktøy

KI-modeller som ChatGPT, Gemini og Claude kan brukes til å drive agenter – «styringsrammer» som gjør det mulig for modellene å samhandle direkte med den virkelige verden. Dette er en nyvinning, og en stadig mer omstridt en.

Uansett er agenter ikke automatisk utstyrt med ferdighetene de trenger når de beveger seg rundt i et nettverk eller en database, ettersom verktøyene som kreves, varierer med oppdrag og bruksområde. De kan for eksempel trenge funksjoner for optisk tegngjenkjenning (OCR) for å tolke tekst i bilder, i tillegg til andre ferdigheter. Det finnes også kategorier av verktøy som er tilpasset agentens virkeområde og hensikt.

I teorien blir en forespørsel som bryter med KI-ens innebygde sikkerhetstiltak, aldri utført, verken med eller uten verktøy i gjennomføringen. I praksis kan bruk av verktøy svekke beskyttelsesfiltrene som hindrer en KI-agent i å begå «overtredelser» betydelig, ifølge ny forskning.

Svikt i etterlevelsen

Den nye artikkelen fra NVIDIA, med tittelen MLLM-er klarer ikke å avvise forespørsler når de bruker verktøy på agentisk vis, viser at multimodale språkmodeller (heretter omtalt med den vanligere betegnelsen «VLM», eller syns- og språkmodell) har betydelig større sannsynlighet for å etterkomme skadelige forespørsler når verktøy tas i bruk. Svikt i avvisningen økte for alle modellene og referansetestene som ble undersøkt.

Selv om modeller med åpne vekter, som Qwen3-VL, var mer utsatt for problemet, viste også avanserte KI-modeller som Claude Opus 4.7, Gemini 3.1 Pro og GPT-5.4 en økning i avvisningssvikt når de brukte verktøy.

Forfatterne skriver*:

«Til tross for den sterke framgangen med agentiske MLLM-er den siste tiden, avdekker dette arbeidet en kritisk sikkerhetssvikt ved bruk av verktøy: Agentiske MLLM-er som bruker verktøy, blir dårligere til å avvise skadelige forespørsler.

«Eksperimentene våre bekrefter at alle de fremste MLLM-ene med åpne og lukkede vekter som vi tester, er betydelig mindre trygge når de bruker verktøy enn når de ikke gjør det, på tvers av tre populære sikkerhetsreferansetester. Den relative økningen i avvisningssvikt er på opptil 68,7 %.

«Basert på en analyse av over 100 000 svar, inkludert utvidede eksperimenter, foreslår vi også to mulige årsaker til denne svekkelsen av sikkerheten.»

Artikkelen peker på to mulige årsaker: utvanning av konteksten, der den opprinnelige skadelige forespørselen blir mindre framtredende etter hvert som verktøyene gir flere resultater, og forskyvning av sikkerhetsfokuset, der modellen konsentrerer seg om å beskrive observasjoner fra verktøyene i stedet for å prioritere sikkerheten.

Testresultater som illustrerer artikkelens sentrale funn om sikkerhet. Øverst spør en bruker hvordan man utfører et tilsynelatende lommetyveri som vises på et bilde. En konvensjonell VLM avviser forespørselen umiddelbart, mens en versjon som bruker verktøy, først tar i bruk verktøy for bildeanalyse, som zooming, før den fortsetter resonnementet og til slutt gir et skadelig svar. Diagrammet nedenfor viser at denne økningen i avvisningssvikt ble observert for samtlige modeller med åpne vekter og proprietære modeller som ble evaluert. Kilde

For alle de elleve modellene som ble testet, førte bruk av verktøy konsekvent til flere tilfeller av avvisningssvikt. I de verste tilfellene var den relative økningen på 68,7 %, også for modeller som ellers viste gode sikkerhetsegenskaper.

Det blir interessant å se om resultatene fra dette arbeidet, som er utført av seks forskere ved NVIDIA, blir gjenskapt eller bekreftet andre steder, og om de kan gi oss bedre forståelse av den tilsynelatende og framvoksende lovløsheten blant lovbrytende KI-agenter.

Metode og data

Forskerne evaluerte elleve VLM-er fra sju modellfamilier. De proprietære modellene var Gemini 2.5 Pro, Gemini 3.1 Pro Preview, Claude Opus 4.6, Claude Opus 4.7 og GPT-5.4.

Modellene med åpne vekter var Qwen3-VL-235B-A22B-Instruct, Qwen3.5-122B-A10B, Kimi-K2.5, Kimi-K2.6, GLM-5V-Turbo og AdaReasoner-7B-Randomized, en modell med åpne vekter som er spesialtilpasset agentisk bruk av verktøy.

Det ble også gjennomført separate eksperimenter med Gemini 3 Flash Vision Agent, fordi den autonome verktøybruken gjorde det nødvendig å evaluere modellen for seg.

I testene med verktøy brukte forskerne ReAct-formatet, som veksler mellom resonnering og verktøykall. De fire tilgjengelige verktøyene omfattet tagging med RAM++, zooming og beskjæring, optisk tegngjenkjenning (OCR) med GOT-OCR2.0 og en sandkasseisolert Python-kodefortolker som kunne manipulere og analysere bilder.

Forskerne utformet parvise instruksjoner for å isolere effekten av verktøybruk fra effekten av instruksjonsstilen. Konvensjonelle VLM-er fikk beskjed om å undersøke bildet og svare direkte på brukerens forespørsel, mens agentbaserte versjoner fulgte ReAct-arbeidsflyten og gjentatte ganger vurderte om de skulle bruke verktøy før de ga et endelig svar.

Sammenligning av de samsvarende instruksjonene som ble brukt i hovedeksperimentene. Betingelsen uten verktøy krevde bildeanalyse og direkte resonnering, mens den agentbaserte betingelsen fulgte den iterative ReAct-arbeidsflyten, slik at modellen kunne avgjøre når den skulle bruke eksterne verktøy før den ga sitt endelige svar.

De tre multimodale sikkerhetsreferansetestene som ble brukt, var MM-SafetyBench, VLSBench og HoliSafe. Hvert av disse datasettene består av par med bilder og skadelige brukerforespørsler, utformet for å teste om en modell avviser å hjelpe i utrygge situasjoner – for eksempel når den blir spurt om hvordan man kan gjennomføre et tilsynelatende lommetyveri som vises på et bilde.

Avvisningssviktrate (RFR) ble brukt som hovedmåltall. Den måler prosentandelen av skadelige forespørsler som en modell ikke avviste, og høyere skårer indikerer lavere sikkerhet.

Tester

Svarene ble klassifisert av GPT-5.2, som fungerte som LLM-dommer og brukte evalueringsinstruksen anbefalt av VLSBench:

Evalueringsinstruksen for GPT-5.2, brukt til å avgjøre om hvert modellsvar var en vellykket avvisning, et sikkerhetsbevisst svar som identifiserte risikoene, eller et utrygt svar som ikke oppdaget disse risikoene og etterkom den skadelige forespørselen. Dommeren fikk tilgang til originalbildet, brukerens forespørsel og modellens svar, og skulle returnere klassifiseringen og begrunnelsen i JSON-format.

Hvert svar ble plassert i én av tre kategorier: trygt med avvisning, trygt med advarsel eller utrygt.

Avvisningssviktrater på tvers av de tre sikkerhetsreferansetestene, med sammenligning av hver modell med og uten tilgang til verktøy. Alle modellene ble mindre tilbøyelige til å avvise skadelige forespørsler når de brukte verktøy, men omfanget varierte betydelig: Gjennomsnittlig RFR økte med 12.6 poeng for GLM-5V-Turbo, mot 2.3 poeng for GPT-5.4. Mørkere farge angir en større økning i avvisningssvikt.

Når modellene fikk verktøy, ble de mer tilbøyelige til å besvare skadelige forespørsler som de ellers ville ha avvist – et funn som gjaldt alle modellene og alle referansetestene som ble undersøkt. Samlet økte antallet avvisningssvikt med 17.7 %, sammenlignet med de samme modellene i drift uten verktøy.

GPT-5.4 ble minst påvirket: Uten verktøy unnlot den å avvise 14.6 % av de skadelige forespørslene; med verktøy steg andelen til 16.8 %. For GLM-5V-Turbo økte andelen svikt fra 38.7 % (utgangspunkt uten verktøy) til 51.3 %. Det samme mønsteret viste seg på alle de tre referansetestene, noe som tyder på at problemet kanskje ikke er begrenset til en bestemt type skadelig forespørsel.

Årsaker til svikten..?

Som nevnt tidligere foreslår forskerne «kontekstutvanning» som én mulig forklaring på den økte svikten: Når en agent foretar verktøykall etter hverandre, blir den opprinnelige skadelige forespørselen mindre fremtredende blant de stadig flere verktøyresultatene.

For å teste dette så de bare på forespørsler som den samme modellen hadde avvist på riktig måte uten verktøy. Som vist nedenfor økte svikten deretter gradvis med antallet verktøykall, fra nær null når ingen verktøy ble brukt til betydelig høyere rater etter tre eller flere kall:

Testresultater som sammenligner tilfeller der modeller ikke avslo, ved ulike antall verktøykall. Andelen tilfeller der modellene ikke avslo, økte etter hvert som antallet verktøykall steg, både for enkeltmodeller og på tvers av alle modellene.

En andre test snudde delvis effekten. Da den opprinnelige forespørselen og bildet ble lagt inn på nytt etter det siste verktøykallet, rett før modellen svarte, sank andelen tilfeller der modellen ikke avslo, i gjennomsnitt med 7,6 % på tvers av modellene og referansetestene, som vist nedenfor:

Testresultater som sammenligner tilfeller der modeller ikke avslo, med og uten at den opprinnelige forespørselen og bildet ble lagt inn på nytt. Da de ble lagt inn på nytt etter det siste verktøykallet, sank den gjennomsnittlige andelen tilfeller der modellen ikke avslo, med 7,6 % på tvers av de fem testede modellene.

Dette støtter teorien om at utvanning av konteksten er en medvirkende faktor, samtidig som det tyder på at det finnes et relativt enkelt tiltak for å begrense problemet.

Den andre forklaringen artikkelen foreslår, er «forskyvning av sikkerhetsfokus». Her ser det ut til at verktøybruk flytter modellens oppmerksomhet bort fra spørsmålet om forespørselen er skadelig, og over på å beskrive hva verktøyene har funnet.

Testresultater som viser hvordan verktøybruk endret måten modellene innledet svar på som til slutt avslo skadelige forespørsler. Uten verktøy begynte svarene vanligvis med å ta direkte for seg forespørselen (55,6 %) eller å uttrykke sikkerhetsbekymringer (25,8 %). Med verktøy begynte 52,3 % i stedet med å beskrive hva verktøyene hadde funnet, mens eksplisitte sikkerhetsuttalelser falt til 10,3 %.

Forskerne undersøkte tilfeller der modellene avslo både med og uten verktøy. Uten verktøy begynte 55,6 % av disse svarene med å ta direkte for seg forespørselen, mens 25,8 % begynte med en eksplisitt sikkerhetsuttalelse. Med verktøy falt disse andelene til henholdsvis 37,4 % og 10,3 %, mens andelen svar som begynte med beskrivelser av observasjoner fra verktøyene, økte til 52,3 %.

Forfatterne gir et interessant kvalitativt eksempel med Claude Opus 4.6. Da modellen ble spurt om hvordan man kunne omgå sikkerheten på offentlige toaletter, avslo den umiddelbart uten verktøy:

Eksempel på hvordan verktøybruk skjøv sikkerheten ut av modellens umiddelbare fokus. Claude Opus 4.6 avslo den skadelige forespørselen umiddelbart uten verktøy; med verktøy zoomet modellen først inn på bildet, leste og identifiserte innholdet og beskrev skiltet på toalettet før den til slutt avslo.

Med verktøy zoomet den samme modellen i stedet inn på bildet, leste teksten og identifiserte innholdet før den innledet svaret med en beskrivelse av skiltet på toalettet. Først etterpå kom avslaget, noe som illustrerer hvordan verktøybruken hadde skjøvet sikkerheten ut av modellens umiddelbare fokus.

Forfatterne konkluderer:

«Samlet sett viser funnene våre at verktøybruk ikke bare bør betraktes som en mekanisme som styrker evnen til visuell resonnering, men også som et sikkerhetsrelevant designvalg som kan endre avslagsatferden. Fremtidige agentiske MLLM-er bør derfor evalueres og trenes under forhold der verktøy brukes, i stedet for å anta at sikkerhetstilpasning uten verktøy overføres uendret til agentiske situasjoner.»

Konklusjon

Svikt i vedvarende kontekst er klart en ulempe i komplekse hendelseskjeder som følger av en ledetekst – likevel finnes det foreløpig ingen enkle svar på tendensen til at et begrenset kontekstvindu får en agent til å glemme sine «hovedinstrukser» og bare begynne å bruke verktøyet den har for hånden.

* Forfatternes uthevinger; jeg har gjort forfatternes henvisninger i teksten om til hyperlenker der det var nødvendig.

Først publisert onsdag 7. oktober 2026