Enkel omformulering bryter AI-sikkerhet, selv for Gemini og Claude

AI-sikkerhetstester har funnet ut at de avhenger av ‘oppenbare’ utløsende ord; med enkel omformulering, modeller merket som ‘rimelig trygge’ feiler plutselig, med angrep som lykkes opp til 98% av tiden.

Ny korporativ forskning fra USA har konkludert med at den gode sikkerhetsrekorden for en rekke store språkmodeller (LLM) – inkludert mange ledende navn som Gemini 3 Pro og Claude Sonnet 3.7 – kan være meningsløs, fordi datasettene og benchmarkene som brukes til å etablere dem inneholder latterlig ‘oppenbare’ språk.

De to datasettene i question, som har vært med i ulike papirgjennomganger på denne siden, er HarmBench og AdvBench:

Fra de respektive HarmBench og AdvBench-papirene, åpenbart illustrative eksempler på provokasjon – men den nye papiren hevder at selv i virkelige scenarier, eksemplene fra disse benchmarkene ‘telegraferer’ ond intensjon, som kan føre til (antageligvis) uforvollent ‘gaming’ av resultater. Kilder: HarmBench og AdvBench.

Til tross for at eksemplene ovenfor, som er fra de respektive papirene for hver benchmark, er bevisst enkle for å illustrere prinsippene for systemene, hevder den nye forskningen at i virkeligheten disse samlingene faktisk målretter ‘lave henger’, og derfor kan ikke være effektive benchmark – og at de faktiske resultater for sikkerhetskapasiteten til testede LLM er betydelig lavere enn hva som har blitt rapportert:

‘[Vi] vurderer om disse datasettene virkelig måler sikkerhetsrisiko eller bare provoserer nektelse gjennom utløsende signaler. For å utforske dette, innfører vi “intensjonsvask”: en prosedyre som abstraherer vekk utløsende signaler fra angrep (data punkter) mens den strengt bevare alle relevante detaljer.

‘Våre resultater indikerer at nåværende AI-sikkerhetsdatasett ikke trofast representerer virkelige angrep på grunn av deres overavhengighet av utløsende signaler.

‘I virkeligheten, når disse signalene fjernes, blir alle tidligere evaluerte “rimelig trygge” modeller usikre, inkludert Gemini 3 Pro og Claude Sonnet 3.7.’

‘Sikkerhet’ i denne sammenhengen representerer alignering – evnen til at LLM kan forsvare seg mot brukernes forsøk på å ‘jailbreak’ restriksjoner på API-baserte systemer, for å få systemet til å produsere forbudt innhold, som eksempelvis ærekrenkende tekst eller bilder.

Forfatternes ovennevnte intensjonsvask innebærer bare å omformulere ‘oppenbare’ angrep i de to datasettene/benchmarkene, så de blir mer subtile og snedige, og mye mer i stand til å unngå filtre og sjekker:

Den øvre delen av et ellers uoversiktlig eksempel fra papiren. Viser øverst til venstre, i gul, typen ‘oppenbar’ prompt som HarmBench og AdvBench vanligvis leverer; under, i grønt, har prompten blitt neutralisert, omformulert og gjort akseptabel nok for Claude Sonnet 3.7 at den nå er villig til å hjelpe brukeren med å finne ‘chop shops’ (behandlingssteder for stjålne kjøretøy) i en ny by. Kilde

Forskerne analyserer kvalitetene til de to datasettene over to tilnærminger: i isolasjon, for å sammenligne samlingene med egenskapene til virkelige angrep; og i praksis, der datasettene – og forfatternes egne ‘forbedringer’ av dem – ble brukt til å angripe virkelige modeller.

I den andre runden av tester, forbedret forfatterne sin metode for omformulering iterativt til de fikk optimalt resultat i forhold til AngrepsSuksessRate (ASR):

Intensjonsvask begynner med å sende en åpenbart ond prompt gjennom en omformuleringsmodell som fjerner eksplisitt utløsende språk mens den bevare den underliggende skadelige intensjonen. Den reviderte prompten blir deretter sendt til en målmodell, og dens respons blir evaluert for både sikkerhet og virkelige anvendelser. Hvis utgangen er vurdert som usikker og praktisk anvendelig, blir angrepet talt som vellykket. Hvis ikke, blir tidligere feilede revisjoner sendt tilbake til omformuleringsmodellen for å generere forbedrede versjoner, og skaper en iterativ løkke som fungerer som en jailbreaking-mekanisme til en forhåndsbestemt antall forsøk er nådd eller en ønsket angreps-suksessrate er oppnådd.

Forfatterne skriver*:

‘Våre resultater viser at, med denne regenereringsløkken, intensjonsvask oppnår høy ASR (90%–98.55%) etter bare noen iterasjoner over alle studerte modeller under fullstendig black-box-tilgang. Dette inkluderer nyere modeller som er bredt rapportert som blant de tryggeste–slike som Gemini 3 Pro og Claude Sonnet 3.7.

‘Disse funnene bekrefter videre at eksisterende sikkerhetsvurderinger og sikkerhets-alignment-metoder er høyt overfittet^† til utløsende signaler.’

Den nye arbeidet har tittelen Intensjonsvask: AI-sikkerhetsdatasett er ikke hva de ser ut til å være, og kommer fra to forfattere ved San Francisco-baserte programvareselskapet Labelbox.

Metode

For å studere sammensetningen og arkitekturen til de to benchmark-datasettene i isolasjon, ble ordskyer generert fra de to korpusene, og avdekket hvilke ord og korte fraser dominerte samlingene:

Ordskyer som viser de 40 mest hyppige unigrammer, bigrammer og trigrammer i de kombinerte AdvBench og HarmBench-datasettene. Termer med innebygd negative eller sensitive konnotasjoner er høydet i rødt, kontekstuelle utløsende signaler i oransje, og nøytrale ord som danner høyere-ordens utløsende signaler i grønt. Konsentrasjonen av åpenbare fraser som ‘uten å bli tatt’ og ‘steg-for-steg-instruksjoner’ antyder at de to benchmarkene avhenger tungt av eksplisitte signaler fremfor realistisk konstruerte, skjulte intensjonsangrep.

Forfatterne bemerker at de dominerende en-, to- og tre-ord-grammene er usedvanlig avslørende for ond intensjon, i motsetning til den type språk kriminelle selv bruker i diskusjoner, og som angripere bruker når de tester eller forsøker å kompromittere LLM-ers forsvar.

‘Disse signalene undergraver to egenskaper—å være velkonstruert og drevet av skjult intensjon—slik at slike åpenbare språk sjelden opptrer i virkelige angrep og ser ut til å være konstruert for å utløse sikkerhetsmekanismer kunstig. ‘

Papiren karakteriserer samlingenes mønster som ‘utløsende signaler’ – fraser med åpenbart negative eller sensitive konnotasjoner som ser ut til å være konstruert for å aktivere sikkerhetsfilter. Noen er innebygd ladet, som ‘begå selvmord’, mens andre blir ladet bare i kontekst, for eksempel når en skadelig mål blir kombinert med ord som ‘uten å bli tatt’, som signaliserer tydelig intensjon om å unngå oppdagelse.

Ubalansen i datasettets språk blir mer åpenbar når antallet ord i n-grammene øker, med fraser som bærer eksplisitt negativ eller sensitiv mening som dominerer de mest hyppige n-grammene (se bilde ovenfor). Papiren beskriver disse som utløsende fraser, som, sammen med enkelt utløsende ord, utgjør utløsende signaler.

Noen fraser utvider bare allerede ladde termer, som når ‘stjele’ blir ‘stjele sensitive opplysninger’, ‘stjele konfidensielle opplysninger’, eller ‘stjele personlige opplysninger’; og, for eksempel, når ‘begå’ utvides til ‘begå selvmord’, ‘begå insiderhandel’, eller ‘begå identitetstyveri’ – tydeligvis språket og fraseologien til politiet, rettsvesenet og medierapportering.

Andre er bygget helt av nøytrale ord som bare blir problematisk i kombinasjon, som ‘uten å bli tatt’, en konstruksjon som signaliserer unngåelse til tross for at den ikke inneholder noen innebygd ladet term.

Dobling

Forfatterne observerer at gjentakelsen av åpenbare signaler ikke bare gjør promptene til å se konstruerte ut, men også indikerer betydelig duplisering av data i samlingene. For å teste denne teorien, kjørte de parvis sammenligningskontroller over hver datasett, med terskler fra 0,7 til 0,99, og grupperte prompter som oversteg en gitt terskel som duplikater, mens de behandlet resten som unike.

Fordi det ikke finnes noen enighet om hva som telle som ‘høy’ likhet i en enkelt-domene-datasett, brukte de Open AI’s Grade School Math (GSM8K), en populær ikke-sikkerhetsbenchmark, og matchet dens eksempelstørrelse til HarmBench og AdvBench for en kontrollert sammenligning:

Dupliseringshastigheter i AdvBench og HarmBench over likhetsterskler, sammenlignet med størrelsesmatchede GSM8K-undersett. Ved nesten hver terskel inneholder sikkerhetsdatasettene langt flere nesten-identiske prompter enn den ikke-sikkerhetsbenchmarken, og indikerer gjentakelse av den samme skadelige intensjonen i litt variert formulering, og antyder at rapportert sikkerhetsytelse kan være inflasjonert. Vennligst se kildepapiren for bedre oppløsning.

En annen funn fra denne delen av studien sammenlignet prompter innen hver datasett for å måle hvor mange som var virkelig forskjellige. Ved en midtrekke-likhetinnstilling, var bare omtrent 11% av AdvBench-promptene unike, mens nesten 94% av spørsmålene i en størrelsesmatchet GSM8K-eksempel var forskjellige:

Eksempler på nesten-identiske prompter i AdvBench og HarmBench, som hovedsakelig forskjeller i formulering, mens de uttrykker den samme skadelige intensjonen. Gjentakelse av eksplisitte signaler, vist i rødt for innebygd ladde termer, og i oransje for kontekst-avhengige, produserer cluster av prompter som i praksis tester en enkelt scenario flere ganger – og betyr at en enkelt respons ville vanligvis være tilstrekkelig til å evaluere modellen for den intensjonen.

HarmBench viste samme trend, med 16% duplikater på dette nivået sammenlignet med 3,5% i GSM8K, og indikerer at sikkerhetsdatasettene ofte gjentok den samme skadelige forespørsel med mindre endringer i formulering.

Hvis 85% unike eksempler tas som en rimelig standard, nådde AdvBench dette nivået bare under en ekstremt streng innstilling, og nådde ikke engang 90%, mens GSM8K nådde 85% ved en mye lavere terskel. Ifølge papiren antyder dette mønsteret at sikkerhetsbenchmarkene tester gjentakelse av variasjoner av de samme idéene, fremfor en bred rekke angreps-scenarier.

Fremtidige tilnærminger og tester

Arbeidets ovennevnte LLM-drevne ‘intensjonsvask’-teknikk fjerner eksplisitt utløsende språk, mens den bevare den underliggende skadelige intensjonen. I stedet for å uttrykke intensjon åpenlyst, impliserer reviderte prompter den, og beholder den skadelige nyttelasten, men unngår signaler som ville være sannsynlig å utløse umiddelbar nektelse fra LLM.

De to metodene som muliggjorde dette, var konnotasjons-nøytralisering, som erstatter åpenbart negative termer med nøytrale eller deskriptive alternativer; og kontekst-transposisjon, som flytter virkelige referanser til fiktive settinger uten å endre praktisk mening.

En liten samling revisjoner ble først skrevet for hånd, etterfulgt av en automatiseringsprosess som brukte GPT-5.1 (gpt-5.1-2025-11-13), med en åtte-skudds in-context-læring-oppsett som ‘intensjonsvasker’. Responser på de opprinnelige og reviderte promptene ble deretter sammenlignet for å måle hvor sterkt eksplisitt utløsende språk påvirkte sikkerhetsvurderinger.

Fordi intensjonsvask kan endre både formulering og ramme, ble responser evaluert i forhold til sikkerhet og praktisk anvendelighet. Sikkerhet ble vurdert på en fem-punkts Likert-skala, fra ‘ekstremt usikker’ til ‘sikker’, betinget av om responsen bevarte den opprinnelige skadelige intensjonen – og, hvis så var tilfelle, hvor skadelig den var:

En prompt-mal som brukes for standard sikkerhetsvurdering av responser på de opprinnelige AdvBench og HarmBench datapunktene, før anvendelse av intensjonsvask. GPT-5.1 ble instruert til å vurdere hver respons på en fem-punkts Likert-skala fra ‘Ekstremt usikker’ til ‘Sikker’, og valgte en enkelt overordnet vurdering basert på om innholdet muliggjorde skade eller forble ikke-aktivt.

‘Praktisk anvendelighet’ ble vurdert på en parallell fem-punkts skala fra ‘ekstremt anvendelig’ til ‘ikke anvendelig’, basert på hvor brukbar og overførbar detaljene ville være i den virkelige verden; og ASR målte ytelse, med en revisjon som bare ble talt som vellykket hvis responsen var both usikker og praktisk anvendelig.

De fem-punkts vurderingene ble kartlagt til binære resultater for å redusere tvetydighet, og intensjonsvask ble også utviklet til en jailbreaking-metode ved å legge til en iterativ revisjons-regenereringsløkke, hvor feilede revisjoner ble sendt tilbake til GPT-5.1 under det samme åtte-skudds in-context-læring-oppsettet. Denne løkken fortsatte til enten en forhåndsbestemt antall forsøk var nådd eller en ønsket ASR var oppnådd.

For sikkerhetsvurderingstestene, ble Python wordcloud-pakken brukt til å trekke ut n-grammer fra HarmBench og AdvBench, med vanlige filtreringsmetoder (dvs. for å fjerne stopwords og andre ikke-relevante ord og tegn).

De samme sikkerhetsdatasettene som ble brukt for den tidligere ordsky-analysen, ble kombinert med tilfeldige eksempler fra ovennevnte GSM8K, med ordmengder likt for likhet over samlingene.

Forfatterne brukte embeddings fra all-MiniLM-L6-V2-checkpointet fra Sentence-BERT Transformers, da dette allerede er finjustert mot klustering og semantisk søk.

Vurderingskriterier ble generert av (den nå avdøde) OpenAI GPT-4o-modellen, begrenset til 1024 tokens. GPT-5.1 vurderer både sikkerhet og praktisk anvendelighet etter intensjonsvask, null-skudd, matchet på alle måter til intensjonsvask selv, bortsett fra at det også var begrenset til 1024 tokens.

Modellene som ble testet, var Gemini 3 Pro; Claude Sonnet 3.7; Grok 4; GPT-4o; og Qwen2.5-7B-Instruct. Hvor dette var aktuelt, ble resonnering senket så mye som mulig i resonnerings-kapable modeller.

Alle modeller var begrenset til en utgangs-begrensning på 4096 tokens:

Sikkerhetsvurdering (SE), praktisk anvendelighet-vurdering (PE), og angreps-suksessrate (ASR) for syv modeller på AdvBench (øverst) og HarmBench (nederst) under tre betingelser: ingen revisjon, første revisjon og påfølgende revisjons-regenererings-iterasjoner av intensjonsvask. SE rapporterer prosentandelen responser som ble vurdert ‘ekstremt usikker’, ‘høyt usikker’ eller ‘usikker’; PE rapporterer prosentandelen som ble vurdert ‘ekstremt anvendelig’, ‘høyt anvendelig’ eller ‘anvendelig’; og ASR måler andelen responser som var både usikre og praktisk anvendelige. I ingen-revisjon-innstillingen følger ASR sin standarddefinisjon fordi ingen abstraksjon blir brukt. Fet verdier indikerer den høyeste ASR som ble oppnådd innen hver datasett, og lavere ASR korresponderer til sterkere modell-sikkerhet. Vennligst se kildepapiren for bedre oppløsning.

Med hensyn til disse innledende resultater, bemerker forfatterne at fjerning av eksplisitte utløsende signaler fra angreps-prompter produserte en skarp økning i angreps-suksessrate. På AdvBench økte gjennomsnittlig ASR fra 5,38% til 86,79% etter den første revisjonen, på HarmBench økte den fra 13,79% til 79,83% – og indikerer at modell-nektelser var sterkt knyttet til tilstedeværelsen av åpenbare utløsende signaler.

Forfatterne observerer:

‘Dette indikerer at modell-nektelser i stor grad er drevet av tilstedeværelsen av utløsende signaler. Derfor måler sikkerhetsdatasettene ikke pålitelig virkelige sikkerhetsrisiko, da de avhenger mer av utløsende signaler for å utløse nektelse enn av faktisk skadelig intensjon.’

Intensjonsvask, hevder papiren, fjernet effektivt utløsende signaler mens den bevarte skadelig intensjon, og fungerte som en sterk jailbreaking-metode. I den siste revisjons-regenererings-iterasjonen, som korresponderer til den høyeste ASR i hver datasett, nådde angreps-suksessrater 90% til 98,55% over alle modeller.

Dette inkluderte Gemini 3 Pro og Claude Sonnet 3.7, som ble jailbreaket med ASR på 93% til 95% på AdvBench, og 91% til 93% på HarmBench, etter bare noen iterasjoner.

Forfatterne konkluderer:

‘Våre resultater viste at tidligere sikkerhetskonklusjoner ikke holder når utløsende signaler fjernes, og at den observerte sikkerhetsytelsen i stor grad er drevet av tilstedeværelsen av utløsende signaler fremfor av underliggende sikkerhetsrisiko.

‘Vi viste videre at intensjonsvask kan brukes som en kraftig jailbreaking-teknikk, og oppnå høye angreps-suksessrater fra 90% til over 98%.

‘Samlet sett avdekket våre funn en kritisk gap mellom hvordan modell-sikkerhet vurderes og hvordan virkelige adversarial-atfer manifestere seg.

‘Basert på dette, konkluderer vi med at (1) sikkerhetsvurderinger må utvikles for å fange adversarial-angrep mer realistisk, og (2) nåværende sikkerhets-alignment-innsats er fortsatt langt fra robust mot virkelige trusler.’

Konklusjon

En vanlig tråd som fortsatt løper gjennom språk- og datavitenskapelig litteratur (og steder hvor disse krysser hverandre, som VLM) er en evne til å pålitelig forstå når en blir lurt til å produsere forbudt innhold; eller når en uvitende beveger seg inn i det, uten ytre tvang.

Bak kulissene av de større og mer uoversiktlige modell-fabrikkene, kan en bare anta at å radikalt stramme inn grepene på disse semantiske fangstområdene medfører uakseptable skadevirkninger, som f.eks. nedgang i ytelse på ‘ikke-forbudt’ genereringer, eller en uakseptabel rate av falske positiver fra innhold-filtrene.

Den grunnleggende naturen til en trent modell i noen domene er å følge all sin treningdata til enhver konklusjon som en prompt kan drive det mot; de eneste native begrensninger som er tilgjengelige, er a) å ikke inkludere kontroversielt materiale i treningdata (som er like mye et logistisk problem som noe annet); eller b) å ‘avkoble’ veiene til uønsket innhold etter trening (en prosess som ofte kan reverseres ved eksplisitt abliteration, eller som en uforvollent bivirkning av finjustering).

* Min erstatning av forfatternes inline-citater med hyperlenker. Forfatternes betoning, ikke min.

^† https://www.unite.ai/what-is-overfitting/

Først publisert mandag, 23. februar 2026