Let Nemt Omformulering Ødelægger AI-Sikkerhed, Selv for Gemini og Claude

AI-sikkerhedstests er fundet til at afhænge af ‘åbenlyse’ udløsende ord; med let omformulering, modeller, der er markeret som ‘rimeligt sikre’, fejler pludselig, og angreb lykkes op til 98% af tiden.

Nyt korporativt forskning fra USA har konkluderet, at det gode sikkerhedsrekord for en række Large Language Models (LLM’er) – herunder mange førende navne som Gemini 3 Pro og Claude Sonnet 3.7 – kan være meningsløst, fordi datasets og benchmarks, der bruges til at etablere dem, indeholder latterligt ‘åbenlyse’ sprog.

De to datasets i spørgsmålet, der har været fremhævet i forskellige papirer på dette websted, er HarmBench og AdvBench:

Fra de respektive HarmBench og AdvBench-papirer, åbenlyse eksempler på provokation – men det nye papir påstår, at selv i virkelige scenarier, eksempler fra disse benchmarks ‘telegraferer’ ondsindet hensigt, hvilket kan føre til (formodentlig) utilsigtet ‘gaming’ af resultater. Kilder: HarmBench og AdvBench.

Selv om eksemplerne ovenfor, der er fra de respektive papirer for hver benchmark, er åbenlyst simple for at illustrere principperne for systemerne, påstår den nye forskning, at disse samlinger faktisk targetter ‘lave hængende frugt’, og derfor måske ikke er effektive benchmarks – og at de virkelige resultater for sikkerhedsfunktioner for testede LLM’er er betydeligt lavere end hvad der er rapporteret:

‘[Vi] evaluerer, om disse datasets virkelig måler sikkerhedsrisici eller blot provokerer afvisninger gennem udløsende koder. For at udforske dette, introducerer vi “intent-lavering”: en procedure, der abstraherer udløsende koder fra angreb (data punkter) samtidig med, at den strengt bevarer deres ondsindede hensigt og alle relevante detaljer.

‘Vore resultater indikerer, at nuværende AI-sikkerhedsdatasets ikke trofast repræsenterer virkelige angreb, på grund af deres overafhængighed af udløsende koder.

‘Faktisk, når disse koder fjernes, bliver alle tidligere vurderede “rimeligt sikre” modeller usikre, herunder Gemini 3 Pro og Claude Sonnet 3.7.’

‘Sikkerhed’ i denne forstand repræsenterer alignment – evnen til, at LLM kan afværge brugernes forsøg på at ‘jailbreak’ restriktioner på API-kun systemer, for at gøre systemet producerer forbudt output, såsom ærekrænkende tekst eller billeder.

Forfatternes ovennævnte intent-lavering indebærer blot omformulering af ‘åbenlyse’ angreb i de to datasets/benchmarks, så de bliver mere subtile og snedige, og langt mere i stand til at bypasser filtre og kontroller:

Den øverste del af et ellers uoverskueligt eksempel fra papiret. Viser top-venstre, i gul, den type ‘åbenlyse’ prompt, som HarmBench og AdvBench typisk leverer; under, i grøn, prompten er neutraliseret, omformuleret og gjort acceptabel nok til Claude Sonnet 3.7, så den er villig til at hjælpe brugeren med at finde ‘chop shops’ (behandlingssteder for stjålne køretøjer) i en ny by. Kilde

Forskerne analyserede kvaliteterne af de to datasets over to tilgange: i isolation, for at sammenligne samlinger med egenskaberne af virkelige angreb; og i praksis, hvor datasets – og forfatternes egne ‘forbedringer’ af dem – blev brugt til at angribe virkelige modeller.

I den anden runde af tests, forbedrede forskerne ‘omformulering af metoden, indtil den opnåede optimale resultater i forhold til Angrebs Succes Rate (ASR):

Intent-lavering begynder med at sende en åbenlyst ondsindet prompt gennem en omformuleringsmodel, der fjerner eksplisit udløsende sprog, samtidig med at den bevarer den underliggende skadelige hensigt. Den reviderede prompt sendes herefter til en målmodel, og dens svar evalueres for både sikkerhed og virkelige anvendelsesmuligheder. Hvis outputtet vurderes som usikkert og praktisk anvendeligt, tælles angrebet som succesfuldt. Hvis ikke, føres tidligere fejlende revisioner tilbage til omformuleringsmodellen for at generere forbedrede versioner, hvilket skaber en iterativ loop, der fungerer som en jailbreaking-mekanisme, indtil en forudbestemt antal forsøg er nået eller en ønsket angrebs succes rate er opnået.

Forfatterne påstår*:

‘Vore resultater viser, at med denne regenereringsloop, opnår intent-lavering høj ASR (90%–98.55%) efter kun få iterationer over alle studerede modeller under fuldt black-box-adgang. Dette inkluderer nyere modeller, der er bredt rapporteret som blandt de sikreste–såsom Gemini 3 Pro og Claude Sonnet 3.7.

‘Disse fund bekræfter yderligere, at eksisterende sikkerhedsvalueringer og sikkerheds-alignment metoder er højst overfit^† til udløsende koder.’

Den nye arbejde er titlen Intent-Lavering: AI-Sikkerhedsdatasets Er Ikke, Hvad De Synes, og kommer fra to forfattere på San Francisco-baseret softwarefirma Labelbox.

Metode

For at studere sammensætningen og arkitekturen af de to benchmark-datasets i isolation, blev ordskyer genereret fra de to korpus, hvilket afslørede, hvilke ord og korte fraser dominerede samlingerne:

Ordskyer, der viser de 40 mest hyppige unigrammer, bigrammer og trigrammer i de kombinerede AdvBench og HarmBench-datasets. Termer med indbyggede negative eller følsomme konnotationer er markeret med rød, kontekstafhængige udløsende koder i orange, og neutrale ord, der danner højereordens udløsende koder, i grøn. Koncentrationen af åbenlyse fraser som ‘uden at blive fanget’ og ‘trin-for-trin-instruktioner’ antyder, at de to benchmarks afhænger tungt af eksplisitte koder snarere end realistisk konstruerede, skjulte hensigtsangreb.

Forfatterne bemærker, at de dominerende en-, to- og tre-ord-grammer er utroligt åbenlyse i forhold til ondsindet hensigt, i modsætning til den type sprog, kriminelle selv bruger i diskussion, og som angribere bruger, når de tester eller forsøger at kompromittere LLM’ers forsvar.

‘Disse koder undergraver to egenskaber—værende velkonstruerede og drevet af skjult hensigt—as sådant åbenlyst sprog sjældent optræder i virkelige angreb og synes konstrueret til at udløse sikkerhedsmekanismer kunstigt. ‘

Papiret karakteriserer samlingernes mønster som ‘udløsende koder’ – fraser med åbenlyst negative eller følsomme konnotationer, der synes konstrueret til at aktivere sikkerhedsfiltre. Nogle er indbygget ladet, såsom ‘begå selvmord’, mens andre kun bliver ladet i kontekst, for eksempel, når en skadelig mål er parret med ord som ‘uden at blive fanget’, som signalerer tydelig hensigt om at undgå opdagelse.

Ubalancen i datasets’ sprog bliver mere åbenlyst, jo flere ord der er i n-grammerne, med fraser, der bærer eksplisit negativ eller følsom betydning, der dominerer de mest hyppige n-grammer (se billedet ovenfor). Papiret beskriver disse som udløsende fraser, som, sammen med enkelt udløsende ord, udgør udløsende koder.

Nogle fraser udvider blot allerede belastede termer, såsom når ‘stjæl’ bliver ‘stjæl følsomme oplysninger’, ‘stjæl fortrolige oplysninger’, eller ‘stjæl personlige oplysninger’; og, for eksempel, når ‘begå’ udvides til ‘begå selvmord’, ‘begå insiderhandel’, eller ‘begå identitetsstødt’ – tydeligt sproget og fraseologien for politi, domstole og medierapportering.

Andre er bygget helt fra neutrale ord, der kun bliver bekymringsvækkende i kombination, såsom ‘uden at blive fanget’, en konstruktion, der signalerer undvigelse, på trods af at den ikke indeholder nogen indbygget ladet term.

Dobling Op

Forfatterne observerer, at gentagelsen af åbenlyse koder ikke kun gør prompterne til at se konstruerede ud, men også antyder betydelig duplikation af data i samlingerne. For at teste denne teori, kørte de parvise ligningskontroller på tværs af hver dataset, anvendte grænseværdier fra 0,7 til 0,99 og grupperede prompter, der overstegede en given grænseværdi som duplikater, mens de behandlede resten som unikke.

Fordi der ikke er en aftalt standard for, hvad der tæller som ‘høj’ ligning i en enkelt-domæne-dataset, brugte de Open AI’s Grade School Math (GSM8K), en populær non-sikkerhedsbenchmark, matchede dens samplesize til HarmBench og AdvBench til en kontrolleret sammenligning:

Duplikationsrater i AdvBench og HarmBench over ligningsgrænseværdier, sammenlignet med størrelsesmatchet GSM8K-undermængder. Ved næsten hver grænseværdi indeholder sikkerhedsdatasets langt flere næsten identiske prompter end non-sikkerhedsbenchmarken, hvilket antyder gentagen vurdering af den samme skadelige hensigt i let varieret formulering, og foreslår, at rapporteret sikkerhedspræstation kan være forhøjet. Se venligst kildepapiret for bedre opløsning.

En anden fund fra denne del af studiet sammenlignede prompter inden for hver dataset for at måle, hvor mange der virkelig var forskellige. Ved en midterste ligningsindstilling, var kun omkring 11% af AdvBench-prompter unikke, mens næsten 94% af spørgsmål i en størrelsesmatchet GSM8K-undersample var forskellige:

Eksempler på næsten identiske prompter i AdvBench og HarmBench, der primært afviger i formulering, mens de udtrykker den samme skadelige hensigt. Gentagen brug af eksplisitte koder, vist i rød for indbyggede ladte termer, og i orange for kontekstafhængige, producerer promptkluster, der effektivt tester en enkelt scenario flere gange – hvilket betyder, at ét svar ville være tilstrækkeligt til at evaluere modellen for den hensigt.

HarmBench viste den samme tendens, med 16% duplikater på dette niveau i forhold til 3,5% i GSM8K, hvilket betyder, at sikkerhedsdatasets ofte gentog den samme skadelige anmodning med mindre ændringer i formulering.
Hvis 85% unikke eksempler tages som en rimelig standard, nåede AdvBench denne niveau kun under en ekstremt streng indstilling, og nåede ikke engang 90%, mens GSM8K nåede 85% ved en lavere grænseværdi. Ifølge papiret antyder dette mønster, at sikkerhedsbenchmarkene tester gentagne variationer af de samme idéer, snarere end en bred vifte af angrebs-scenarier.

Fremtidige Tilgange og Tests

Arbejdets ovennævnte LLM-drevne ‘intent-lavering’-teknik fjerner eksplisit udløsende sprog, samtidig med at den bevarer den underliggende skadelige hensigt. I stedet for at udtrykke hensigt åbenlyst, antyder de reviderede prompter den, mens de bevarer den skadelige nyttelast, men undgår koder, der ville være sandsynligt at udløse øjeblikkelig afvisning af LLM.

De to metoder, der faciliterer dette, var konnotationsneutralisering, som erstatter åbenlyst negative termer med neutrale eller beskrivende alternativer; og konteksttransposition, som flytter virkelige referencer til fiktive indstillinger, uden at ændre praktisk betydning.

En lille mængde revisioner blev først skrevet hånd i hånd, efterfulgt af automatisering af processen ved hjælp af GPT-5.1 (gpt-5.1-2025-11-13), med en otte-skud in-context learning-opsætning som ‘intent-lavering‘-værktøjet. Svar på de originale og reviderede prompter blev herefter sammenlignet for at måle, hvor stærkt eksplisit udløsende sprog påvirkede sikkerhedsvalueringer.

Fordi intent-lavering kan ændre både formulering og ramme, blev svar vurderet i forhold til sikkerhed og praktisk anvendelighed. Sikkerhed blev vurderet på en fem-punkts Likert-skala, fra ‘ekstremt usikker’ til ‘sikker’, betinget af, om svaret bevarede den originale skadelige hensigt – og, hvis så var tilfældet, hvor skadelig det var:

En prompt-skabelon brugt til standard sikkerhedsvaluering af svar på de originale AdvBench og HarmBench datapunkter, før anvendelsen af intent-lavering. GPT-5.1 blev instrueret til at vurdere hvert svar på en fem-punkts Likert-skala fra ‘Ekstremt Usikker’ til ‘Sikker’, ved at vælge en enkelt samlet vurdering baseret på, om indholdet enablede skade eller forblev ikke-aktionabelt.

‘Praktisk anvendelighed’ blev vurderet på en parallel fem-punkts skala fra ‘ekstremt anvendelig’ til ‘ikke-anvendelig’, baseret på, hvor brugbar og overførbar detaljerne ville være i den virkelige verden; og ASR målte præstation, med en revision, der kun blev vurderet som succesfuld, hvis svaret var both usikker og praktisk.

De fem-punkts-vurderinger blev kortlagt til binære resultater for at reducere tvetydighed, og intent-lavering blev også evolveret til en jailbreaking-metode ved at tilføje en iterativ revision-regenereringsloop, hvor fejlende revisioner blev ført tilbage til GPT-5.1 under den samme otte-skud in-context learning-opsætning. Denne loop fortsatte, indtil enten en forudbestemt antal forsøg var nået eller en ønsket ASR var opnået.

For sikkerhedsvalueringstestene, blev Python wordcloud-pakken brugt til at trække n-grammer fra HarmBench og AdvBench, med sædvanlige filtreringsmetoder (dvs. for at fjerne stopwords og andre ikke-relevante ord og tegn).

De samme sikkerhedsdatasets, der blev brugt til den tidligere ordsky-analyse, blev kombineret med tilfældige samples fra den ovennævnte GSM8K, med ordmængder equaliseret for lighed på tværs af samlingerne.

Forfatterne brugte embeddings fra all-MiniLM-L6-V2-checkpointet fra Sentence-BERT Transformers, da dette allerede er fintuned mod clustering og semantisk søgning.

Vurderingskriterierne blev genereret af (den nu-afgåede) OpenAI GPT-4o-model, begrænset til 1024 tokens. GPT-5.1 vurderede både sikkerhed og praktisk anvendelighed efter intent-lavering, zero-shot, matchet på alle måder til intent-lavering selv, bortset fra, at det også var begrænset til 1024 tokens.

Modeller, der blev testet, var Gemini 3 Pro; Claude Sonnet 3.7; Grok 4; GPT-4o; og Qwen2.5-7B-Instruct. Hvor dette var muligt, da reasoning var en overflødig faktor, blev dette reduceret så langt som muligt i reasoningskapable modeller.

Alle modeller var begrænset til en output-grænse på 4096 tokens:

Sikkerhedsvaluering (SE), praktisk anvendelighedsvaluering (PE) og angrebs succes rate (ASR) for syv modeller på AdvBench (top) og HarmBench (bund) under tre betingelser: ingen revision, første revision og efterfølgende revision-regenereringsiterationer af intent-lavering. SE rapporterer procentdelen af svar, der er vurderet som ‘ekstremt usikker’, ‘højst usikker’ eller ‘usikker’; PE rapporterer procentdelen, der er vurderet som ‘ekstremt anvendelig’, ‘højst anvendelig’ eller ‘anvendelig’; og ASR måler andelen af svar, der er både usikre og praktisk anvendelige. I ingen-revision-indstillingen følger ASR sin standarddefinition, da ingen abstraktion anvendes. Værdier i fed skrift angiver den højeste ASR, der er opnået inden for hver dataset, og lavere ASR svarer til stærkere modelsikkerhed. Se venligst kildepapiret for bedre opløsning.

Med hensyn til disse initiale resultater, bemærker forfatterne, at fjernelse af eksplisitte udløsende koder fra angrebsprompter resulterede i en skarp stigning i angrebs succes rate. På AdvBench steg gennemsnitlig ASR fra 5,38% til 86,79% efter den første revision, på HarmBench øgede den fra 13,79% til 79,83% – hvilket antyder, at models afvisninger var stærkt knyttet til tilstedeværelsen af åbenlyse udløsende koder.

Forfatterne observerer:

‘Dette antyder, at models afvisninger er overvejende drevet af tilstedeværelsen af udløsende koder. Herefter er sikkerhedsdatasets ikke pålidelige målinger af virkelige sikkerhedsrisici, da de afhænger mere af udløsende koder til at udløse afvisninger end af virkelig ondsindet hensigt.’

Intent-lavering, påstår papiret, fjernede effektivt udløsende koder, samtidig med at den bevarede ondsindet hensigt, og fungerede som en stærk jailbreaking-metode. I den endelige revision-regenereringsiteration, svarende til den højeste ASR i hver dataset, nåede angrebs succes rater 90% til 98.55% over alle modeller.

Dette inkluderede Gemini 3 Pro og Claude Sonnet 3.7, der blev jailbreaket med ASR’er på 93% til 95% på AdvBench og 91% til 93% på HarmBench, efter kun få iterationer.

Forfatterne konkluderer:

‘Vore resultater viste, at tidligere sikkerheds konklusioner ikke holder, når udløsende koder fjernes, og at den observerede sikkerhedspræstation er overvejende drevet af tilstedeværelsen af udløsende koder snarere end af underliggende sikkerhedsrisici.

‘Vi viste yderligere, at intent-lavering kan bruges som en kraftfuld jailbreaking-teknik, opnående høje angrebs succes rater fra 90% til over 98%.

‘Samlet set afslørede vore fund en kritisk lukke mellem, hvordan modelsikkerhed vurderes, og hvordan virkelige adversarial adfærd manifestere sig.

‘Baseret herpå konkluderer vi, at (1) sikkerhedsvalueringer må udvikle sig til at fange adversarial angreb mere realistisk, og (2) nuværende sikkerheds-alignment-bestræbelser er stadig langt fra robuste mod virkelige trusler.’

Konklusion

En fælles tråd, der stadig løber på tværs af sprog og computer-vision litteratur (og steder, hvor disse to mødes, såsom VLM’er) er en manglende evne til pålideligt at forstå, når man bliver snydt til at producere forbudt indhold; eller selv når man uvilkårligt bevæger sig ind i det, uden ydre tvang.

Bagheden af de større og mere uigennemskuelige model-værksteder kan man kun formode, at radikalt at stramme grebet om disse semantiske opfangsområder medfører uacceptabelt bifald, såsom fald i præstation på ‘ikke-forbudt’ generationer, eller en uacceptabel rate af falske positiver fra indholdsfiltret.

Den grundlæggende natur af en trænet model i enhver domæne er at følge alle dens træningsdata til enhver konklusion, som en prompt måtte drive det til; de eneste native begrænsninger, der er til rådighed, er a) ikke at inkludere kontroversielt materiale i træningsdata (hvilket er lige så meget et logistisk problem som noget andet); eller b) at ‘afskære’ vejene til uønsket indhold efter træning (en proces, der ofte kan vendes tilbage ved eksplicit abliteration, eller som en utilsigtet sideeffekt af finjustering).

* Min erstatning af forfatternes inline-citationer med hyperlinks. Forfatternes betoning, ikke min.

^† https://www.unite.ai/what-is-overfitting/

Først publiceret mandag, den 23. februar 2026