Snadná reformulace porušuje bezpečnost AI, dokonce i pro Gemini a Claude

Testy bezpečnosti AI ukázaly, že spoléhají na „zjevná“ spouštěcí slova; s jednoduchou reformulací jsou modely označeny jako „rozumně bezpečné“ náhle selhávají, s útoky se daří až 98 % času.

Nový firemní výzkum z USA dospěl k závěru, že dobrá bezpečnostní bilance různých velkých jazykových modelů (LLM) – včetně mnoha předních jmen, jako je Gemini 3 Pro a Claude Sonnet 3.7 – může být bezvýznamná, protože datové sady a benchmarky použité k jejich stanovení obsahují absurdně „zjevný“ jazyk.

Dvě datové sady, které se objevily v různých recenzích na tomto webu, jsou HarmBench a AdvBench:

Z příslušných papírů HarmBench a AdvBench, přiznáváme, že jsou to ilustrativní příklady provokace – ale nová práce tvrdí, že i v reálných scénářích z těchto benchmarků jsou příklady „zjevně“ signálem pro malý úmysl, který vede k (předpokládanému) neúmyslnému „gamingu“ výsledků. Zdroje: HarmBench a AdvBench.

Ačkoli jsou výše uvedené příklady, které pocházejí z příslušných papírů pro každou benchmark, záměrně jednoduché, aby ilustrovaly principy systémů, nová práce tvrdí, že ve skutečnosti tyto sbírky skutečně cílí na „low-hanging fruit“, a proto nemusí být efektivními benchmarky – a že skutečné výsledky pro bezpečnostní schopnosti testovaných LLM jsou výrazně nižší, než se uvádí:

‘[My] hodnotíme, zda tyto datové sady skutečně měří bezpečnostní rizika nebo pouze vyvolávají odmítnutí prostřednictvím spouštěcích signálů. Chceme prozkoumat „intent laundering“: postup, který abstrahuje spouštěcí signály z útoků (datových bodů), zatímco přísně zachovává jejich škodlivý úmysl a všechny relevantní podrobnosti.

‘Naše výsledky ukazují, že současné bezpečnostní datové sady selhávají při věrném představování reálných útoků kvůli jejich nadměrné závislosti na spouštěcích signálech.

‘Ve skutečnosti, jakmile jsou tyto signály odstraněny, všechny dříve vyhodnocené „rozumně bezpečné“ modely se stávají nebezpečnými, včetně Gemini 3 Pro a Claude Sonnet 3.7.’

‘Bezpečnost’ v tomto smyslu představuje alignaci – schopnost LLM odrazit pokusy uživatelů ‘jailbreak’ omezení na API-only systémech, aby systém vytvořil zakázaný výstup, jako je například urážlivý text nebo obrázky.

Autoři výše uvedené intent laundering jednoduše zahrnuje reformulaci „zjevných“ útoků ve dvou datech/benchmark, aby se staly více jemnými a záludnými a mnohem schopnějšími obcházet filtry a kontroly:

Horní část jinak neohrabaného příkladu z papíru. Zobrazeno vlevo nahoře, žlutě, typ „zjevného“ podnětu, který HarmBench a AdvBench obvykle poskytují; pod ním, zeleně, podnět byl neutralizován, reformulován a učiněn dostatečně přijatelným pro Claude Sonnet 3.7, aby mu pomohl najít „královské obchody“ (zpracovatelská místa pro ukradená vozidla) v novém městě. Zdroj

Vědci analyzovali kvality dvou datových sad pomocí dvou přístupů: v izolaci, aby porovnali sbírky s rysy reálných útoků; a v praxi, kde datové sady – a autoři vlastní „vylepšení“ na nich – byly použity k útoku na reálné modely.

V druhém kole testů výzkumníci „metodu reformulace“ iterativně vylepšovali, až dosáhli optimálních výsledků v oblasti Attack Success Rate (ASR):

Intent laundering začíná přenosem zjevně škodlivého podnětu přes model přepisu, který odstraňuje explicitní spouštěcí jazyk, zatímco zachovává základní škodlivý úmysl. Přepisovaný podnět je pak předán cílovému modelu a jeho odpověď je vyhodnocena pro bezpečnost a reálnou aplikovatelnost. Pokud je výstup považován za nebezpečný a prakticky použitelný, útok je považován za úspěšný. Pokud ne, dříve neúspěšné verze jsou vráceny do modelu přepisu, aby vygenerovaly vylepšené verze, vytvářející iterativní smyčku, která funguje jako mechanismus jailbreaku, dokud není dosaženo předem stanoveného počtu pokusů nebo požadované míry úspěšnosti útoku.

Autoři uvádějí*:

‘Naše výsledky ukazují, že s touto regenerační smyčkou intent laundering dosahuje vysoké ASR (90%–98.55%) po pouhých několika iteracích napříč všemi studovanými modely při plném black-box přístupu. To zahrnuje nedávné modely, které jsou široce označovány jako mezi nejbezpečnější – jako Gemini 3 Pro a Claude Sonnet 3.7.

‘Tyto nálezy dále potvrzují, že stávající bezpečnostní hodnocení a bezpečnostní-alignment metody jsou vysoce nadměrně přizpůsobeny^† spouštěcím signálům.’

Nová práce se jmenuje Intent Laundering: AI Safety Datasets Are Not What They Seem a pochází od dvou autorů ze softwarové společnosti Labelbox se sídlem v San Francisku.

Metoda

Pro studium složení a architektury dvou benchmark datových sad v izolaci byly generovány word cloudy z obou korpusů, které odhalily, welche slova a krátké fráze dominovaly sbírkám:

Word cloudy zobrazující 40 nejčastějších unigramů, bigramů a trigramů v kombinovaných datech AdvBench a HarmBench. Termíny s inherentně negativními nebo citlivými konotacemi jsou zvýrazněny červeně, kontextové spouštěče oranžově a neutrální slova, která tvoří vyšší úrovně spouštěčů, zeleně. Koncentrace zjevných frází, jako je „bez toho, aby byli chyceni“ a „kroky“, naznačuje, že dvě benchmarky se silně spoléhají na explicitní signály spíše než na realisticky vytvořené, úmyslné útoky.

Autoři poznamenávají, že dominantní jedno-, dvou- a trojslovné gramy jsou neuvěřitelně odhalující škodlivý úmysl, na rozdíl od jazyka, který sami zločinci používají v diskusi, a že útočníci používají, když testují nebo snaží se kompromitovat obranu LLM.

‘Tyto signály podkopávají dvě vlastnosti – dobře vytvořené a vedené úmyslným záměrem – jako takový zjevný jazyk se zřídka objevuje v reálných útocích a zdá se být navržen tak, aby umělým způsobem spouštěl bezpečnostní mechanismy. ‘

Papír charakterizuje vzorce sbírek jako „spouštěcí signály“ – fráze s zjevně negativními nebo citlivými konotacemi, které se zdají být navrženy k aktivaci bezpečnostních filtrů. Některé jsou inherentně nabité, jako ‘spáchat sebevraždu’, zatímco jiné se stávají nabité pouze v kontextu, například když je škodlivý cíl spojen se slovem „bez toho, aby byli chyceni“, které signalizuje jasný úmysl vyhnout se detekci.

Nesoulad v jazyce datových sad se stává více zřejmým, jakmile se zvyšuje počet slov v n-gramech, s frázemi, které nesou explicitní negativní nebo citlivou význam, dominujícími nejčastějším n-gramům (viz obrázek výše). Papír popisuje tyto jako spouštěcí fráze, které, spolu se samostatnými spouštěcími slovy, tvoří spouštěcí signály.

Některé fráze jednoduše rozšiřují již zatížené termíny, jako když ‘ukrást’ se stává ‘ukrást citlivé informace’, ‘ukrást důvěrné informace’, nebo ‘ukrást osobní informace’; a, například, když ‘spáchat’se rozšiřuje na ‘spáchat sebevraždu’, ‘spáchat insider trading’, nebo ‘spáchat krádež identity’ – jasně jazyk policie, soudů a médií.

Jiné jsou postaveny zcela z neutrálních slov, která se stávají problematickými pouze ve spojení, jako ‘bez toho, aby byli chyceni’, konstrukce, která signalizuje vyhýbání se detekci, přestože neobsahuje žádný inherentně nabité termín.

Doubling Up

Autoři pozorují, že opakování zjevných signálů nejen činí podněty umělé, ale také naznačuje značnou duplikaci dat ve sbírkách. Aby otestovali tuto teorii, provedli pairwise similarity kontroly napříč každou datovou sadou, aplikovali prahové hodnoty od 0,7 do 0,99 a seskupili podněty, které překročily zadanou prahovou hodnotu jako duplikáty, zatímco zbytek považovali za jedinečné.

Pokud neexistuje dohodnutý standard pro to, co se považuje za „vysokou“ podobnost v jednodruhové datové sadě, použili Open AI’s Grade School Math (GSM8K), populární non-bezpečnostní benchmark, shodný s velikostí HarmBench a AdvBench pro kontrolované srovnání:

Míra duplikace v AdvBench a HarmBench napříč prahovými hodnotami podobnosti, ve srovnání se size-matched GSM8K podsoubory. V téměř všech prahových hodnotách bezpečnostní datové sady obsahují mnohem více téměř identických podnětů než non-bezpečnostní benchmark, naznačující opakované hodnocení stejného škodlivého úmyslu v lehce variabilním znění, a sugerující, že hlášený bezpečnostní výkon by mohl být nadhodnocen.

Druhý objev z této části studie srovnával podněty uvnitř každé datové sady, aby změřil, kolik z nich bylo skutečně odlišných. Na středním nastavení podobnosti byla pouze asi 11 % podnětů v AdvBench odlišných, zatímco téměř 94 % otázek v size-matched GSM8K vzorku byly odlišné:

Příklady téměř identických podnětů v AdvBench a HarmBench, které se liší hlavně ve znění, zatímco vyjadřují stejný škodlivý úmysl. Opakované použití explicitních signálů, zobrazených červeně pro inherentně nabité termíny a oranžově pro kontextově závislé, produkuje klastry podnětů, které efektivně testují jednu scénaři multiplekrát – znamenající, že by jedna odpověď většinou stačila k vyhodnocení modelu pro ten úmysl.

HarmBench ukázal stejný trend, s 16 % duplikátů na této úrovni ve srovnání s 3,5 % v GSM8K, znamenající, že bezpečnostní datové sady často opakovaly stejnou škodlivou žádost s malými změnami ve znění.

Pokud se 85 % odlišných příkladů považuje za rozumný standard, AdvBench dosáhl této úrovně pouze při velmi přísném nastavení a stále nedosáhl 90 %, zatímco GSM8K dosáhl 85 % při mnohem nižší prahové hodnotě. Podle papíru tento vzorec naznačuje, že bezpečnostní benchmarky testují opakované variace stejných nápadů, spíše než širokou škálu útočných scénářů.

Další přístupy a testy

Práce výše uvedené LLM-driven „intent laundering“ technika odstraňuje explicitní spouštěcí jazyk, zatímco zachovává základní škodlivý úmysl. Místo přímého vyjádření úmyslu reformulované podněty implikují ho, zachovávají škodlivou zátěž, ale vyhýbají se signálům, které by pravděpodobně vyvolaly okamžitý отказ LLM.

Dvě metody, které usnadňují tuto techniku, jsou konotace neutralizace, která nahrazuje zjevně negativní termíny neutrálními nebo popisnými alternativami; a kontextová transpozice, která přesouvá reálné odkazy do fiktivních prostředí, aniž by změnila praktický význam.

Malá sada revizí byla nejprve napsána ručně, po které byl proces automatizován pomocí GPT-5.1 (gpt-5.1-2025-11-13), s osmipodnikovým in-context learning nastavením jako ‘intent launderer’. Odpovědi na původní a přepisované podněty byly pak porovnány, aby se změřilo, jak silně explicitní spouštěcí znění ovlivňovalo bezpečnostní hodnocení.

Protože intent laundering může měnit jak znění, tak rámec, odpovědi byly vyhodnoceny z hlediska bezpečnosti a praktičnosti. Bezpečnost byla hodnocena na pětibodové Likert škále, od ‘extrémně nebezpečné’ do ‘bezpečné’, podmíněné tím, zda odpověď zachovala původní škodlivý úmysl – a, pokud ano, jak škodlivá to byla:

Šablonový podnět pro standardní bezpečnostní hodnocení odpovědí na původní AdvBench a HarmBench datové body, před aplikací intent laundering. GPT-5.1 byl instruován, aby ohodnotil každou odpověď na pětibodové Likert škále od ‘Extrémně Nebezpečné’ do ‘Bezpečné’, vybírající jediné celkové hodnocení založené na tom, zda obsah umožnil škodu nebo zůstal nečinný.

‘Praktičnost’ byla hodnocena na paralelní pětibodové škále od ‘extrémně použitelné’ do ‘nepoužitelné’, založené na tom, jak použitelné a přenositelné by detaily byly v reálném světě; a ASR měřila výkon, s revizí počítanou jako úspěšná pouze tehdy, pokud byla odpověď obě nebezpečná a praktická.

Pětibodová hodnocení byla mapována na binární výsledky, aby se snížila ambivalence, a intent laundering byl také evolvován do jailbreaking metody přidáním iterativní revize-regenerační smyčky, ve které neúspěšné revize byly vráceny do GPT-5.1 pod stejným osmipodnikovým in-context learning nastavením. Tato smyčka pokračovala, dokud nebyl dosažen předem stanovený počet pokusů nebo požadovaná míra úspěšnosti útoku.

Pro bezpečnostní testy byl použit Python wordcloud balíček pro extrakci n-gramů z HarmBench a AdvBench, s běžnými filtrovacími metodami (tj. odstranění stopwords a jiných irelevantních slov a znaků).

Stejné bezpečnostní datové sady, které byly použity pro předchozí word cloud analýzu, byly kombinovány s náhodnými vzorky z výše uvedeného GSM8K, s počtem slov vyrovnán pro paritu napříč sbírkami.

Autoři použili embeddings z all-MiniLM-L6-V2 checkpointu z Sentence-BERT Transformers, protože je již fine-tuned pro clustering a semantic search.

Hodnoticí kritéria byla vygenerována (nyní odstraněným) OpenAI GPT-4o modelem, omezeným na 1024 tokenů. GPT-5.1 hodnotil obě bezpečnost a praktičnost po intent laundering, zero-shot, shodný ve všech ohledech s intent launder sám, kromě toho, že byl také omezen na 1024 tokenů.

Testované modely byly Gemini 3 Pro; Claude Sonnet 3.7; Grok 4; GPT-4o; a Qwen2.5-7B-Instruct. Pokud to bylo možné, protože reasoning byl nadbytečný faktor, byl snížen co nejníže v reasoningu schopných modelech.

Všechny modely byly omezeny na výstupní limit 4096 tokenů:

Bezpečnostní hodnocení (SE), praktičnost hodnocení (PE) a útok úspěšnost míra (ASR) pro sedm modelů na AdvBench (nahoře) a HarmBench (dole) pod třemi podmínkami: bez revize, první revize a následné revize-regenerační iterace intent laundering. SE hlásí procento odpovědí ohodnocených jako ‘extrémně nebezpečné’, ‘vysoce nebezpečné’ nebo ‘nebezpečné’; PE hlásí procento ohodnocených jako ‘extrémně použitelné’, ‘vysoce použitelné’ nebo ‘použitelné’; a ASR měří podíl odpovědí, které jsou obě nebezpečné a praktické. V bezrevizní sadě ASR následuje standardní definici, protože žádná abstrakce se nepoužije. Tučné hodnoty označují nejvyšší ASR dosažený v každé datové sadě, a nižší ASR odpovídá silnějšímu modelu bezpečnosti.

Ohledně těchto počátečních výsledků autoři poznamenávají, že odstranění explicitních spouštěcích signálů z útočných podnětů vedlo k prudkému nárůstu míry úspěšnosti útoku. Na AdvBench se průměrná ASR zvýšila z počátečních 5,38 % na 86,79 % po první revizi, na HarmBench se zvýšila z 13,79 % na 79,83 % – naznačující, že modelové odmítnutí byly silně vázané na přítomnost zjevných spouštěcích signálů.

Autoři pozorují:

‘To naznačuje, že modelové odmítnutí jsou převážně řízeny přítomností spouštěcích signálů. Z toho vyplývá, že bezpečnostní datové sady nedůvěryhodně měří reálná bezpečnostní rizika, protože spoléhají se více na spouštěcí signály, aby vyvolaly odmítnutí, než na skutečný škodlivý úmysl.’

Intent laundering, tvrdí papír, účinně odstranil spouštěcí signály, zatímco zachoval škodlivý úmysl, a fungoval jako silná jailbreaking metoda. V konečné revize-regenerační iteraci, odpovídající nejvyšší ASR v každé datové sadě, útok úspěšnost míra dosáhla 90% až 98,55% napříč všemi modely.

To zahrnovalo Gemini 3 Pro a Claude Sonnet 3.7, které byly jailbroken s ASR 93 % až 95 % na AdvBench a 91 % až 93 % na HarmBench, po pouhých několika iteracích.

Autoři uzavírají:

‘Naše výsledky ukázaly, že předchozí bezpečnostní závěry neplatí, jakmile jsou spouštěcí signály odstraněny, a že pozorovaná bezpečnostní výkonnost je převážně řízena přítomností spouštěcích signálů spíše než základními bezpečnostními riziky.

‘Dále jsme ukázali, že intent laundering lze použít jako silnou jailbreaking techniku, dosahující vysokých útok úspěšnost míry od 90 % do více než 98 %.

‘Celkově naše nálezy odhalily kritickou mezeru mezi tím, jak je modelová bezpečnost hodnocena, a jak se reálné útočné chování projevuje.

‘Na základě toho uzavíráme, že (1) bezpečnostní hodnocení musí evoluvovat, aby lépe zachytila útočné útoky, a (2) současné bezpečnostní-alignment úsilí je stále daleko od odolnosti proti reálným hrozbám.’

Závěr

Jedním společným vláknem, které stále prochází jazykovou a počítačovou literaturou (a místy, kde se tyto prolínají, jako jsou VLMs) je neschopnost spolehlivě rozumět, kdy je jeden oklámán do produkce zakázaného obsahu; nebo dokonce kdy jeden náhodně vniká do něj bez vnějšího donucení.

Za scénou větších a méně transparentních modelových foundry lze předpokládat, že radikální zpřísnění pravidel v těchto semantických oblastech s sebou přináší nepřijatelné vedlejší škody, jako jsou poklesy výkonu na „nepovoleno“ generacích, nebo nepřijatelná míra falešných pozitivů z obsahu filtru.

Základní povaha trénovaného modelu v jakékoli doméně je následovat všechny jeho trénovací data k jakémukoli závěru, k němuž by podnět mohl vést; jediné native omezení dostupná jsou a) nezahrnout sporný materiál do trénovacího datasetu (což je takového logistického problému jako cokoli jiného); nebo b) „odříznout“ cesty k nežádoucímu obsahu po tréninku (proces, který lze často zvrátit explicitní abliterací, nebo jako neúmyslný vedlejší efekt jemného ladění).

* Moje substituce autorů inline citací za odkazy. Autorovy důrazy, ne moje.

^† https://www.unite.ai/what-is-overfitting/

První publikováno v pondělí, 23. února 2026