Co je to adversarial poetry? Nová metoda jailbreaku pro AI

Bezpečnost umělé inteligence (AI) se stala neustálou hrou na kočku a myš. Zatímco vývojáři přidávají bezpečnostní prvky, aby zablokovali škodlivé požadavky, útočníci neustále hledají nové způsoby, jak je obejít. Jednou z nejpodivnějších nových metod je adversarial poetry. Tato taktika spočívá v maskování požadavků jako básně a používání rýmů, metafor a neobvyklého slovního spojení, aby se rizikové požadavky jevily jako méně nebezpečné.

V praxi se obsah sám o sobě příliš nemění. Změna se týká spíše obalu, který může být dostatečný k tomu, aby zmátla filtry založené na vzorcích. Je to připomínka toho, že u dnešních modelů může být způsob, jakým je něco požádáno, téměř stejně důležitý jako to, co je požádáno.

Co se stalo, když výzkumníci použili básně k prolomení AI?

Na počátku roku 2025 prokázali výzkumníci, že velké jazykové modely (LLM) lze vyvolat k odpovědi na omezené požadavky tím, že je zabalí do básnické formy. Místo přímých, policy-triggering požadavků výzkumníci vložili stejné požadavky do rýmů, metafor a narativních veršů.

Na povrchu se požadavky jevily jako tvořivé psaní, ale pod povrchem nesly stejný záměr, který by normálně byl zablokován. Z 25 modelů, včetně proprietárních a otevřených, tým hlásil, že básnická forma dosáhla průměrné míry úspěchu jailbreaku 62% pro ručně psané básně a asi 43% pro hromadné „převody veršů“ pomocí standardizovaného meta-promptu.

Samotné odpovědi nebyly nové typy selhání, ale známé selhání, které se objevilo prostřednictvím neočekávané cesty. Modely byly podníceny k produkci obsahu, který obvykle vyhýbají — jako jsou vysvětlení týkající se nezákonných nebo škodlivých aktivit — protože základní požadavek byl fragmentován a zakryt básnickou strukturou.

Hlavní závěr studie je, že stylistická variace sama o sobě může být dostatečná k obejití bezpečnostních systémů, které jsou naladěny na více literální slovní spojení. Odhaluje zranitelnost, která je patrná napříč rodinami modelů a přístupy k vyrovnání.

Jak funguje adversarial poetry

Adversarial útoky využívají jednoduché skutečnosti — systémy strojového učení „nepochopí“ jazyk tak, jako lidé. Detekují vzorce, předpovídají pravděpodobná pokračování a následují pokyny na základě toho, co jejich trénink a bezpečnostní vrstvy interpretují jako záměr.

Když je požadavek formulován přímo a doslovně, je snazší pro bezpečnostní systémy jej rozpoznat a zablokovat. Avšak když je stejný účel maskován — rozdělen, zmírněn nebo přefázován — ochranné vrstvy mohou minout to, co je skutečně požadováno.

Proč může být poezie účinným prostředkem

Poezie je přirozeně stavěna pro víceznačnost. Spočívá na metafoře, abstrakci, neobvyklé struktuře a nepřímém slovní spojení. Tyto jsou přesně ty vlastnosti, které mohou rozostřit hranici mezi „neškodivým tvořivým psaním“ a „požadavkem, který by měl být odmítnut“.

Ve stejné studii z roku 2025 výzkumníci hlásili, že básnické požadavky vyvolaly nebezpečné odpovědi se 90% mírou úspěchu napříč širokou škálou modelů, což naznačuje, že styl sám o sobě může podstatně změnit výsledky.

Jak báseň skrývá skutečný požadavek

Pojměte požadavek jako zprávu a báseň jako obal. Bezpečnostní filtry často hledají zjevné znaky, jako jsou explicitní klíčová slova, přímé krok-poštukové formulace nebo rozpoznatelné škodlivé záměry.

Poezie může skrýt tento záměr pomocí figurativního jazyka nebo rozložit ho přes řádky,使tím, že je obtížnější jej identifikovat v izolaci. Mezitím základní model stále rekonstruuje význam dostatečně, aby odpověděl, protože je optimalizován pro odvozování záměru i tehdy, když je jazyk nepřímý.

Detecting and Mitigating Jailbreaks

Jakmile se metody jailbreaku stávají kreativnějšími, musí se konverzace posunout od toho, jak fungují, k tomu, jak jsou odhaleny a potlačeny. To je obzvláště pravdivé nyní, kdy je AI součástí denních rutin mnoha lidí, když 27% lidí uvádí, že ji používají několikrát denně.

Jak více lidí využívá velké jazykové modely (LLM), měly by být testovány a prozkoumány další bezpečnostní opatření. Tato úloha zahrnuje budování vrstevnatých obran, které mohou přizpůsobit novým stylům požadavků a metodám obejití, jakmile se objeví.

Dilema vývojáře

Nejobtížnější částí jailbreaků pro týmy AI bezpečnosti je, že nepřicházejí jako jeden známý hrozba. Kontinuálně se mění v čase. Tento stálý posun je způsoben tím, že uživatel může reformulovat požadavek, rozdělit ho na fragmenty, zabalit ho do roleplaye nebo maskovat ho jako tvořivé psaní. Poté může každé nové balení změnit, jak systém interpretuje záměr požadavku.

Tato výzva se rychle zvyšuje, když je AI již integrována do denních rutin, takže skutečné použití vytváří nekonečné příležitosti pro edge případy, aby se objevily.

To je důvod, proč dnešní AI bezpečnost vypadá více jako řízení rizika v čase. NIST AI Risk Management Framework (AI RMF) explicitně zachází s řízením rizika jako s pokračujícími aktivitami — organizovanými kolem govern, map, measure a manage — spíše než jako statický seznam. Cílem je vytvořit procesy, které usnadňují identifikaci vznikajících selhání, prioritizaci oprav a zpřísnění bezpečnostních opatření, jakmile se objeví nové styly jailbreaků.

Jak modely chrání sebe

AI bezpečnost se skládá z několika vrstev. Většina systémů má více než jednu obranu, která funguje společně, přičemž každá chytá jiný typ rizikového chování. Na vnější vrstvě vstupní a výstupní filtry fungují jako brána.

Příchozí požadavky jsou skenovány na policy porušování předtím, než dosáhnou jádra modelu, zatímco odchozí odpovědi jsou kontrolovány, aby se zajistilo, že nic neunikne na cestě zpět k uživateli. Tyto systémy jsou dobré v identifikaci přímých požadavků nebo známých červených vlajek, ale jsou také nejsnadněji obcházeny, což je důvod, proč často destruktivnější jailbreaky je obcházejí.

Další vrstva ochrany se nachází uvnitř modelu samotného. Když jsou objeveny techniky jailbreaku, jsou často přeměněny na tréninkové příklady. To je místo, kde se uplatňuje adversarial trénink a učení z lidské zpětné vazby (RLHF).

Jemným laděním modelů na příkladech neúspěšných nebo rizikových interakcí výzkumníci efektivně učí systém rozpoznávat vzorce, které by měly být odmítnuty, i když jsou zabalené v kreativním nebo nepřímém jazyce. V čase tento proces pomáhá imunizovat model proti celé třídě útoků.

Role AI „Red Teaming“

Místo čekání na to, až dojde k jailbreaku, společnosti využívají AI červené týmy. Tyto týmy jsou skupiny, které jsou pověřeny pokusem o prolomení modelů v kontrolovaném prostředí. Přístupují k systémům tak, jako by to dělal útočník, experimentují s neobvyklým slovní spojením, kreativními formáty a edge případy, aby odhalili, kde bezpečnostní opatření selhávají. Cílem je odhalit slabá místa, než se objeví v reálném světě.

Red teaming se nyní stává核心 součástí vývojového cyklu v dnešních strategiích kybernetické bezpečnosti. Když tým objeví novou techniku jailbreaku, výsledná data jsou přímo zapojena do tréninkových a vyhodnocovacích pipeline. Tyto informace jsou použity k definování filtrů, úpravě politik a posílení adversarialního tréninku, aby se podobné pokusy staly méně úspěšnými v budoucnu. V čase se vytváří kontinuální smyčka — prozkoumat selhání, naučit se z nich a zlepšit systém, poté zopakovat.

Když se poezie stává stresovým testem pro AI bezpečnost

Adversarial poetry je připomínkou toho, že AI bezpečnostní opatření závisí na tom, jak uživatelé formulují otázky, nejen na tom, co. Jakmile se modely stanou více dostupnými a široce využívanými, výzkumníci budou pokračovat v prozkoumávání mezer mezi kreativním jazykem a bezpečnostními systémy, které jsou navrženy k odhalení více přímého záměru. Hlavní závěr je, že bezpečnější AI bude pocházet z více obran, které se vyvíjí stejně rychle jako jailbreaky.