AI-modeller og plattformer

Hva er Adversarial Poetry? En Ny Metode for Å Bryte Ut av AI

mm
Legg til Unite.AI blant dine foretrukne kilder på Google

Sikkerheten til kunstig intelligens (AI) har blitt en konstant katt-og-mus-lek. Mens utviklere legger til sikkerhetsforanstaltninger for å blokkere skadelige forespørsler, fortsetter angripere å prøve nye måter å omgå dem på. En av de merkelige vendingene er adversarial poetry. Dette innebærer å forkla uttrykk som dikt og bruke rime, metafor og uvanlig formulering for å gjøre risikable instruksjoner mindre likt det sikkerhetssystemene er trent til å fange.

I praksis endrer innholdet seg ikke så mye. Det er omslaget som gjør det, som kan være nok til å forvirre mønsterbaserte filtre. Dette er en påminnelse om at, med dagens modeller, hvordan noe spørres kan være like viktig som hva som spørres.

Hva Skjedde Da Forskere Brukte Dikt for Å Bryte Ut av AI?

Tidlig i 2025 viste forskere at store språkmodeller (LLM) kunne bli bedt om å svare på begrensede forespørsler ved å pakke dem inn i poetisk form. I stedet for å gi direkte, politikk-utløsende instruksjoner, innlemmet forskerne de samme forespørslene i rimer, metaforer og narrative dikt.

På overflaten så ut forespørslene å være kreative skriveøvelser, men underlagt bar de samme intensjonen som normalt ville bli blokkert. Over 25 proprietære og åpne modeller rapporterte teamet at poetisk ramme oppnådde en gjennomsnittlig suksessrate for å bryte ut på 62% for håndlagde dikt og omkring 43% for bulk “dikt-omforming” ved hjelp av en standardisert meta-forespørsel. 62% for håndlagde dikt og omkring 43% for bulk “dikt-omforming” ved hjelp av en standardisert meta-forespørsel.

Svarene selv var ikke nye typer feil, men kjente feil som dukket opp gjennom en uventet dør. Modellene ble presset til å produsere innhold de vanligvis unngår — som forklaringer som berører ulovlige eller skadelige aktiviteter — fordi den underliggende forespørselen var fragmentert og skjult av poetisk struktur.

Studiets hovedbudskap er at stilistisk variasjon alene kan være tilstrekkelig til å unngå sikkerhetssystemer som er innstilt på mer bokstavelig formulering. Dette avslører en sårbarhet som er tydelig over modellfamilier og tilnærminger.

Hvordan Adversarial Poetry Fungerer

Adversarial angrep utnytter en enkel realitet — maskinlæringsystemer forstår ikke språk på samme måte som mennesker gjør. De detekterer mønster, forutsier sannsynlige fortsettelse og følger instruksjoner basert på hva deres trening og sikkerhetsslag interpreterer som intensjon.

Når en forespørsel er formulert på en direkte, bokstavelig måte, er det lettere for sikkerhetsforanstaltningene å gjenkjenne og blokkere. Men når samme formål er forkledt — delt opp, mildnet eller omformulert — kan de beskyttende lagene overse hva som faktisk spørres.

Hvorfor Poesi Kan Være Et Effektivt Kjøretøy

Poesi er naturlig bygget for tvetydighet. Den bygger på metafor, abstraksjon, uvanlig struktur og indirekte formulering. Disse er nettopp de egenskapene som kan utviske grensen mellom “harmless kreativ skriving” og “en forespørsel som bør avvises”.

I samme studie i 2025 rapporterte forskerne at poetiske forespørsler utløste usikre svar med en suksessrate på 90% over en bred rekke modeller, noe som indikerer at stil alene kan endre resultater betydelig.

Hvordan Et Dikt Skjuler En Reell Forespørsel

Betrakt forespørselen som en melding og diktet som emballasjen. Sikkerhetsfilter ser ofte etter åpenbare tegn, som eksplisitte nøkkelord, direkte steg-for-steg-formulering eller gjenkjennelig ondsinnet intensjon.

Poesi kan skjule denne intensjonen gjennom figurativ språk eller spre den over linjer, noe som gjør det vanskeligere å spore i isolasjon. I mellomtiden rekonstruerer modellen fortsatt meninga godt nok til å svare fordi den er optimert til å inferere intensjon selv når språket er indirekte.

Oppdage og Motvirke Fangeutbrudd

Ettersom fangeutbruddsmetoder blir mer kreative, må samtalen skifte fra hvordan de fungerer til hvordan de oppdages og begrenses. Dette er spesielt sant nå når AI er en del av daglige rutiner for mange mennesker, da 27% rapporterer å bruke det flere ganger om dagen.

Ettersom flere mennesker bruker store språkmodeller (LLM), bør ytterligere sikkerhetsforanstaltninger testes og utforskes. Dette oppgaven innebærer å bygge lagdelte forsvar som kan tilpasse seg nye forespørselsstiler og unngåelses-tricks når de dukker opp.

Utviklerens Dilemma

Det hardeste med fangeutbrudd for AI-sikkerhetsteam er at de ikke kommer som en kjent trussel. De endrer seg kontinuerlig over tid. Denne konstante endringen skyldes at en bruker kan omformulere en forespørsel, dele den inn i fragmenter, pakke den inn i rollespill eller forkla den som kreativ skriving. Deretter kan hver ny pakking endre hvordan systemet tolker forespørselens intensjon.

Denne utfordringen skalerer raskt når AI allerede er integrert i daglige rutiner, så faktisk bruk skaper endeløse muligheter for kanttilfeller å dukke opp.

Derfor ser dagens AI-sikkerhet mer ut som å håndtere risiko over tid. NIST AI-risikostyringsrammeverket (AI RMF) behandler eksplisitt risikostyring som en pågående rekke aktiviter — organisert rundt styre, kartlegge, måle og håndtere — snarere enn som en statisk sjekkeliste. Målet er å skape prosesser som gjør det lettere å identifisere nye feilmoduser, prioritere fikser og stramme sikkerhetsforanstaltningene når nye fangeutbruddsstiler dukker opp.

Hvordan Modellene Beskytter Seg Selv

AI-sikkerhet består av flere lag. De fleste systemer har mer enn ett forsvar som arbeider sammen, med hvert forsvar som fanger forskjellige typer risikable handlinger. På det ytre laget fungerer inngående og utgående filtering som en portvakt.

Innkommende forespørsler skannes for politikkbrudd før de når kjerne-modellen, mens utgående svar sjekkes for å sikre at ingenting slipper gjennom på vei tilbake til brukeren. Disse systemene er gode til å identifisere direkte forespørsler eller kjente røde flagg, men de er også de enkleste å omgå, noe som er grunnen til at mer bedragelige fangeutbrudd ofte omgår dem.

Neste lag av beskyttelse skjer inne i modellen selv. Når fangeutbruddsteknikker oppdages, blir de ofte omdannet til treningseksempler. Dette er der hvor adversarial trening og forsterkning av menneskelig tilbakemelding (RLHF) kommer inn i bildet.

Ved å finjustere modeller på eksempler av feil eller risikable interaksjoner, lærer utviklerne effektivt systemet å gjenkjenne mønster det bør avvise, selv når de er pakket inn i kreative eller indirekte språk. Over tid hjelper denne prosessen med å immunisere modellen mot hele klasser av angrep.

Rollen Til AI “Red Teaming”

I stedet for å vente på at et fangeutbrudd skjer, bruker selskaper AI-red team. Disse teamene er grupper som er oppnevnt til å prøve å bryte modeller i kontrollerte miljøer. De nærmer seg systemene på samme måte en angriper ville, eksperimenterer med uvanlig formulering, kreative formater og kanttilfeller for å avdekke hvor sikkerhetsforanstaltningene svikter.

Red teaming er nå blitt en del av utviklingslivssyklusen i dagens sikkerhetsstrategier. Når et team oppdager en ny fangeutbruddsteknikk, går dataene direkte tilbake til trening og evalueringssystemer. Denne informasjonen brukes til å definere filtre, justere politikker og styrke adversarial trening så lignende forsøk er mindre sannsynlige å lykkes i fremtiden. Over tid skaper dette en kontinuerlig løkke — søk etter feil, lær av dem og forbedre systemet, så gjenta.

Når Poesi Blir En Stresstest for AI-Sikkerhet

Adversarial poesi er en påminnelse om at AI-sikkerhetsforanstaltninger avhenger av hvordan en bruker formulerer spørsmål, ikke bare hva. Ettersom modeller blir mer tilgjengelige og bredt brukt, vil forskere fortsette å søke etter gapene mellom kreativt språk og sikkerhetssystemer designet til å fange mer direkte intensjon. Budskapet er at tryggere AI vil komme fra multiple forsvar som utvikler seg like raskt som fangeutbruddene gjør.

Zac Amos er en teknisk forfatter som fokuserer på kunstig intelligens. Han er også redaktør for artikler i ReHack, der du kan lese mer av hans arbeid.