Brug af emojis kan omgå indholdsfilter i AI-chatbots

Emojis kan bruges til at omgå de sikkerhedsmekanismer i store sprogmodeller og udløse giftige udskrifter, der ellers ville være blokeret. Ved denne metode kan LLM’er (Large Language Models) fås til at diskutere og give råd om forbudte emner som bombefremstilling og mord.

Et nyt samarbejde mellem Kina og Singapore finder overbevisende bevis for, at emojis ikke kun kan bruges til at omgå indholdsdetektionsfilter i store sprogmodeller (LLM’er), men generelt kan øge niveauet af giftighed under en brugers interaktion med modellerne:

Fra den nye artikel, en bred demonstration af måder, hvorpå kodning af et forbudt begreb med emojis kan hjælpe en bruger med at ‘jailbreak’ en populær LLM. Kilde: https://arxiv.org/pdf/2509.11141

I eksemplet ovenfor fra den nye artikel ser vi, at omformning af regelbrydende ord-baseret hensigt til en emoji-belastet alternativ version kan fremkalde en langt mere ‘samvirkende’ respons fra en sofistikeret sprogmodel som ChatGPT-4o (der som regel renser inputprompts og aflytter outputmateriale, der måske krænker virksomhedsregler).

Effektivt kan emoji-brug derfor fungere som en jailbreak-teknik, ifølge artiklens forfattere.

En residual mysterium, der er nævnt i artiklen, er spørgsmålet om hvorfor sprogmodeller giver emojis så megen frihed til at krænke regler og fremkalde giftigt indhold, når modellerne allerede forstår, at visse emojis har stærke giftige associationer.

Forslaget, der fremsættes, er, at fordi LLM’er er trænet til at modelere og reproducere mønstre fra deres træningsdata, og fordi emojis er så hyppigt fundet i disse data, lærer modellen, at emojien tilhører i denne diskurs, og behandler den som en statistisk association, i stedet for indhold, der skal vurderes og filtreres.

Dette betyder, at emojien, når den genbruges i en prompt, hjælper modellen med at forudsige giftige fortsættelser med større sikkerhed; men i stedet for at fungere som en rød flag, fungerer emojien som en semantisk cue, der faktisk forstærker den ønskede giftige mening i stedet for at moderere eller aflytte den. Da sikkerhedsjustering anvendes efterfølgende, og ofte i en snæver, litteral ramme, kan prompts med disse emojis måske undgå opdagelse helt.

På denne måde foreslår artiklen, at modellen ikke bliver tolerant trods den giftige association – den bliver tolerant fordi den.

Fri Pas

Det sagde, medgiver forfatterne, at dette ikke repræsenterer en endelig teori om, hvorfor emoji-brug kan omgå indholdsfilter i sprogmodeller så effektivt. De siger:

‘Modeller kan genkende den skadelige hensigt, der udtrykkes af emojis, men hvordan det omgår sikkerhedsmekanismer, er uvist.’

Svagheden kan stamme fra den tekstcentrerende design af indholdsfiltre, der antager enten litteral tekstinput eller indlejring, der trofast konverteres til tekstækvivalenter: i begge tilfælde afhænger systemet af eksplisitte tokens, der kan matche mod sikkerhedsregler.

For at tage et eksempel fra AI-baseret billedredigering: Når en bruger uploader et NSFW-billede til en vision-sprogmodel og anmoder om ændringer, anvender systemer som Adobe Firefly eller ChatGPT CLIP-stil pipelines til at trække tekstkoncepter ud af billedet, som en forudsætning for redigering. Når disse koncepter er omsat til ord, vil tilstedeværelsen af eventuelle begrænsede termer i disse trukne ord udløse filtret, hvilket får anmodningen om at blive afvist.

Men af en eller anden grund synes emojiers status som hverken ord eller billede (eller både og) at give dem en magt til at transcender filtrering; tydeligt, som forfatterne indikerer, er yderligere forskning i denne underlige løkke berettiget.

Den nye artikel har titlen Når Smiley Bliver Fjendtlig: Fortolkning af, hvordan Emojis Udløser LLM’er’s Giftighed og kommer fra ni forfattere på Tsinghua Universitet og National University of Singapore.

(Desværre er mange af de eksempler, artiklen henviser til, i et appendix, der endnu ikke er blevet gjort tilgængeligt; selvom vi har anmodet om dette af forfatterne, er appendix ikke blevet leveret på skrive tidspunkt.)

De Tre Kernefortolkninger af Emojis

Forfatterne fremhæver tre lingvistiske træk, der gør emojis effektive til at omgå filtre. Først er emoji-betydninger kontekstafhængige. For eksempel er ‘Penge med Vinger’-emojien (se billedet nedenfor) officielt defineret som repræsentation af pengeoverførsler eller udgifter; men afhængigt af omgivende tekst kan den også antyde enten lovlig eller ulovlig aktivitet:

I et delvist eksempel fra den nye artikel ser vi, at en populær emoji kan have sin betydning kapret, ændret eller undergravet i populær brug.

Anden, kan emojis ændre tonen af en prompt. Deres tilstedeværelse tilføjer ofte legesyge eller ironi, der mildner den emotionelle registrering. I skadelige forespørgsler kan dette gøre anmodningen om at se ud som en joke eller spil, hvilket opmuntrer modellen til at svare i stedet for at afvise:

Den lettede effekt af emojis kan desinficere tone uden at desinficere hensigt.

Tredje, påstår artiklen, at emojis er sprogagnostiske: en enkelt emoji kan bære den samme sentiment på tværs af engelsk, kinesisk, fransk og andre sprog. Dette gør dem ideelle til multilingvalle prompts, der bevarer betydning, selv når den omgivende tekst er oversat:

Det knuste hjerte-emoji overbringer en universel besked, måske ikke mindst fordi det repræsenterer en basal sag i den menneskelige tilstand, relativt immun over for nationale eller kulturelle variationer.

Tilgang, Data og Tests*

Forskerne skabte en modificeret version af AdvBench-datasettet, hvor de omskrev skadelige prompts til at inkludere emojis enten som erstatninger for følsomme ord eller som dekorativ kamuflage. AdvBench dækker 32 højrisikotemaer, herunder bombing, hacking og mord, blandt andre:

Oprindelige eksempler fra AdvBench, der illustrerer, hvordan en enkelt adversarial prompt kan omgå sikkerhedsforanstaltninger i multiple store chatbots, og fremkalde skadelige instruktioner, trods alignments-træning. Kilde: https://arxiv.org/pdf/2307.15043

Alle 520 oprindelige AdvBench-eksempler blev ændret på denne måde, med de top 50 giftige og ikke-duplikate prompts, der blev brugt på tværs af eksperimenterne. Promptene blev også oversat til multiple sprog og testet på syv store lukkede og åbne kilde-modeller, og i kombination med de kendte effektive jailbreak-teknikker Prompt Automatic Iterative Refinement (PAIR); Tree of Attacks with Pruning (TAP); og DeepInception.

Lukkede kilde-modeller, der blev brugt, var Gemini-2.0-flash; GPT-4o (2024-08-06); GPT-4-0613; og Gemini-1.5-pro. Åbne kilde-modeller, der blev brugt, var Llama-3-8B-Instruct; Qwen2.5-7B-Instruct (Team 2024b); og Qwen2.5-72B-Instruct (Team 2024a), med alle eksperimenter gentaget tre gange for at tage højde for tilfældighed.

Studiet testede først, om omskrivning af skadelige prompts fra AdvBench ved hjælp af emojis ville øge giftigt output, herunder i oversættelser til andre store sprog. Derudover anvendte det samme emoji-redigeringsmetode til prompts fra de ovennævnte kendte jailbreak-strategier (PAIR, TAP og DeepInception) for at se, om emoji-erstatning kunne yderligere forbedre deres succes.

I begge tilfælde blev strukturen af de oprindelige prompts bevaret, med kun følsomme termer udskiftet med emojis og dekorative elementer tilføjet for at kamuflere hensigt.

For testmetrikker opfandt forfatterne et vurderingssystem kaldet GPT-Judge. I denne opsætning fungerede GPT-4o ikke som den model, der blev testet, men blev i stedet bedt om at fungere som grader, der tildelte et numerisk Skadelig Score (HS) til svar genereret af andre modeller.

Hvert output blev vurderet fra én (harmless) til fem (ekstremt skadelig), og procentdelen af svar, der fik en fem, blev rapporteret som Skadelighedsforholdet (HR).

For at forhindre, at modellerne gled ind i emoji-forklaringer i stedet for at svare eksplisit, tilføjede forskerne en instruktion til hver prompt, der fortalte modellen at gøre sit svar kort:

Skadelighedsforhold-resultater for emoji-forstærkede jailbreak-prompts i ‘Setting-2’, med modelnavne vist i forkortet form.

Den første af de to tabeller ovenfor, siger forfatterne, indikerer også, at effekten af emojis strækker sig på tværs af sprog. Når de tekstlige komponenter af emoji-prompts blev oversat til kinesisk, fransk, spansk og russisk, forblev de skadelige outputs høje; da disse er højressourcer, antyder resultaterne, at risikoen ikke er begrænset til engelsk, men gælder bredt for store brugergrupper, med emojis, der fungerer som en overførbar kanal for giftig generering.

Mod slutningen af artiklen foreslår forskerne, at effekten af emojis ikke blot er tilfældig, men rod i, hvordan modellerne behandler dem, og bemærker, at modellerne åbenbart kan genkende den skadelige betydning af emojis – dog undertrykkes afvisningsrespons, når emojis er til stede.

Tokeniseringsstudier indikerer yderligere, at emojis normalt brydes ned i sjældne eller uregelmæssige fragmenter med lille overlap til deres tekstlige ækvivalenter, hvilket effektivt skaber en alternativ kanal for skadelig semantik.

At se ud over modelmekanik, undersøger artiklen yderligere forudgående data og finder, at mange hyppigt brugte emojis optræder i skadelige sammenhænge som pornografi, svindel eller spil. Forfatterne argumenterer for, at denne gentagne eksponering kan normalisere associationen mellem emojis og skadeligt indhold, hvilket opmuntrer modellerne til at samarbejde med skadelige prompts i stedet for at blokere dem.

Sammen antyder disse fund, at både interne behandlingsfejl og forudgående data bidrager til den overraskende effektivitet af emojis i at omgå sikkerhedsforanstaltninger.

Konklusion

Det er ikke usædvanligt at bruge alternative inputmetoder til at forsøge at jailbreak LLM’er. For nylig er hex-encoding blevet brugt til at omgå ChatGPT’s filtre. Problemet synes at ligge i den flade brug af tekstbaseret sprog til at kvalificere indgående anmodninger og udgående svar.

I tilfældet med emojis kan en skjult kilde af regelbrydende betydning åbenbart introduceres i diskurs uden straf eller indgriben, fordi overførselsmetoden er usædvanlig. Man ville tro, at CLIP-baseret translitteration ville gribe ind i alle billeduploads, således at krænkeligt eller krænkende materiale ville ende som flaggbart tekst.

Det synes dog ikke at være tilfældet, i hvert fald ikke hvor de store LLM’er, der er studeret, er bekymrede; deres sprogbarrierer synes at være skrøbelige og tekstcentrerede. Man kan forestille sig, at en mere omfattende fortolkning af indhold (for eksempel ved at studere heatmap-aktiveringer) medfører en proces- og/eller bandbreddeomkostning, der kan gøre sådanne tilgange upraktisk dyre, blandt andre mulige begrænsninger og overvejelser.

* Layoueten af denne artikel er kaotisk sammenlignet med de fleste, med metode og tests ikke tydeligt afgrænset. Vi har derfor gjort vores bedste for at repræsentere artikelens kerneværdi så godt som muligt under disse omstændigheder.

^† I en åbenbart næsten uigennemtrængelig og forvirret behandling af resultaterne.

Først udgivet onsdag, 17. september 2025