Sprogmodeller kæmper for at holde en hemmelighed

AI-modeller kan ikke holde hemmeligheder. Selv når de bliver bedt om ikke at afsløre dem, afslører deres skrivning dem, og jo hårdere de prøver at skjule dem, jo lettere er det at opdage lækkagen.

Det er meget svært at bevidst ikke tænke på noget. En klassisk illustration heraf ses i slutningen af den britiske sci-fi-thriller Village of the Damned fra 1960, hvor vores selvofrerende helt har smuglet en bombe ind i en gruppe fjendtlige, telepatiske alien-invasionsstyrker, der udgiver sig for at være børn. Men da deres telepatiske kræfter risikerer at opdage hans hensigt, før han kan udrydde truslen, bliver han tvunget til at spille på tiden ved at koncentrere sig om noget, der ikke er bomben:

Paradokset er, at for ikke at tænke på noget, må man holde det i sin opmærksomhed på en eller anden måde; og dette kendte syndrom er noget, de fleste af os sandsynligvis har oplevet i mindre dramatiske sammenhænge.

Store Sprogmodeller (LLM’er), hvis grundlag er baseret på dispositionen af opmærksomhed, oplever lignende svigt i at undertrykke information blot fordi en bruger beder dem om at gøre det; og da de er mere og mere blevet placeret i centrum af forretningsinformationssystemer, kan deres naive tendens til at være ufordækte blive en belastning for mange virksomheder.

Tidligere på året definerede en forskningsgruppe ledet af Chandar Research Lab denne udfordring, i sammenhæng med LLM’er, som Private State Interactive Tasks (PSIT’er), som ‘kræver agenter at generere og opretholde skjult information, mens de producerer konsistente offentlige svar’, og fandt, at testede modeller fra OpenAI og Alibaba ikke kunne udføre denne type opgave.

Sig det ikke…

Selv om det allerede er kendt, at større modeller lækker mere, har ny forskning fra USA og Canada udtrykkeligt studeret, om state-of-the-art sprogmodeller vil adlyde en kommando til at undertrykke information, mens de stadig er nødt til at generere output i et tema eller emne, der måske inkluderer det “forbudte” ord eller idé.

Papiret konkluderer, at alle de modeller, det studerer, på en eller anden måde er påvirket af en tendens til at “afsløre” hemmeligheden, de skal skjule, og finder, at fem-paragraphers (~450 ord) essays og historier giver en god mulighed for “lækkager” – selv om meget korte vittigheder ikke giver nok mulighed for dette.

Dertil kommer, at jo mere insisterende modellerne opfordres til at holde en hemmelighed, jo mere risikerer de at afsløre den gennem aktiv undgåelse, som regel tillader det “hemmelige ord” at blive afsløret i tyve successive forsøg af en LLM:

From the new paper: across five frontier models, long-form writing reliably leaks hidden concepts; short jokes do not; and stronger ‘hide it’ instructions push outputs away from the secret, but make the signal therefore detectable by inversion. Source

Dette opgave er ekstremt relevant for forretningsoperationer, hvor en bred vifte af kanaler, fra marketing og PR-udstyr til interne rapporter, kræver at selektivt præsentere en spin på information; men alle disse processer kræver den fulde vifte af information fra starten, hvis blot for at være sikker på, hvad der skal undertrykkes:

An example scenario from the paper illustrates how concealed information can unintentionally shape unrelated output, with an LLM instructed not to disclose its company’s financial instability, yet nonetheless drifting toward phrases associated with cash shortages and capital stress, allowing a reader to infer the hidden context.

Forfatterne siger*:

‘Sprogmodeller kan ikke pålideligt opdele. En hemmelighed i prompten former modellens skrivning, og en anden model kan opdage den formning. Det litterale ord er altid undertrykt, men begrebet er ikke. Dette gælder på tværs af syv modeller, tre ordgrupper, systemprompt mod brugerprompt, og to uafhængige tværsmodellernes gættere (…)

‘…Vi formoder, at Transformers’ højtilgængelighed til information via opmærksomhed er præcis det, der gør hemmeligheder svære at holde. Selv om en LLM forsøger at ikke lække et ord, må den opmærksomme sig på det for at gøre det, og giver en vej for ufrivillig lækkage.

‘For at undgå noget eksplicit, må en menneske tænke på det, og en transformer må opmærksomme sig på det. I tilfælde, hvor to begreber er omtrent lige favoriseret af modellen (f.eks. skrivning om et kontorjob eller andenviolin i et orkester), vil modellens beslutningstagning uundgåeligt blive påvirket af, hvad den prøver at afsløre.’

Selv om DeepSeek- og ChatGPT-5.4-modellerne var undtagelser i den måde, de opførte sig på, lækkede de også; i tilfælde af GPT-5.4, scorede den under 50% (dvs. under tilfældighedens niveau) i en test, hvor den blev bedt om at undgå et begreb; dette svarede til en “omvendt spike” eller indikator, snarere end modellen “holdt sin cool” som anmodet.

Forfatterne definerer dette syndrom i LLM’er som en endelig entropibudget, hvor modellens uforudsigelighed (som ville være meget nyttig i dette tilfælde!) er begrænset af dens essentielle mangel på tilfældighed. Alt sagt og gjort, kan modellen ikke koncentrere sig om mursten eller baseballresultater så effektivt som vi kan, for at holde en vedvarende tanke væk. Forfatterne bemærker dog, at at give modellen en alternativ idé at tænke på, kan forbedre, men ikke eliminere problemet. At placere en ikke-relateret idé i centrum af opmærksomhed, mens modellen udfører en opgave, synes dog at være bestemt til at indvikle den “falske” idé i outputtet selv.

En af papirets mest interessante fund er, at den studerede tilstand forværres, når kontekstteksten er inkluderet direkte i brugermeddelelser i stedet for en systemprompt (dvs. en samling forudsætninger givet til AI’en af den menneskelige bruger, før udvekslingen), da at skrive spørgsmål ind i et GUI som ChatGPT er sandsynligvis det standard-scenarie for interaktioner.

Bemærkelsesværdigt, ud over dette, er bekræftelsen i en målrettet prøve, at mindre modeller ikke lider af denne tendens til at lække (om end dette sandsynligvis kommer med lignende reducerede overordnede evner i sammenligning).

Den nye artikel har titlen Kan du holde en hemmelighed? Ufrivillig informationslækkage i sprogmodellens skrivning og kommer fra to forfattere på University of Chicago og University of British Columbia.

Metode

Studiet fokuserer primært på fem frontmodeller: Claude Opus 4.6 og Sonnet 4.6 fra Anthropic; GPT-5.4 fra OpenAI; Llama 4 Maverick fra Meta; og DeepSeek V3.2. Yderligere valideringstests blev udført med xAI’s Grok 4, og Google’s Gemini 2.5 Pro, mens separate skaleringsforsøg undersøgte Llama 3.2 3B, Llama 3.1 8B, Llama 3.3 70B, og Gemma 3 på 4B, 12B og 27B parametre.

For at måle mere subtile former for lækkage, brugte forskerne en to-alternativ tvangsvælges (2AFC) test, en standardmetode i psykofysiklitteraturen, hvor en anden model blev vist to historier og bedt om at afgøre, hvilken af dem var skrevet, mens den skjulte et bestemt hemmeligt ord. (source)

Da tilfældigt gætning ville producere en 50% succesrate, ville resultater væsentligt over eller under dette niveau indikere, at den påståede hemmelige koncept stadig var detectable i skrivningen.

I forfatter-gætter-opsætningen, der udgjorde den første eksperiment, blev en model tildelt et skjult ord sammen med instruktioner enten til at skjule det; aktivt undgå associationer med det; eller omdirigere opmærksomhed mod en decoy-idé. Systemet blev herefter bedt om at generere historier, essays og vittigheder af varierende længde, mens en anden model forsøgte enten at identificere det skjulte ord direkte eller at skelne mellem tekster, der var påvirket af forskellige skjulte prompts.

Forskere testede fem betingelser:

The five condition tested across the core models.

Forskere testede fire typer skriveopgaver: korte historier på fem til otte paragrafer i gennemsnit omkring 450 ord; meget korte vittigheder i gennemsnit omkring 12 ord; lange vittigheder med udvidede opsætninger i gennemsnit omkring 450 ord; og fem-paragraphers essays i gennemsnit omkring 380 ord.

Eksperimenterne brugte 15 skjulte ord fordelt på tre kategorier, med konkrete objekter bestående af ‘paraply’, ‘fyrtaarn’, ‘violin’, ‘kaktus’, og ‘teleskop’; abstrakte begreber ‘retfærdighed’, ‘tålmodighed’, ‘entropi’, ‘nostalgi’, og ‘frihed’; og neutrale termer ‘krog’, ‘tirsdag’, ‘kobber’, ‘margin’, og ‘faktura’.

For at teste, om effekten afhængede af disse håndplukkede ord, gentog forskerne også eksperimenterne med 15 tilfældigt valgte navne fra Corpus of Contemporary American English (COCA), bestående af ‘dommer’, ‘forbruger’, ‘is’, ‘par’, ‘konstruktion’, ‘panel’, ‘minoritet’, ‘markedsføring’, ‘fremmed’, ‘kugle’, ‘fravær’, ‘gear’, ‘kind’, ‘behandling’, og ‘bankmand’, samt yderligere 15 ord, der var uafhængigt valgt af hver af de testede modeller^†.

Måling/Metrikker

I den første af de to tests, der blev brugt, læste en AI-model teksten, der var genereret af en anden instans af sig selv eller en anden model, og forsøgte over 20 runder at gætte det skjulte ord.

I den anden (2AFC) test blev AI’en vist to stykker skrivning og bedt om enten at afgøre, hvilken af dem var blevet påvirket af et bestemt skjult ord; eller hvilken af dem indeholdt noget skjult ord overhovedet. Da tilfældigt gætning ville producere en 50% succesrate, ville resultater væsentligt over eller under dette niveau indikere, at den påståede hemmelige koncept stadig var detectable i skrivningen.

For at forhindre, at AI’en blot favoriserede, hvilken tekst der kom først (eller anden), gentog forskerne hver sammenligning med teksten i omvendt rækkefølge, og udførte i alt 420 diskriminationstests og 450 detectionstests for hver model.

Resultater

Fem modeller identificerede skjulte begreber med en rate på mellem 64% og 79%, på trods af at de hemmelige ord aldrig direkte optrådte i de genererede historier. I stedet optrådte lækkagen gennem temaer og billeder:

2AFC accuracy for stories with system-prompt secrets, where 50% signifies chance performance. ‘Don’t reveal’ signifies that the model was told not to mention or hint at the word; ‘actively hide’, that it was told to avoid related associations; ‘avoidance-aware’, that the guesser should look for conspicuous absences; and ‘free-response’, that the exact word was named within 20 rounds. Stars mark above-chance results and daggers mark below-chance results, with nearly all significant findings surviving Bonferroni correction except DeepSeek under ‘actively hide’; Grok and Gemini used slightly fewer trials because of API errors.

GPT-5.4 og Gemini 2.5 Pro opførte sig anderledes, fordi forsøget på at undgå den skjulte idé faktisk gjorde undgåelsesmønstret selv lettere at detectere. Denne effekt bestod på tværs af håndplukkede ord, tilfældigt valgte COCA-navne og ord valgt af modellerne.

GPT-5.4’s resultater under tilfældighedens niveau var systematiske snarere end tilfældige, med nogle skjulte ord, der blev detekteret meget pålideligt, og andre, der næsten aldrig blev identificeret. Effekten svækkedes, når hemmeligheden blev placeret i brugerprompten i stedet for systemprompten (se ovenfor), og øgede GPT-5.4’s detectionsnøjagtighed til 56%.

For de fleste modeller producerede tests, der spurgte ‘Indeholder denne tekst en skjult koncept?’, resultater, der var lignende med tests, der spurgte ‘Hvilket skjult koncept indeholder denne tekst?’.

Yderligere var de to testmetoder målte forskellige typer af lækkage, hvor 2AFC-testerne målte, om et skjult tema stadig kunne detecteres i skrivningen, og fri-responstesterne målte, om de lækkede hints var stærke nok til, at en anden AI kunne gætte det præcise skjulte ord^††.

Forfatterne konkluderer*:

‘Vore fund antyder, at information, der er aktiv i en modells kontekst under generation, kan efterlade tematiske spor i dens output. Systemprompts, chain-of-thought-reasoning, hentede dokumenter, brugerleveret data – noget af dette kan i princippet påvirke kreative beslutninger på måder, der kan detecteres af en ydre observatør.

‘Grad af lækkage afhænger af, hvor åben genereringsopgaven er (korte vittigheder er sikre; historier er ikke) og af, hvor semantisk identificerbar informationen er i den givne medium (“violin vil sandsynligvis lække i historier mere end “).

‘Alligevel synes semantisk lækkage at være uundgåelig, selv når modeller aktivt prøver at skjule information.’

Konklusion

Som nævnt ovenfor tilskriver forfatterne en del af problemet de grundlæggende principper for Transformers-arkitekturen selv. Historien antyder, at dette seneste LLM-problem vil blive adresseret ved post-træningsbetoning (alignering), systemprompts, der ikke kan redigeres af slutbrugeren, filtre og den diverse samling af sekundære systemer, der synes at multiplicere, når “native” problemer med diffusionsmodeller kommer til lyset.

Jo større denne sekundære infrastruktur af sikkerhedsforanstaltninger og balancer bliver, jo mere ligner den nuværende generation af SOTA-AI Jurassic Park, hvor kerneværdien kommer med en frygtindgydende mængde forbehold, og kræver en mængde arbejdsgange og kompromiser.

* Forfatterens egen betoning, tilpasset efter behov (fordi et artikelcitat allerede er i kursiv), og forfatterens inline-citationer konverteret til hyperlinks af mig.

^† Forfatterne bemærker med interesse en tilsyneladende usandsynlig spontan overlap på tværs af forskellige modelfamilier i forhold til ‘selvvalgte’ ordvalg, og siger ‘Modellerne tiltrækkes af lignende ord: teleskop, frihed og nostalgi dukker op i 3+ modellers lister’. De bemærker yderligere en fælles valg af ‘kort vittighed’ på tværs af modelfamilier: ‘(Flere) modeller producerer den samme standardvittighed uanset det skjulte ord. Opus skriver ‘Hvorfor stoler videnskabsfolk ikke på atomer? Fordi de gør alt op’ for 11 af 15 hemmeligheder. De resterende fire hemmeligheder (kaktus, entropi, nostalgi, tålmodighed) modtager den samme biblioteksvittighed, som Opus også skriver for alle 15 ikke-hemmelighedsbetingelser – hvilket betyder, at disse fire hemmelighedsbetingede vittigheder er ikke-afgørbare fra grundlinjen.’

^†† Even by Arxiv-standard er papiret tilbøjelig til at gentage og begrave sine fascinerende ledes i overmål af detaljer og demonstrationer. Derfor henviser jeg læseren til kilde-PDF’en for resten af de sekundære eksperimenter, der er beskrevet deri.

Offentliggjort fredag, 15. maj 2026. Rettet syntaks lørdag, 16. maj, 16:05 EET.