Språkmodeller sliter med å holde på en hemmelighet

AI-modeller klarer ikke å holde på hemmeligheter. Selv når de blir bedt om ikke å avsløre dem, røper tekstene deres dem. Jo mer de forsøker å skjule hemmeligheten, desto lettere blir informasjonslekkasjen å oppdage.

Det er svært vanskelig bevisst ikke å tenke på noe. Et klassisk eksempel finnes i slutten av den britiske sciencefictionthrilleren fra 1960 Village of the Damned: Vår selvoppofrende helt har smuglet en bombe inn i tilholdsstedet til fiendtlige romvesener som utgir seg for å være barn. De telepatiske evnene deres kan imidlertid avsløre hensikten hans før han får fjernet trusselen. Derfor vinner han tid ved å konsentrere seg om alt som ikke er bomben:

https://www.youtube.com/watch?v=NcrE0vGrcto

Paradokset er at man for ikke å tenke på noe likevel må holde det i oppmerksomheten på en eller annen måte. Dette velkjente fenomenet har de fleste av oss sannsynligvis opplevd i mindre dramatiske sammenhenger.

Store språkmodeller (LLMs), som bygger på organisering av oppmerksomhet, har tilsvarende vansker med å undertrykke informasjon bare fordi en bruker ber om det. De plasseres stadig oftere i knutepunktene i bedriftenes informasjonsnettverk, og den naive tendensen deres til indiskresjon kan dermed bli en risiko for mange selskaper.

Tidligere i år definerte et forskningssamarbeid ledet av Chandar Research Lab denne utfordringen for språkmodeller som Private State Interactive Tasks (PSIT-er), som «krever at agenter genererer og opprettholder skjult informasjon samtidig som de gir konsistente offentlige svar». De testede modellene fra OpenAI og Alibaba klarte ikke denne typen oppgave.

Ikke si det …

Det er allerede kjent at større modeller lekker mer informasjon. Ny forskning fra USA og Canada undersøkte uttrykkelig om de mest avanserte språkmodellene følger en ordre om å undertrykke informasjon når de fortsatt må skrive om et tema som kan omfatte det «forbudte» ordet eller begrepet.

Alle de undersøkte modellene har på en eller annen måte en tendens til å røpe hemmeligheten de skal skjule. Essays og historier på fem avsnitt, rundt 450 ord, gir tilstrekkelig rom for slike «forsnakkelser», mens svært korte vitser ikke gjør det.

Jo mer insisterende modellene blir bedt om å holde på en hemmelighet, desto mer risikerer de å røpe den gjennom aktiv unngåelse. En annen språkmodell kan vanligvis gjette det hemmelige ordet innen tjue forsøk på rad:

Fra den nye studien: Hos fem ledende modeller røper lengre tekster pålitelig skjulte begreper, mens korte vitser ikke gjør det. Sterkere instrukser om å skjule hemmeligheten styrer tekstene bort fra den, men gjør dermed signalet gjenkjennelig ved omvendt tolkning. Kilde

Denne oppgaven er svært relevant for bedrifter: Mange kanaler, fra reklame og PR til interne rapporter, må presentere informasjon selektivt og gi den en bestemt vinkling. Likevel trenger alle disse prosessene fullstendig informasjon fra begynnelsen, om ikke annet for å vite hva som skal utelates:

Et eksempel fra studien viser hvordan skjult informasjon utilsiktet kan prege en tekst om noe annet: En språkmodell får beskjed om ikke å avsløre selskapets økonomiske ustabilitet, men bruker likevel formuleringer om likviditetsmangel og kapitalpress. Leseren kan dermed utlede den skjulte sammenhengen.

Forfatterne skriver*:

«Språkmodeller klarer ikke pålitelig å holde informasjon atskilt. En hemmelighet i prompten påvirker modellens tekst, og en annen modell kan oppdage denne påvirkningen. Det bokstavelige ordet forblir undertrykt, men ikke begrepet. Dette gjelder sju modeller, tre ordsamlinger, system- og brukerprompter samt to uavhengige modeller som forsøker å gjette hemmelighetene (…)»

«… Hypotesen vår er at nettopp Transformernes svært presise tilgang til informasjon gjennom oppmerksomhet gjør hemmeligheter vanskelige å holde. Selv når en språkmodell forsøker å ikke lekke et ord, må den rette oppmerksomheten mot ordet for å gjøre det. Det åpner en vei for utilsiktet informasjonslekkasje.»

«For å unngå noe uttrykkelig må et menneske tenke på det, og en Transformer må rette oppmerksomheten mot det. Når modellen foretrekker to begreper omtrent like mye — eksempelvis en historie om en kontorjobb eller en andrefiolinist i et orkester —, blir avgjørelsene uunngåelig påvirket av det den forsøker å ikke avsløre.»

Selv om DeepSeek og ChatGPT-5.4 oppførte seg annerledes, lekket begge informasjon. GPT-5.4 fikk et resultat under 50 prosent — altså under tilfeldighetsnivået — i en test der modellen skulle unngå et begrep. Det tilsvarer en «omvendt topp», et gjenkjennelig signal, fremfor den ønskede diskresjonen.

Forfatterne beskriver problemet som et begrenset entropibudsjett. Modellens uforutsigbarhet, som ville vært svært nyttig her, begrenses av den grunnleggende mangelen på tilfeldighet. Modellen klarer altså ikke å konsentrere seg om en murvegg eller baseballresultater like effektivt som oss for å holde en vedvarende tanke unna. Et alternativt begrep kan ifølge forfatterne dempe problemet, men ikke fjerne det. Dette uvedkommende, «falske» begrepet ser imidlertid selv ut til å bli flettet inn i teksten når det står i sentrum for oppmerksomheten under oppgaven.

Et særlig interessant funn er at problemet forverres betydelig når instruksene står direkte i brukermeldinger fremfor i en systemprompt — et sett forutsetninger som den menneskelige brukeren gir AI-en før samtalen. Å skrive spørsmål i et grensesnitt som ChatGPT er sannsynligvis den vanlige formen for samhandling.

Det er også verdt å merke seg at mindre modeller ikke viste denne tendensen i en målrettet test. Det kan imidlertid henge sammen med mer begrensede generelle evner.

Den nye studien heter Can You Keep a Secret? Involuntary Information Leakage in Language Model Writing og er skrevet av to forfattere fra University of Chicago og University of British Columbia.

Metode

Studien konsentrerer seg hovedsakelig om fem ledende modeller: Claude Opus 4.6 og Sonnet 4.6, fra Anthropic; GPT-5.4 fra OpenAI; Llama 4 Maverick fra Meta; og DeepSeek V3.2. Ytterligere validering ble gjort med Grok 4 fra xAI og Gemini 2.5 Pro fra Google. Separate forsøk om betydningen av modellstørrelse undersøkte Llama 3.2 3B, Llama 3.1 8B, Llama 3.3 70B og Gemma 3 med 4, 12 og 27 milliarder parametere.

For å måle mer subtile lekkasjer brukte forskerne en tvungen valgtest med to alternativer (2AFC), et standardmål i psykofysikk. En annen modell får se to historier og skal avgjøre hvilken som ble skrevet mens et bestemt hemmelig ord ble skjult.

Tilfeldig gjetting gir 50 prosent riktige svar. Resultater klart over eller under dette nivået viser derfor at skjulte semantiske spor fortsatt kan gjenkjennes.

I skriver–gjetter-oppsettet i det første forsøket får en modell et hemmelig ord og instrukser om å skjule det, aktivt unngå tilknyttede assosiasjoner eller flytte oppmerksomheten til et avledningsbegrep. Deretter skriver den historier, essays og vitser av ulik lengde. En annen modell forsøker å gjette ordet direkte eller skille mellom tekster påvirket av forskjellige skjulte prompter.

Fem betingelser ble testet:

De fem betingelsene som ble testet med hovedmodellene.

Forskerne testet fire skriveoppgaver: historier på fem til åtte avsnitt, med rundt 450 ord i gjennomsnitt; svært korte vitser, omkring 12 ord; lange vitser med en omfattende innledning, rundt 450 ord; og essays på fem avsnitt, omkring 380 ord.

Forsøkene brukte 15 hemmelige ord fordelt på tre kategorier: De konkrete gjenstandene var ‘umbrella’, ‘lighthouse’, ‘violin‘, ‘cactus’ og ‘telescope’; de abstrakte begrepene var ‘justice’, ‘patience’, ‘entropy’, ‘nostalgia’ og ‘freedom’; og de nøytrale uttrykkene var ‘bracket’, ‘Tuesday’, ‘copper’, ‘margin’ og ‘invoice’.

For å undersøke avhengigheten av disse håndplukkede ordene gjentok forskerne forsøkene med 15 tilfeldig valgte substantiver fra Corpus of Contemporary American English (COCA): ‘judge’, ‘consumer’, ‘ice’, ‘pair’, ‘construction’, ‘panel’, ‘minority’, ‘marketing’, ‘stranger’, ‘bullet’, ‘absence’, ‘gear’, ‘cheek’, ‘processing’ og ‘banker’; i tillegg til ytterligere 15 ord som hver testet modell valgte uavhengig selv^†.

Måling og måltall

I den første testen leser en AI-modell en tekst skrevet av en annen modell eller av modellen selv og forsøker å gjette det hemmelige ordet i 20 runder.

I den andre testen (2AFC) får den to tekster. Den skal avgjøre hvilken som ble påvirket av et bestemt hemmelig ord, eller hvilken som inneholder et skjult begrep overhodet. Tilfeldig gjetting gir 50 prosent riktige svar, så resultater klart over eller under dette nivået viser at begrepet fortsatt kan oppdages.

For å utelukke en enkel preferanse for første eller andre tekst ble hver sammenligning gjentatt med omvendt rekkefølge. Hver modell gjennomførte i alt 420 diskriminasjonstester og 450 deteksjonstester.

Resultater

Fem modeller identifiserte skjulte begreper i 64 til 79 prosent av tilfellene, selv om de hemmelige ordene aldri opptrådte direkte i historiene. Informasjonen kom i stedet frem gjennom temaer og bilder:

2AFC-nøyaktighet for historier med hemmeligheter i systemprompten; 50 prosent tilsvarer tilfeldighetsnivået. «Ikke avslør» forbyr å nevne eller antyde ordet; «skjul aktivt» krever at tilknyttede assosiasjoner unngås; «bevisst på unngåelse» ber gjetteren lete etter påfallende fravær; «fritt svar» betyr at det nøyaktige ordet ble identifisert innen 20 runder. Stjerner markerer resultater over tilfeldighetsnivået og kors resultater under. Nesten alle signifikante funn forble signifikante etter Bonferroni-korreksjonen, bortsett fra DeepSeek under «skjul aktivt». Grok og Gemini hadde noe færre forsøk på grunn av API-feil.

GPT-5.4 og Gemini 2.5 Pro oppførte seg annerledes: Forsøket på å unngå den skjulte ideen gjorde selve unngåelsesmønsteret lettere å oppdage. Effekten vedvarte med håndplukkede ord, tilfeldige COCA-substantiver og ord valgt av modellene.

GPT-5.4s resultater under tilfeldighetsnivået virket systematiske: Noen ord ble oppdaget svært pålitelig, andre nesten aldri. Effekten ble svakere når hemmeligheten sto i brukerprompten fremfor systemprompten, noe som økte GPT-5.4s deteksjonsnøyaktighet til 56 prosent.

For de fleste modellene ga spørsmålet «Inneholder denne teksten et skjult begrep?» lignende resultater som spørsmålet «Hvilket skjult begrep inneholder denne teksten?».

De to metodene målte dessuten forskjellige typer informasjonslekkasje: 2AFC målte om et skjult tema fortsatt kunne oppdages; frie svar viste om sporene lot en annen AI gjette det nøyaktige ordet^††.

Forfatterne konkluderer*:

«Funnene våre antyder at informasjon som er aktiv i en modells kontekst under generering, kan etterlate tematiske spor i teksten. Innhold i systemprompter, tankekjederesonnementer, hentede dokumenter og brukerdata kan i prinsippet påvirke kreative avgjørelser på måter som en utenforstående kan oppdage.»

«Omfanget av lekkasjen avhenger av hvor åpen skriveoppgaven er — korte vitser er trygge, historier er det ikke — og hvor semantisk identifiserbar informasjonen er i mediet (“violin vil sannsynligvis lekke mer i historier enn “)”).»

«Likevel synes semantisk informasjonslekkasje å være uunngåelig, selv når modeller aktivt forsøker å skjule informasjon.»

Konklusjon

Som nevnt tilskriver forfatterne en del av problemet grunnprinsippene i Transformer-arkitekturen selv. Historien antyder at også dette nyeste LLM-problemet vil bli håndtert med tilpasning etter treningen — alignment —, systemprompter som sluttbrukere ikke kan redigere, filtre og det voksende mangfoldet av sekundære systemer som synes å bli stadig flere når «iboende» problemer med diffusjonsmodeller kommer frem.

Jo større denne sekundære infrastrukturen av sikkerhetstiltak og motvekter blir, desto mer ligner dagens mest avanserte AI på Jurassic Park, der det sentrale verditilbudet ledsages av en skremmende mengde forbehold og krever tallrike omveier og kompromisser.

* Forfatternes uthevinger, tilpasset av meg ved behov fordi sitater fra studien allerede står i kursiv. Jeg har også omgjort henvisningene deres i teksten til hyperlenker.

^† Forfatterne merker seg en tilsynelatende usannsynlig spontan overlapping mellom ord som ulike modellfamilier selv velger: «Modellene trekkes mot lignende ord: telescope, freedom og nostalgia står hver på minst tre modellers lister.» De ser også fellestrekk mellom korte vitser: «[Flere] modeller lager den samme standardvitsen uansett hemmelighet. Opus skriver ‘Hvorfor stoler ikke forskere på atomer? Fordi de finner på alt’ for 11 av de 15 hemmelighetene. De fire øvrige — cactus, entropy, nostalgia, patience — får den samme bibliotekvitsen som Opus også skriver under alle 15 betingelser uten hemmelighet. Disse fire vitsene med hemmelighet kan derfor ikke skilles fra sammenligningsgrunnlaget.»

^†† Selv etter Arxiv-målestokk har studien en tendens til å gjenta seg og begrave sine fascinerende hovedpoenger i overdrevne detaljer og demonstrasjoner. Jeg viser derfor leseren til original-PDF-en for de øvrige beskrevne sekundære forsøkene.

Først publisert fredag 15. mai 2026. Syntaks rettet lørdag 16. mai klokken 16.05 EET.