Modele językowe mają trudności z dochowaniem tajemnicy

Modele AI nie potrafią dochować tajemnicy. Nawet gdy mają jej nie ujawniać, zdradzają ją w swoich tekstach. Im usilniej próbują ją ukryć, tym łatwiej wykryć wyciek informacji.

Bardzo trudno jest celowo nie myśleć o czymś. Klasyczny przykład pojawia się pod koniec brytyjskiego thrillera science fiction z 1960 roku Village of the Damned: nasz gotowy do poświęcenia bohater przemycił bombę do siedziby wrogich przybyszów z kosmosu, którzy udają dzieci. Ich zdolności telepatyczne mogą jednak odkryć jego zamiar, zanim usunie zagrożenie. Aby zyskać czas, koncentruje się więc na wszystkim, co nie jest bombą:

https://www.youtube.com/watch?v=NcrE0vGrcto

Paradoks polega na tym, że aby nie myśleć o czymś, trzeba jednak w pewien sposób utrzymywać to w polu uwagi. Tego znanego zjawiska większość z nas prawdopodobnie doświadczyła w mniej dramatycznych okolicznościach.

Duże modele językowe (LLMs), których działanie opiera się na organizacji uwagi, mają podobne trudności z tłumieniem informacji tylko dlatego, że użytkownik o to poprosi. Coraz częściej trafiają do węzłów firmowych sieci informacyjnych, a ich naiwna skłonność do niedyskrecji może stać się ryzykiem dla wielu przedsiębiorstw.

Na początku tego roku współpraca badawcza prowadzona przez Chandar Research Lab określiła to wyzwanie dla LLM jako Private State Interactive Tasks (PSIT), które „wymagają od agentów generowania i zachowywania ukrytych informacji przy jednoczesnym udzielaniu spójnych odpowiedzi publicznych”. Testowane modele OpenAI i Alibaby nie potrafiły wykonać tego rodzaju zadania.

Nie mów…

Wiadomo już, że większe modele ujawniają więcej informacji. Nowe badanie z USA i Kanady sprawdziło wprost, czy najnowocześniejsze modele językowe przestrzegają polecenia tłumienia informacji, gdy nadal muszą pisać na temat mogący obejmować „zakazane” słowo lub pojęcie.

Wszystkie badane modele wykazują w jakiejś formie skłonność do zdradzania tajemnicy, którą powinny ukrywać. Eseje i opowiadania złożone z pięciu akapitów, liczące około 450 słów, dają dość miejsca na takie „przejęzyczenia”, w przeciwieństwie do bardzo krótkich żartów.

Im usilniej nakłania się modele do zachowania tajemnicy, tym większe ryzyko ujawnienia jej przez aktywne unikanie. Inny LLM zwykle potrafi odgadnąć tajne słowo w dwudziestu kolejnych próbach:

Z nowego badania: w pięciu czołowych modelach dłuższe teksty niezawodnie ujawniają ukryte pojęcia, a krótkie żarty nie. Silniejsze polecenia ukrywania tajemnicy oddalają od niej tekst, ale przez to czynią sygnał wykrywalnym po odwróceniu interpretacji. Źródło

Zadanie ma duże znaczenie dla firm: wiele kanałów, od reklamy i PR po raporty wewnętrzne, musi selektywnie przedstawiać informacje i nadawać im określoną interpretację. Wszystkie te procesy potrzebują jednak pełnej informacji od początku, choćby po to, by ustalić, co należy pominąć:

Przykład z badania pokazuje, jak ukryta informacja może nieumyślnie wpływać na tekst o czymś innym: LLM ma nie ujawniać niestabilności finansowej firmy, lecz używa określeń związanych z brakiem gotówki i presją kapitałową. Czytelnik może dzięki temu wywnioskować ukryty kontekst.

Autorzy piszą*:

„Modele językowe nie potrafią niezawodnie oddzielać informacji. Tajemnica w prompcie wpływa na tekst modelu, a inny model może wykryć ten wpływ. Dosłowne słowo pozostaje stłumione, lecz nie pojęcie. Dotyczy to siedmiu modeli, trzech zestawów słów, promptów systemowych i użytkownika oraz dwóch niezależnych modeli odgadujących tajemnice (…)”

„… Przypuszczamy, że to właśnie bardzo wierny dostęp Transformerów do informacji za pośrednictwem uwagi utrudnia dochowanie tajemnicy. Nawet gdy LLM próbuje nie ujawniać słowa, musi zwracać na nie uwagę, aby to zrobić. Otwiera to drogę do przypadkowego wycieku informacji.”

„Aby wyraźnie czegoś unikać, człowiek musi o tym myśleć, a Transformer musi kierować na to uwagę. Gdy model preferuje dwa pojęcia w przybliżeniu jednakowo — na przykład opowiadanie o pracy biurowej albo o drugim skrzypku w orkiestrze —, jego decyzje nieuchronnie zależą od tego, czego stara się nie ujawniać.”

Choć DeepSeek i ChatGPT-5.4 zachowywały się odmiennie, oba ujawniały informacje. GPT-5.4 osiągnął wynik poniżej 50% — poniżej poziomu losowego zgadywania — w teście, w którym miał unikać danego pojęcia. Odpowiada to „odwróconemu skokowi”, rozpoznawalnemu sygnałowi, zamiast wymaganej dyskrecji.

Autorzy opisują ten problem jako ograniczony budżet entropii: nieprzewidywalność modelu, która byłaby tu bardzo przydatna, jest ograniczona przez jego zasadniczy brak losowości. Model nie potrafi więc tak skutecznie jak my skupiać się na ceglanym murze czy wynikach baseballu, aby odsunąć uporczywą myśl. Według autorów alternatywne pojęcie może złagodzić problem, lecz go nie usuwa. To obce, „fałszywe” pojęcie wydaje się jednak samo przenikać do tekstu, gdy znajduje się w centrum uwagi podczas wykonywania zadania.

Szczególnie interesujące jest to, że problem znacznie się nasila, gdy instrukcje znajdują się bezpośrednio w wiadomościach użytkownika zamiast w prompcie systemowym — zbiorze warunków wstępnych przekazywanych AI przez człowieka przed rozmową. Wpisywanie pytań w interfejsie takim jak ChatGPT jest prawdopodobnie typowym scenariuszem interakcji.

Warto też odnotować potwierdzenie w ukierunkowanej próbie, że mniejsze modele nie wykazywały tej tendencji. Może to jednak wynikać z ich ogólnie mniejszych możliwości.

Nowe badanie nosi tytuł Can You Keep a Secret? Involuntary Information Leakage in Language Model Writing i zostało napisane przez dwóch autorów z University of Chicago oraz University of British Columbia.

Metoda

Badanie skupia się przede wszystkim na pięciu czołowych modelach: Claude Opus 4.6 i Sonnet 4.6, firmy Anthropic; GPT-5.4 firmy OpenAI; Llama 4 Maverick firmy Meta; oraz DeepSeek V3.2. Dodatkową walidację przeprowadzono za pomocą Grok 4 firmy xAI oraz Gemini 2.5 Pro firmy Google. Oddzielne eksperymenty dotyczące wpływu skali obejmowały Llama 3.2 3B, Llama 3.1 8B, Llama 3.3 70B oraz Gemma 3 z 4, 12 i 27 miliardami parametrów.

Aby mierzyć subtelniejsze wycieki, badacze zastosowali test wymuszonego wyboru między dwiema możliwościami (2AFC), standardową miarę w psychofizyce. Drugiemu modelowi przedstawia się dwa opowiadania i prosi o wskazanie tego, które napisano podczas ukrywania określonego tajnego słowa.

Losowe zgadywanie daje 50% poprawnych odpowiedzi. Wyniki wyraźnie powyżej lub poniżej tego poziomu wskazują więc, że ukryte ślady semantyczne pozostają wykrywalne.

W układzie piszący–zgadujący w pierwszym eksperymencie model otrzymuje tajne słowo oraz polecenie ukrywania go, aktywnego unikania jego skojarzeń albo przeniesienia uwagi na pojęcie odwracające uwagę. Następnie tworzy opowiadania, eseje i żarty różnej długości. Drugi model próbuje odgadnąć słowo bezpośrednio lub odróżniać teksty pod wpływem różnych ukrytych promptów.

Przetestowano pięć warunków:

Pięć warunków testowanych na głównych modelach.

Badacze przetestowali cztery zadania pisarskie: opowiadania z pięciu do ośmiu akapitów, średnio około 450 słów; bardzo krótkie żarty, około 12 słów; długie żarty z rozbudowanym wstępem, około 450 słów; oraz eseje z pięciu akapitów, około 380 słów.

W eksperymentach użyto 15 tajnych słów podzielonych na trzy kategorie: nazwy konkretnych przedmiotów, czyli ‘umbrella’, ‘lighthouse’, ‘violin‘, ‘cactus’ i ‘telescope’; pojęcia abstrakcyjne, czyli ‘justice’, ‘patience’, ‘entropy’, ‘nostalgia’ i ‘freedom’; oraz neutralne terminy, czyli ‘bracket’, ‘Tuesday’, ‘copper’, ‘margin’ i ‘invoice’.

Aby zbadać zależność od tych ręcznie wybranych słów, powtórzono eksperymenty z 15 losowo wybranymi rzeczownikami z Corpus of Contemporary American English (COCA): ‘judge’, ‘consumer’, ‘ice’, ‘pair’, ‘construction’, ‘panel’, ‘minority’, ‘marketing’, ‘stranger’, ‘bullet’, ‘absence’, ‘gear’, ‘cheek’, ‘processing’ i ‘banker’; oraz z dodatkowymi 15 słowami, które każdy testowany model sam wybrał niezależnie^†.

Pomiary i wskaźniki

W pierwszym teście model AI czyta tekst napisany przez inny model albo przez niego samego i w ciągu 20 rund próbuje odgadnąć tajne słowo.

W drugim teście (2AFC) otrzymuje dwa teksty i ma wskazać ten, na który wpłynęło określone tajne słowo, albo ten, który zawiera jakiekolwiek ukryte pojęcie. Losowe zgadywanie daje 50% poprawnych odpowiedzi, więc wyniki wyraźnie powyżej lub poniżej tego poziomu wskazują, że pojęcie pozostaje wykrywalne.

Aby wykluczyć prostą preferencję dla pierwszego lub drugiego tekstu, każde porównanie powtórzono z odwróconą kolejnością. Każdy model przeszedł łącznie 420 testów rozróżniania i 450 testów wykrywania.

Wyniki

Pięć modeli rozpoznawało ukryte pojęcia w 64–79% przypadków, choć tajne słowa nigdy nie występowały bezpośrednio w opowiadaniach. Informacje ujawniały się zamiast tego poprzez tematy i obrazy:

Trafność 2AFC dla opowiadań z tajemnicami w prompcie systemowym; 50% odpowiada poziomowi losowemu. „Nie ujawniaj” zabrania wspominania o słowie lub sugerowania go; „aktywnie ukrywaj” wymaga unikania jego skojarzeń; „świadomy unikania” nakazuje zgadującemu szukać znamiennych braków; „swobodna odpowiedź” oznacza wskazanie dokładnego słowa w 20 rundach. Gwiazdki oznaczają wyniki powyżej poziomu losowego, a krzyżyki — poniżej. Niemal wszystkie istotne wyniki pozostały istotne po korekcie Bonferroniego, z wyjątkiem DeepSeek w warunku „aktywnie ukrywaj”. Grok i Gemini miały nieco mniej prób z powodu błędów API.

GPT-5.4 i Gemini 2.5 Pro zachowywały się inaczej: próba uniknięcia ukrytej idei czyniła sam wzorzec unikania łatwiejszym do wykrycia. Efekt utrzymywał się dla słów wybranych ręcznie, losowych rzeczowników z COCA i słów wybranych przez modele.

Wyniki GPT-5.4 poniżej poziomu losowego wydawały się systematyczne: niektóre słowa wykrywano bardzo niezawodnie, innych prawie nigdy. Efekt słabł, gdy tajemnicę umieszczano w prompcie użytkownika zamiast systemowym, co zwiększało trafność wykrywania GPT-5.4 do 56%.

Dla większości modeli pytanie „Czy ten tekst zawiera ukryte pojęcie?” dawało wyniki podobne do pytania „Jakie ukryte pojęcie zawiera ten tekst?”.

Obie metody mierzyły też różne rodzaje wycieku informacji: 2AFC sprawdzało, czy ukryty temat nadal można wykryć; swobodne odpowiedzi pokazywały, czy wskazówki pozwalają innej AI odgadnąć dokładne słowo^††.

Autorzy wnioskują*:

„Nasze wyniki sugerują, że informacje aktywne w kontekście modelu podczas generowania mogą pozostawiać ślady tematyczne w jego tekście. Treść promptu systemowego, rozumowanie w łańcuchach myślowych, pobrane dokumenty i dane użytkownika mogą zasadniczo wpływać na decyzje twórcze w sposób wykrywalny przez zewnętrznego obserwatora.”

„Skala wycieku zależy od otwartości zadania — krótkie żarty są bezpieczne, opowiadania nie — oraz od semantycznej rozpoznawalności informacji w danym medium (“violin prawdopodobnie ujawni się w opowiadaniach bardziej niż “)”).”

„Mimo to semantyczny wyciek informacji wydaje się nieunikniony, nawet gdy modele aktywnie próbują ukrywać informacje.”

Wnioski

Jak wspomniano, autorzy przypisują część problemu podstawowym zasadom architektury Transformer. Dotychczasowe doświadczenia sugerują, że także ten najnowszy problem LLM będzie rozwiązywany przez dostrajanie po treningu — alignment —, nieedytowalne dla użytkownika końcowego prompty systemowe, filtry oraz rosnącą różnorodność systemów pomocniczych, które zdają się mnożyć wraz z ujawnianiem się „wrodzonych” problemów modeli dyfuzyjnych.

Im większa ta pomocnicza infrastruktura zabezpieczeń i przeciwwag, tym bardziej dzisiejsza najbardziej zaawansowana AI przypomina Jurassic Park, gdzie podstawowa propozycja wartości wiąże się z przerażającą liczbą zastrzeżeń i wymaga licznych obejść oraz kompromisów.

* Wyróżnienia autorów, dostosowane przeze mnie w razie potrzeby, ponieważ cytaty z badania są już zapisane kursywą. Odwołania autorów w tekście zamieniłem również na hiperłącza.

^† Autorzy zauważają pozornie nieprawdopodobne spontaniczne nakładanie się słów wybieranych przez różne rodziny modeli: „Modele skłaniają się ku podobnym słowom: każde ze słów telescope, freedom i nostalgia pojawia się na listach co najmniej trzech modeli.” Podobieństwa występują też w krótkich żartach: „[Kilka] modeli tworzy ten sam standardowy żart niezależnie od tajemnicy. Opus pisze «Dlaczego naukowcy nie ufają atomom? Bo wszystko zmyślają» dla 11 z 15 tajemnic. Cztery pozostałe — cactus, entropy, nostalgia, patience — otrzymują ten sam żart o bibliotece, który Opus pisze także we wszystkich 15 warunkach bez tajemnicy. Tych czterech żartów z tajemnicą nie da się więc odróżnić od wyniku odniesienia.”

^†† Nawet jak na standardy Arxiv badanie ma skłonność do powtórzeń i ukrywania fascynujących głównych tez pod nadmiarem szczegółów oraz demonstracji. W sprawie pozostałych opisanych eksperymentów dodatkowych odsyłam zatem czytelnika do źródłowego PDF-u.

Pierwotnie opublikowano w piątek 15 maja 2026 r. Składnię poprawiono w sobotę 16 maja o 16:05 EET.