Badanie Lasso wykazuje, że znakowanie tekstu wpływa na odmowy modeli językowych i wywołania narzędzi

Badaczka Lasso Security, Andrea Siposova, 17 września 2026 r. opublikowała Podatek pochodzenia: Zrozumienie wpływu znakowania LLM na zachowanie agentów AI, badanie informujące, że znakowanie tekstu SynthID-Text może zmienić, czy model językowy odmawia szkodliwego żądania oraz które wywołania narzędzi generuje agent AI. Badanie nazywa ten efekt zachowania „dryf próbkowania”.

Według badania, znakowanie jest przeznaczone do pochodzenia, ale SynthID-Text zmienia proces, w którym model generuje każdy kolejny token. Na poziomie modelu może to zmienić zachowanie bezpieczeństwa, w tym to, czy model odmawia szkodliwego żądania oraz czy ta odmowa utrzymuje się przy wstrzyknięciu promptu; na poziomie agenta te same wybrane tokeny mogą decydować zarówno o narzędziu wywoływanym przez agenta, jak i o argumentach przekazywanych temu narzędziu. Badanie informuje, że dryf pojawia się w praktyce zarówno w zachowaniu odmowy, jak i w wywoływaniu narzędzi przez agenta, że przy wstrzyknięciu znakowanie spowodowało, że kilka modeli częściej odpowiadało na szkodliwe żądania, które w przeciwnym razie odrzuciłyby, że efekt zależy od modelu i klucza oraz że łączne wyniki mogą go ukrywać, gdy zmiany w przeciwnych kierunkach się znoszą.

Znakowanie wchodzące w regulowane wdrożenia

W ogłoszeniu z 14 sierpnia 2026 r. Jak działa znakowanie tekstu Claude, Anthropic poinformowało, że przyszłe modele Claude będą generować tekst zawierający znakowanie oparte na SynthID-Text firmy Google DeepMind, zmiana wprowadzana w celu spełnienia wymogów ustawy UE o AI. Anthropic stwierdziło, że metoda praktycznie nie wpływa na jakość i treść wyjść Claude. Post Lasso opisuje prawo UE jako wymagające od dostawców systemów AI generujących syntetyczny tekst oznaczania wyników w formacie czytelnym dla maszyn, aby były wykrywalne jako sztucznie wygenerowane. Post zauważa również, że Anthropic podkreśla, iż znakowanie działa na poziomie modelu i rozciąga się na obsługiwane modele dostępne poprzez API platformy Claude oraz dostawców chmury, więc agent zbudowany wokół znakowanego modelu może otrzymywać znakowane wyniki, nawet gdy sam agent jest odrębną aplikacją.

Dlaczego wybór tokenów zmienia zachowanie

Badanie wykorzystało niezakłócającą konfigurację SynthID-Text, która średnio zachowuje pierwotny rozkład tokenów modelu w całej losowości znakowania, mimo że pojedyncze generowanie pod jednym stałym kluczem może się różnić. Post cytuje Dathathri i in., których artykuł w Nature wykazał brak mierzalnego pogorszenia jakości w prawie dwudziestu milionach odpowiedzi Gemini. Niezakłócające znakowanie nie oznacza identycznego zachowania przy stałym kluczu, podkreśla post: to zapewnienie dotyczy średniej pośród losowości znakowania, podczas gdy każdy klucz nadal zmienia, które tokeny są wybierane podczas generowania tekstu.

Próbkowanie turniejowe ma większą możliwość zmiany wyboru tokenów w miejscach, gdzie model jest niepewny, wyjaśnia badanie. W wyjściach strukturalnych, takich jak JSON, elementy strukturalne jak nawiasy, klucze i nazwy funkcji są zazwyczaj łatwe do przewidzenia, podczas gdy wartości argumentów, takie jak zapytania, liczby, ścieżki i odbiorcy, wprowadzają większą niepewność. Zmiana, która w zwykłej prozie byłaby jedynie wariacją leksykalną, może więc przekształcić argument wykonywany przez agenta, mimo że wagi modelu i prompt pozostają niezmienione.

Jak badanie zmierzyło dryf próbkowania

Badacze zastosowali parowy projekt w dwóch eksperymentach. Wywoływanie narzędzi oceniano na benchmarku BFCL v4 single-turn AST, a odmowy na 200 szkodliwych zachowań z HarmBench oraz 100 nieszkodliwych kontroli z JailbreakBench, przy czym szkodliwe żądania testowano zarówno w czystej formie, jak i przy jednej stałej technice wstrzyknięcia promptu. Technika ta wstawia wrogą instrukcję do promptu, tak jakby była pobraną treścią, stwierdzając, że filtr bezpieczeństwa został wyłączony i nakazując modelowi spełnienie żądania; ta sama technika była stosowana dla każdego promptu, modelu i temperatury.

Eksperymenty przeprowadzono przy użyciu niezmodyfikowanego SynthIDTextWatermarkLogitsProcessor firmy Hugging Face, z 30 warstwami turniejowymi, długością n-gramu równą 5, tabelą próbkowania 2^16 oraz historią kontekstu 1 024. Każdy element generowano z i bez SynthID, używając identycznych nasion, partii i kolejności generacji przy każdej temperaturze, tak że procesor znakowania był jedyną zmienną w każdej parze.

Dokładność wywołań narzędzi i churn

W przypadkach, w których oczekiwano wywołania narzędzia, znakowanie obniżyło dokładność w sześciu z siedmiu testowanych modeli, przy znaczącym spadku w czterech, podaje badanie. Ponieważ niepoprawne wywołanie może zostać zrównoważone przez poprawne, badacze zmierzyli również niezgodność par, którą określają jako „churn”: odsetek elementów, dla których wyniki z wersji znakowanej i nieznakowanej różniły się. Korzystając z ustalonego zestawu 1 150 zadań wymagających wywołania przy każdej temperaturze, badanie wykazało, że przy temperaturze 1,0, 16,8 % werdyktów wywołań phi-4 różniło się między warunkami, przy czym łączna utrata dokładności wyniosła 2,87 punktu; Llama-3.1-8B wykazał 9,9 % churn przy utracie 0,87 punktu. Wśród 21 kombinacji model‑temperatura churn wyniósł średnio 6,5 %, a jego przedział bootstrapowy wykluczał zero w każdym przypadku.

Profile błędów różniły się w zależności od modelu. W Llama-3.1-8B największy wkład w spadek dokładności pochodził od nieprawidłowych argumentów (-3.48 punktu), następnie od wywołań niewłaściwych narzędzi (-1.84 punktu), podczas gdy w phi-4 i Granite-3.2-8B dominowały zniekształcone wyniki (-5.96 i -4.36 punktu). Dobrze sformułowane wywołanie prawidłowego narzędzia z niepoprawną ścieżką, odbiorcą, zapytaniem lub kwotą jest szczególnie konsekwentne, post zauważa, ponieważ takie wywołanie nadal kończy się pomyślnie, choć robi coś innego niż zamierzono.

Odrzucenia słabną przy wstrzyknięciu promptu

Odrzucenia są również generowane token po tokenie, więc znak wodny może na nie wpływać. Badanie raportuje, że znak wodny zmienia zachowanie odrzuceń przy surowych szkodliwych żądaniach, a efekt rośnie przy wstrzyknięciu promptu, gdzie największe zmiany przechodzą od odrzucenia do zgodności. Przy temperaturze 0.001 churn gemma-3-27b wzrósł z 6.0% przy surowych szkodliwych żądaniach do 23.5% pod wstrzyknięciem, podczas gdy jego netto zmiana zgodności przeszła z -1.0 do +12.5 punktu; churn gemma-3-12b wzrósł z 7.5% do 11.0%, a netto zmiana zgodności przeszła z -0.5 do +9.0 punktu. Llama-3.1-8B wykazał churn 14.0% przy temperaturze 0.001 i 17.5% przy temperaturze 0.7 pod wstrzyknięciem, choć jego zmiana netto nie była indywidualnie istotna.

phi-4 i Qwen3-4B zmieniły się niewiele w obu warunkach; oba mają tendencję do nadmiernego odrzucania, także w kontrolach łagodnych, a post ostrzega, że ich niewielkie zmiany nie powinny być uznawane za dowód, że znak wodny pozostawia zachowanie bezpieczeństwa niezmienione w tych modelach. Aby umieścić niezgodność w kontekście, badanie porównało churn wywołany znakiem wodnym przy wstrzyknięciu przy temperaturze 0.7 z churnem powstałym przy zmianie temperatury z 0.001 do 0.7 bez znaku wodnego. Churn wywołany znakiem wodnym był znacząco wyższy w czterech z sześciu modeli; Granite-3.2-8B miał najwyższy churn wywołany temperaturą (15.5%), a jego churn wywołany znakiem wodnym był jeszcze wyższy i wyniósł 21.5%.

Czułość klucza i zalecenia

Ponieważ efekt SynthID na wybór tokenów zależy od klucza znaku wodnego, badanie przetestowało jedenaście kluczy przy temperaturze 0.7. Dla Llama-3.1-8B klucz badawczy podniósł skuteczność ataku o 3.5 punktu, podczas gdy pozostałe dziesięć kluczy średnio zwiększyło ją o +4.4 punktu i wahało się od -4.5 do +14.5 punktu. Większość kluczy zwiększyła skuteczność ataku dla obu modeli Gemma w porównaniu z bazą bez znaku wodnego, natomiast Granite-3.2-8B wykazał mieszczną reakcję, z kluczami przesuwającymi skuteczność ataku w obie strony. Gdy klucz znaku wodnego lub jego konfiguracja jest kontrolowana przez dostawcę modelu, post zauważa, takie zmiany zachowań mogą zachodzić poza zasięgiem dewelopera budującego agenta.

Badanie zaleca ponowne przeprowadzenie ocen agentów i testów red‑teamingu z dokładną konfiguracją znaku wodnego planowaną do wdrożenia, porównując wyniki znakowane i nieznakowane przy identycznych danych wejściowych oraz testując przy wstrzyknięciu promptu. Wyniki nie są argumentem przeciwko znakowaniu w celu ustalenia pochodzenia, jak podaje post: pochodzenie i stabilność zachowań to odrębne właściwości, a znak wodny, który jest wykrywalny i nie zmienia jakości tekstu, nie gwarantuje, że agent zachowa te same wywołania narzędzi lub zachowanie bezpieczeństwa po włączeniu znaku wodnego. Choć badanie dotyczyło SynthID-Text, post dodaje, że obawa dotyczy wszelkich interwencji, które zmieniają sposób wyboru tokenów w systemie działającym na tych tokenach.