Wykrywanie kradzieży modeli AI za pomocą tajnych danych śledzenia

Nowa metoda może potajemnie oznaczyć modele podobne do ChatGPT w ciągu kilku sekund, bez potrzeby ponownego szkolenia, nie pozostawiając śladów w ogólnym wyjściu i przetrwać wszystkie możliwe próby usunięcia.

Delikatna różnica między oznaczaniem wodnym a “przynętą prawno-autorską” polega na tym, że oznaczenia wodne – czy to jawne, czy ukryte – są zwykle przeznaczone do pojawiania się na całym zbiorze (takim jak zbiór danych obrazów) jako powszechna przeszkoda w przypadkowym kopiowaniu.

W przeciwieństwie do tego, wyimaginowana pozycja to mały fragment tekstu, zwykle słowo lub definicja zawarta w dużej i względnie ogólnej kolekcji, zaprojektowanej w celu udowodnienia kradzieży. Pomysł polega na tym, że gdy całość pracy jest nielegalnie skopiowana, albo sama w sobie, albo jako podstawa do pochodnej pracy, obecność “unikalnego” i sfabrykowanego faktu, posianego przez oryginalnych właścicieli, łatwo ujawni akt kradzieży.

W odniesieniu do dodawania oznaczeń wodnych do dużych modeli językowych (LLM) i modeli języka wizualnego (VLM), zakres, w jakim wyjście ma zawierać te charakterystyczne znaki, jest często podzielony między te dwa cele: aby upewnić się, że wszystkie lub większość wyjść zawiera jawne lub ukryte oznaczenie wodne; lub aby upewnić się, że “tajny token” może być odzyskany, który udowadnia kradzież – ale który nie pojawia się w regularnym wyjściu z modelu.

Waga(ie) dowodów

Ten ostatni podejście jest podejmowane w ciekawej nowej współpracy między Chinami, Włochami i Singapurem; pracą, która ma na celu dostarczenie takiej metody ujawniania modelom open source, aby nie mogły być łatwo komercjalizowane lub wykorzystywane w sposób, który nie jest dozwolony przez oryginalną licencję.

Na przykład, oryginalna licencja modelu może nakazywać, aby ktokolwiek mógł zyskać na tej pracy, o ile będą oni robić własne modyfikacje lub poprawki publicznie dostępne na tych samych hojnych warunkach licencyjnych – ale firma może chcieć zabezpieczyć swoje “poprawki” (takie jak dokładnie dostosowane wersje), aby wygenerować row, gdzie tak naprawdę nie ma.

Większość badań w tej dziedzinie zajmuje się rutynami wykrywania związanymi z modelem zamkniętym, API-tylko lub modelami, dla których dostępne są tylko zoptymalizowane (skwantowane) wagi i które są więc trudniejsze do wydajnego edytowania i modyfikowania w sposób, w jaki nowy artykuł proponuje (ponieważ nie ma bezpośredniego dostępu do architektury samego modelu).

To zwrócenie uwagi na wydania FOSS jest, być może, niezaskakujące ze strony chińskiego sektora badawczego, ponieważ chiński wynik AI w ciągu ostatniego roku został oznaczony hojnymi pełnowagowymi wydaniami modeli, które przynajmniej dorównują bardziej “zamkniętym” zachodnim odpowiednikom.

Nowe podejście, zatytułowane EditMark, wyróżnia się tym, że nie wymaga ani tego, aby model został dostosowany, aby dodać “zatruione” dane, ani przeszkolony od samego początku z danymi włączonymi.

To ma kilka korzyści: jedna z nich polega na tym, że jakiekolwiek “charakterystyczne” dane zawarte w zbiorze danych szkoleniowych, raz odkryte i ujawnione, nie będą już skuteczne, ponieważ mogą być bezpośrednio zaatakowane przez atakujących; ale aby zaatakować EditMark, osoba atakująca musiałaby wiedzieć, jaki warstwa modelu atakować i jaki rodzaj podejścia został zastosowany. Jest to mało prawdopodobne.

Drugie, podejście jest szybkie i tanie, zajmując kilka sekund (zamiast dni lub nawet tygodni), aby zastosować je do przeszkolonego modelu, unikając surowych kosztów dostosowywania (które rosną liniowo ze względu na rozmiar modelu i dane do zastosowania).

Wreszcie, podejście powoduje znacznie mniej szkody dla normalnego działania docelowego modelu niż dostosowywanie lub wcześniejsze metody edycji.

W testach EditMark – który wbudowuje matematyczne zapytania z wieloma możliwymi odpowiedziami w wagi modelu – osiągnął wskaźnik wydobycia 100%.

Autorzy stwierdzają:

‘Kompletne eksperymenty pokazują wyjątkową wydajność EditMark w oznaczaniu wodnym LLM. EditMark osiąga imponującą wydajność, wbudowując 32-bitowe oznaczenie wodne w mniej niż 20 sekund z 100% wskaźnikiem wydobycia oznaczenia wodnego (ESR).

‘Godne uwagi jest to, że czas wbudowywania oznaczenia wodnego jest mniejszy niż 1/300 czasu dostosowywania (średnio 6,875 sekund), co podkreśla skuteczność EditMark w implementowaniu oznaczeń wodnych o wysokiej pojemności z bezprecedensową szybkością i niezawodnością.

‘Ponadto, obszernymi eksperymentami potwierdzono wytrzymałość, ukrycie i wierność EditMark.’

Nowy artykuł jest zatytułowany EditMark: Oznaczanie wodne dużych modeli językowych na podstawie edycji modelu, i pochodzi od ośmiu autorów z Uniwersytetu Nauki i Technologii Chin, Uniwersytetu w Sienie i CFAR/IHPC/A*STAR w Singapurze.

Metoda

Podejście EditMark składa się z czterech komponentów: Generatora, Kodera, Edytora i Dekodera:

Potok EditMark wbudowuje oznaczenie wodne, edytując model, aby odpowiedzieć na specjalne matematyczne pytania w sposób, który koduje ukryte informacje identyfikacyjne. Źródło: https://arxiv.org/pdf/2510.16367

Generator używa pseudo-losowego nasienia, aby utworzyć pytania matematyczne z wieloma odpowiedziami; Kodera wybiera odpowiedzi na podstawie oznaczenia wodnego, które są następnie wbudowane w model za pomocą specjalnego procesu edycji. Jak tylko zedytowany model zostanie wydany lub nadużyty, oznaczenie wodne może być wydobyte, zadając te same pytania i dekodując wzorzec odpowiedzi.

Następnie Edytor modyfikuje wagi modelu tak, aby gdy zadane są te nasienne pytania, model niezawodnie wytwarzał docelowe odpowiedzi, wbudowując oznaczenie wodne bezpośrednio w swoim zachowaniu. Dekoder odzyskuje oznaczenie wodne, podając te same pytania do podejrzanego modelu i tłumacząc jego odpowiedzi z powrotem w ukrytą sygnaturę.

Model zagrożenia

Model zagrożenia w artykule zakłada, że oznaczanie wodne odbywa się w środowisku białej skrzynki. Chociaż zwykle nie jest to dobry znak w badaniach związanych z bezpieczeństwem, tutaj jest to normalne, ponieważ metoda ma na celu ochronę właścicieli, którzy mają pełny dostęp do swojej pracy.

Atakujący jest również założony, aby mieć dostęp do białej skrzynki po uzyskaniu modelu, co oznacza, że mogą go modyfikować (np. poprzez przycinanie lub dostosowywanie). Znowu, ten scenariusz jest normalny i oczekiwany w przypadku wydania FOSS. Jednak atakujący nie ma wiedzy o procesie wydobycia oznaczenia wodnego ani schemacie używanym i może to odkryć tylko przez inferencję i eksperymenty (lub wycieki).

Generator konstruuje logicznie i faktualnie poprawne pytania matematyczne z wieloma poprawnymi odpowiedziami, używając GPT-4o do dywersyfikacji szablonów (jak pokazano poniżej), i pseudo-losowego nasienia, aby upewnić się, że każde pytanie jest unikalne. To pozwala na wbudowanie znanego oznaczenia wodnego deterministycznie za pomocą permutacji odpowiedzi, minimalizując nakładanie się między pytaniami, aby uniknąć edycyjnego splątania:

Szablony pytań wygenerowane przez GPT-4o do wbudowywania oznaczeń wodnych, każdy zbudowany w taki sposób, aby wytworzyć wiele poprawnych odpowiedzi całkowitych z nasionego nierówności.

Kodera przekształca każdy segment oznaczenia wodnego w unikalną permutację liczb całkowitych wybranych z zbioru rozwiązań danego pytania matematycznego. Używając teorii permutacji leksykograficznej, Kodera mapuje wartość dziesiętną każdego fragmentu oznaczenia wodnego na określoną uporządkowaną selekcję odpowiedzi, zapewniając, że oznaczenie wodne jest deterministycznie wbudowane w zachowanie modelu.

Co się tyczy Edytora, oryginalna metoda edycji AlphaEdit używana do oznaczania wodnego brakuje zarówno precyzji, jak i wytrzymałości, z modelem często niezdolnym do zwrócenia wymaganych odpowiedzi. Jakiekolwiek zmiany, które wprowadza, są łatwo łamane przez przycinanie lub szum.

Aby pokonać to, autorzy opracowali strategię edycyjną wielokrotną, która stopniowo dostosowuje wagi modelu w jednej warstwie MLP, aż jego odpowiedzi są wystarczająco zgodne z pożądanymi odpowiedziami. Aby zahartować edycje przed manipulacją, wstrzykują również szum Gaussa podczas szkolenia, aby symulować ataki:

Rozkład zmian w K1 dla Baichuan-7B, Qwen-7B i LLaMA3-8B przed i po atakach. Górny rząd pokazuje efekt wstrzyknięcia losowego szumu; dolny rząd pokazuje efekt przycinania modelu. Wszystkie zmiany pozostają blisko zera, co sugeruje, że ataki nie znacznie zakłócają wewnętrzne zachowanie modelu.

System oceny zatrzymuje proces, gdy edycje są wystarczająco dokładne, podczas gdy regularizacja zapewnia, że aktualizacje pozostają stabilne przez wiele rund.

Dekoder zadaje modelowi te same specjalne pytania użyte podczas oznaczania wodnego, a następnie czyta jego odpowiedzi, aby wywnioskować ukryty identyfikator. Ponieważ wzorzec odpowiedzi podąża za tajną regułą, ten identyfikator może być odzyskany bez potrzeby badania wnętrza modelu.

Dane i testy

Aby przetestować EditMark, pięć LLM zostało ocenionych: GPT2-X; GPT-J-6B; LLaMA-3-8B; Baichuan-7B; i Qwen-7B. Wspomniany wcześniej AlphaEdit został użyty do wbudowania oznaczeń wodnych, podczas gdy wskaźnik wydobycia oznaczenia wodnego (ESR) i czas wbudowywania (ET) były przyjętymi miernikami.

Dla punktów odniesienia autorzy wybrali Model Watermark (backdoor); KIMark; i BadEdit, ramę pierwotnie zaprojektowaną do wstrzyknięcia backdoor, tutaj dostosowaną do celów projektu.

Autorzy edytowali 15. warstwę LLaMA-3-8; 17. warstwę GPT2-XL i GPT-J-6B; i 14. warstwę Qwen-7B i Baichuan-7B.

Eksperymenty zostały przeprowadzone na czterech kartach graficznych NVIDIA RTX 4090 (każda z 24 GB pamięci VRAM), z oznaczeniami wodnymi o długości 32, 64 i 128 bitów wbudowanymi. Szablony pytań użyte są szczegółowo opisane w poniższym obrazie:

Szablony użyte do generowania pytań z wieloma odpowiedziami do oznaczania wodnego. Każde pytanie oparte jest na innym rodzaju nierówności matematycznej, z losowymi wartościami wstawionymi do zmiennych. Model jest proszony o zwrócenie listy rozwiązań całkowitych, z porządkiem odpowiedzi używanym do zakodowania lub odkodowania bitów oznaczenia wodnego. Cztery szablony obejmują kwadratowe, logarytmiczne, racjonalne i oparte na przedziale formy. Wszystkie zostały wygenerowane za pomocą GPT-4o.

Aby zmniejszyć wpływ losowości, nasiona od 1 do 20 zostały zastosowane podczas testowania, w różnych pojemnościach oznaczeń wodnych.

Początkowo badacze testowali zarówno ESR, jak i czas kosztu wbudowywania oznaczenia wodnego w całym zakresie LLM:

Porównanie EditMark z trzema poprzednimi metodami oznaczania wodnego na pięciu dużych modelach językowych. Podano wskaźnik wydobycia oznaczenia wodnego (ESR) i czas wbudowywania (ET) w sekundach. EditMark konsekwentnie osiąga 100% wskaźnik wydobycia, redukując czas wbudowywania o kilka rzędów wielkości, przewyższając wszystkie punkty odniesienia zarówno w dokładności, jak i wydajności, we wszystkich modelach o różnych rozmiarach i architekturach.

Z tych wyników autorzy stwierdzają:

‘[EditMark] osiąga 100% ESR i wymaga mniej niż 20 sekund, aby wbudować 32-bitowe oznaczenie wodne dla wszystkich ocenianych LLM. W szczególności średni czas wbudowywania dla Baichuan-7B i Qwen-7B jest poniżej 10 sekund, co demonstruje wysoką wydajność EditMark.’

Dla oceny oznaczenia wodnego o długości 128 bitów, najwyższej wartości możliwej w takim schemacie, EditMark był w stanie utrzymać stan “nieusuwalności”:

Wskaźniki wydobycia oznaczeń wodnych i czasy wbudowywania dla EditMark w oznaczeniach wodnych o długości 32, 64 i 128 bitów na pięciu modelach językowych. Doskonałe wskaźniki wydobycia są utrzymywane we wszystkich przypadkach, podczas gdy czas wbudowywania wzrasta wraz z rozmiarem oznaczenia wodnego, ale pozostaje poniżej jednej minuty, nawet przy 128 bitach.

Następnie systemowa zdolność do utrzymania wierności oznaczenia wodnego została przetestowana w wielu benchmarkach:

Ocena wierności oznaczenia wodnego na czterech benchmarkach na pięciu modelach, porównując niezmodyfikowane modele z modelem oznaczonym wodą o pojemności 32 i 128 bitów. Występowanie pozostaje stabilne we wszystkich konfiguracjach, z tylko nieznacznymi fluktuacjami w średnich wynikach, co wskazuje na ograniczony wpływ wstawiania oznaczenia wodnego na dokładność benchmarku.

EditMark’s wytrzymałość została przetestowana przeciwko sześciu powszechnym strategiom ataku. Modele zostały najpierw oznaczone wodą 128-bitową za pomocą pięciu różnych nasion. Dostosowywanie, jak pokazano na poniższym obrazie, spowodowało tylko nieznaczny spadek wskaźników wydobycia oznaczeń wodnych (ESR) dla większości modeli:

Wskaźnik wydobycia oznaczenia wodnego (ESR) modeli oznaczonych wodą przed i po dostosowaniu na jeden do trzech epok. Podczas gdy większość modeli utrzymuje wysoki ESR przez cały czas, Qwen-7B wykazuje wyraźny spadek, co sugeruje większą podatność na aktualizacje parametrów.

Nawet po wielu epokach większość modeli utrzymywała ESR powyżej 90%, co wskazuje, że EditMark opiera się dryfowi parametrów wprowadzanemu przez szkolenie oparte na LoRA.

Ataki kwantyzacji zmniejszyły precyzję modelu, ale pozostawiły większość oznaczeń wodnych nietkniętych:

Wskaźnik wydobycia oznaczenia wodnego (ESR) modeli oznaczonych wodą przed i po kwantyzacji przy precyzji Int-8 i Int-4. ESR pozostaje niezmieniony przy kwantyzacji Int-8 we wszystkich modelach, podczas gdy kwantyzacja Int-4 powoduje częściową degradację, co wskazuje, że niższa precyzja może osłabić, ale nie całkowicie usunąć oznaczenie wodne.

Jak widać na powyższym obrazie, kwantyzacja Int-8 zachowała 100% ESR we wszystkich modelach, podczas gdy kwantyzacja Int-4 miała umiarkowany wpływ na ESR, ale wprowadziła nieakceptowalne straty wydajności.

Jak zauważa artykuł, ten konkretny scenariusz sugeruje ograniczony potencjał dla atakującego, ponieważ skutkuje to zhakowanym, ale zdegradowanym modelem.

Testy hałasu i przycinania oceniły cztery ramy benchmarkowe: MMLU; BLIMP; TruthfulQA; i GLUE. Te ataki spowodowały malejący ESR wraz ze wzrostem perturbacji:

Wpływ ataków hałasu (górny rząd) i przycinania (dolny rząd) na ESR oraz wydajność modeli oznaczonych wodą. Wraz ze spadkiem ESR, dokładność benchmarku również maleje, szczególnie przy wyższych intensywnościach hałasu i współczynnikach przycinania, co podkreśla (typową) napięcie między usuwaniem oznaczenia wodnego a użytecznością modelu.

Jednak te również spowodowały znaczny spadek wydajności zadania, z Baichuan-7B, który otrzymał spadek o 27-31% na BLIMP, gdy hałas lub przycinanie zostało zastosowane.

Edycja modelu i ataki adaptacyjne również zostały ocenione:

Wskaźnik wydobycia oznaczenia wodnego modeli oznaczonych wodą poddanych różnym stopniom edycji modelu. Nawet z do 50 edycjami zastosowanymi do znanych warstw oznaczenia wodnego, ESR pozostaje powyżej 95% dla wszystkich modeli, co wskazuje, że bezpośrednie modyfikacje parametrów mają ograniczony wpływ na usuwanie oznaczenia wodnego.

Tutaj EditMark utrzymał powyżej 95% ESR, nawet gdy dokładne warstwy oznaczenia wodnego zostały zaatakowane.

Wnioski

Technologie DRM, tajne oznaczenia wodne i inne podejścia bezpieczeństwa, które cieszyły się (ograniczonym lub częściowym) sukcesem w erze przed-AI, są trudne do zastosowania w systemach uczących się maszynowo; celowo redukcyjna natura bieżącego zakresu architektur hosta łączy się z brakiem odpowiednich narzędzi, co sprawia, że wszelkie wstrzyknięte oznaczenia wodne są dość kruche.

Impresyjne jest to, że system jest skierowany do dystrybucji modeli FOSS, i że jest w stanie przetrwać wszystkie scenariusze, z wyjątkiem najmniej prawdopodobnych, jeśli chodzi o wiedzę wstępną atakującego. Niemniej jednak niewielki spadek wydajności, który pojawia się po edycjach po szkoleniu, choć niewielki w tych eksperymentach, może dać potencjalnym użytkownikom powód do zawahania; nie tylko dlatego, że cofanie się do modelu opartego na API unicestwia takie ataki prawie całkowicie.

* Ten serwis utrzymuje, że “otwarte wagi” wydania z Chin niekoniecznie kwalifikują się jako w pełni FOSS, ponieważ dane są często wycofywane, co uniemożliwia dokładną odtworzenie potoku szkoleniowego. Można argumentować, że ten temat zaprasza do głębszego spojrzenia na politykę wydawnictw modeli AI porównywaną na Zachodzie i Wschodzie, co wykracza poza zakres tego artykułu.

Pierwotnie opublikowane w poniedziałek, 27 października 2025