Identifisering av AI-modelltyveri gjennom hemmelig sporingsdata

En ny metode kan hemmelig merke ChatGPT-lignende modeller på få sekunder uten om-trening, uten å etterlate noen spor i generell utdata og overleve alle mulige fjerningsforsøk.

Den subtile forskjellen mellom merking og ‘copyright-baiting’ er at merker – enten åpne eller skjulte – vanligvis er ment å dukke opp over hele en samling (slik som et bilde datasett) som en ubetydelig hindring for uformell kopiering.

Til sammenligning er en fiktiv innføring en liten del av tekst, vanligvis et ord eller en definisjon som er presentert i en stor og relativt generisk samling, designet for å bevise tyveri. Idéen er at når hele arbeidet blir ulovlig kopiert, enten i seg selv eller som basis for et derivat-arbeid, vil tilstedeværelsen av en ‘unikt’ og falsk faktum, plantet av den opprinnelige eieren/eierne, lett vil avsløre handlingen av tyveri.

I forhold til å legge til merker på store språkmodeller (LLM’er) og visuelt språkmodeller (VLM’er), er omfanget av hvilken utdata som er ment å inneholde disse avslørende tegn ofte delt mellom disse to målene: å sikre at all eller mesteparten av utdata inneholder en manifest eller latent merke; eller å sikre at en ‘hemmelig token’ kan bli gjenvunnet som beviste tyveri – men som ikke vises i vanlig utdata fra modellen.

Vekten(e) av Bevis

Den siste tilnærmingen blir behandlet i en interessant ny samarbeid mellom Kina, Italia og Singapore; et arbeid som har som mål å gi en slik avsløring-metode til åpne kilde-modeller, så de ikke lett kan bli kommersialisert eller brukt på måter som den opprinnelige lisensen ikke tillater.

For eksempel kan en modells opprinnelige lisens kreve at hvem som helst kan tjene penger på arbeidet så lenge de gjør sine egne endringer eller tilføyelser offentlig tilgjengelig under de samme generøse lisens-betingelsene – men et selskap kan ønske å kontrollere sine egne ’tilpasninger’ (slik som fine-tuned versjoner), for å generere en moat der ingen virkelig er tillatt.

Majoriteten av forskningen i denne linjen er opptatt av detekterings-rutiner relatert til lukkede kilde-modeller, eller modeller for hvilke bare optimerte (kvantiserte) vekt er tilgjengelig; og som derfor er mer vanskelige å redigere og endre på måten den nye artikkelen foreslår (fordi det ikke er direkte tilgang til modellens arkitektur).

Dette fokuset på åpne kilde-utgivelser er, kanskje, ikke overraskende fra den kinesiske forskningssektoren, siden Kinas AI-utgivelser det siste året har vært preget av generøse full-vekt-utgivelser av modeller som minst like gode som de mer ‘låste’ vestlige ekvivalenter.

Den nye tilnærmingen, kalt EditMark, skiller seg ut ved at den ikke krever at modellen blir fin-tuned for å legge til den ‘forgiftede’ data, eller trent fra starten med data inkludert.

Dette har flere fordeler: en er at noen ‘avslørende’ data som er inkludert i trenings-datasettet, når det først blir oppdaget og avslørt, vil ikke lenger være effektive, siden de kan bli direkte målrettede av angripere; men for å angripe EditMark, ville en angriper måtte vite hvilken lag av modellen å målrette, og hva slags tilnærming som er brukt. Dette er en usannsynlig scenario.

For det andre er tilnærmingen rask og billig, og tar kun noen sekunder (i motsetning til dager eller til og med uker) å bruke på en trent modell, og eliminerer den alvorlige utgiftene forbundet med fin-tuning (som øker lineært med modellens størrelse og data som skal brukes).

Til slutt gjør tilnærmingen betydelig mindre skade på den normale drift av den målrettede modellen enn enten fin-tuning eller tidligere redigeringsmetoder.

I tester nådde EditMark – som innebygger matematiske spørsmål med flere mulige svar i modell-vektene – en uttrekksrate på 100%.

Forfatterne sier:

‘Omfattende eksperimenter demonstrerer den usedvanlige ytelsen til EditMark i å merke store språkmodeller. EditMark oppnår bemerkelsesverdig effektivitet ved å innebygge en 32-bits merke i mindre enn 20 sekunder med en 100% merke-uttrekks-suksess-rate (ESR).

‘Merkbart, er merk-innebygnings-tiden mindre enn 1/300 av fin-tuning (gjennomsnitt 6,875 sekunder), hvilket understreker EditMark sin effektivitet i å implementere høy-kapasitets-merker med utenkelig hastighet og pålitelighet.

‘I tillegg validerer omfattende eksperimenter robustheten, skjultheten og trofastheten til EditMark.’

Den nye artikkelen heter EditMark: Watermarking Large Language Models basert på Model Editing, og kommer fra åtte forfattere fra University of Science and Technology of China, University of Siena, og CFAR/IHPC/A*STAR i Singapore.

Metode

EditMark-tilnærmingen består av fire komponenter: en Generator, en Kodeleser, en Redigerer, og en Avkoder:

EditMark-pipeline innebygger en merke ved å redigere en modell for å svare på bestemte matematiske spørsmål på en måte som koder skjult identifiserende informasjon. Source: https://arxiv.org/pdf/2510.16367

Generatoren bruker en pseudo-tilfeldig frø for å konstruere fler-svar matematiske spørsmål; Kodeleseren velger svar basert på merket, som deretter blir innebygget i modellen via en spesialisert redigeringsprosess. Når den redigerte modellen blir utgitt eller misbrukt, kan merket bli uttrekt ved å stille de samme spørsmålene og avkode svarene.

Deretter modifiserer Redigereren modell-vektene så at, når de spørsmålene blir stilt, modellen pålitelig produserer mål-svarene, og innebygger merket direkte i dens atferd. Avkoderen gjenvinner deretter merket ved å mata de samme spørsmålene til den mistenkte modellen, og oversetter svarene tilbake til det skjulte signalet.

Trusselmodell

Artikkelen sin trusselmodell antar at merking blir gjort i en hvit-boks-innstillning. Selv om dette vanligvis ikke er et godt tegn i sikkerhets-relatert forskning, er dette normalt her, siden metoden har som mål å beskytte eiere som har full tilgang til sitt eget arbeid.

Angriperen antas også å ha hvit-boks-tilgang etter å ha mottatt modellen, noe betyr at de kan modifisere den (for eksempel ved å kutte eller fin-tune). Igjen er dette et normalt og forventet scenario i tilfelle en åpen kilde-utgivelse. Men angriperen er ikke kjent med merke-uttrekks-prosessen eller skjemaet brukt, og kan bare finne denne metoden ved å slutte eller eksperimentere (eller hvis det blir lekket).

Generatoren konstruerer logisk og faktisk gyldige matematiske spørsmål med flere korrekte svar, ved å bruke GPT-4o til å diversifisere maler (som vist nedenfor), og en pseudo-tilfeldig frø for å sikre at hvert spørsmål er unikt. Dette muliggjør at en kjent merke kan bli innebygget deterministisk via svar-permutasjoner, samtidig som det minimerer overlap mellom spørsmål, for å unngå redigerings-entanglement:

Maler av spørsmål generert av GPT-4o for merke-innebygging, hver strukturert for å gi flere gyldige heltalls-svar fra en seedet ulikhet.

Kodeleseren transformerer hver binær merke-segment til en unik permutasjon av heltall trukket fra løsningssettet av et gitt matematisk spørsmål. Ved å bruke leksikografisk permutasjonsteori, mapper Kodeleseren desimalverdien av hver merke-segment til en spesifikk orden av svar, og sikrer at merket blir deterministisk innebygget i modellens atferd.

Med hensyn til Redigereren, mangler den opprinnelige AlphaEdit-modell-redigeringsmetoden for merking både presisjon og robusthet, med den justerte modellen ofte feiler i å returnere de nødvendige svarene. Eventuelle endringer den gjør er lett brutt av kutting eller støy.

For å overvinne dette, har forfatterne utviklet en multi-rundt redigerings-strategi som gradvis justerer modell-vektene på ett enkelt MLP-lag til at dens svar er tilstrekkelig alignert med mål-svarene. For å hardne redigeringene mot tampering, injiseres også Gaussisk støy under trening, for å simulere angrep:

Fordeling av endringer i K1 for Baichuan-7B, Qwen-7B og LLaMA3-8B før og etter angrep. Øverste rad viser effekten av tilfeldig støy-injeksjon; nederste rad viser effekten av modell-kutting. Alle endringer holder seg nær null, noe som indikerer at angrepene ikke signifikant forstyrer modellens interne atferd.

Et poeng-system stopper prosessen når redigeringene er nøyaktige nok, mens regularisering sikrer at oppdateringer holder seg stabile over flere runder.

Avkoderen stiller modellen de samme spesial-spørsmålene som brukes under merking, og leser svarene for å slutte seg til det skjulte ID. Siden mønsteret av svarene følger en hemmelig regel, kan dette ID bli gjenvunnet uten å måtte undersøke modellens interne deler.

Data og Tester

For å teste EditMark, ble fem LLM’er evaluert: GPT2-X; GPT-J-6B; LLaMA-3-8B; Baichuan-7B; og Qwen-7B. Den ovennevnte AlphaEdit ble brukt til å innebygge merker, mens uttrekks-suksess-rate (ESR) og innebygnings-tid (ET) ble brukt som målinger.

Som referanse valgte forfatterne Model Watermark (bakdør); KIMark; og BadEdit, et rammeverk opprinnelig designet for bakdør-injeksjon, her tilpasset prosjektets egne formål.

Forfatterne redigerte 15. laget av LLaMA-3-8; 17. laget av GPT2-XL og GPT-J-6B; og 14. laget av Qwen-7B og Baichuan-7B.

Eksperimentene ble gjennomført på fire NVIDIA RTX 4090 GPU’er (24GB VRAM hver), med merker på 32-bits, 64-bits og 128-bits lengde innebygget. Spørsmål-malene brukt er detaljert i bildet nedenfor:

Maler brukt til å generere fler-svar (MA) spørsmål for merking. Hvert spørsmål er basert på en annen type matematisk ulikhet, med tilfeldige verdier innført for variablene. Modellen blir bedt om å returnere en liste av heltalls-løsninger, med rekkefølgen av svarene brukt til å kode eller avkode merke-biter. De fire malene dekker kvadratisk, logaritmisk, rasjonell og interval-basert former, og alle ble generert ved hjelp av GPT-4o.

For å redusere effekten av tilfeldighet, ble frø fra 1 til 20 brukt under testing, over ulike merke-kapasiteter.

Opprinnelig testet forskerne for både ESR og tid-kostnad i å innebygge et merke over rekken av LLM’er:

Sammenligning av EditMark mot tre tidligere merke-metoder på fem store språkmodeller. Rapportert er uttrekks-suksess-rate (ESR) og innebygnings-tid (ET) i sekunder. EditMark oppnår konsekvent en 100% suksess-rate mens den reduserer innebygnings-tiden med flere størrelsesordener, og overgår alle referanser i både nøyaktighet og effektivitet over modeller av varierende størrelse og arkitektur.

Av disse resultater sier forfatterne:

‘[EditMark] oppnår en 100% ESR og krever mindre enn 20 sekunder å innebygge et 32-bits merke for alle LLM’er evaluert. Spesielt er den gjennomsnittlige innebygnings-tiden for Baichuan-7B og Qwen-7B under 10 sekunder, noe som demonstrerer den høye effektiviteten til EditMark.’

For evaluering av en 128-bits merke, den høyeste verdien som er mulig under en slik skjema, var EditMark i stand til å beholde en status av ‘uutviskelighet’:

Uttreks-suksess-rater og innebygnings-tider for EditMark over merke-lengder på 32, 64 og 128 biter på fem språkmodeller. Fullstendige suksess-rater blir opprettholdt i alle tilfeller, mens innebygnings-tiden øker med merke-størrelse, men forblir under ett minutt, selv ved 128 biter.

Neste ble systemets evne til å beholde merke-trofasthet testet over flere benchmark:

Evaluering av merke-trofasthet på fire benchmark over fem modeller, sammenligning umodifiserte modeller med modeller merket med 32-bits og 128-bits kapasiteter. Ytelse forble stabil over konfigurasjoner, med bare mindre fluktuasjoner i gjennomsnittlige poeng, noe som indikerer begrenset innvirkning på benchmark-nøyaktighet fra merke-innebygging.

EditMark sin robusthet ble testet mot seks vanlige angreps-strategier. Modellene ble først merket med 128-bits merker ved hjelp av fem forskjellige frø. Fin-tuning, som vist i bildet nedenfor, forårsaket bare mindre nedgang i uttrekks-suksess-rater (ESR) for de fleste modellene:

Uttreks-suksess-rate (ESR) av merket LLM’er før og etter fin-tuning for en til tre epoker. Mens de fleste modellene beholder høye ESR gjennom hele, viser Qwen-7B en markant nedgang, noe som indikerer større sårbarhet for parameter-opdateringer.

Even etter flere epoker, beholdt de fleste modellene ESR over 90%, noe som indikerer at EditMark motstår parameter-drift introdusert av LoRA-basert trening.

Kvantiserings-angrep reduserte modell-presisjon, men lot de fleste merkene være intakte:

Uttreks-suksess-rate (ESR) av merket modeller før og etter kvantisering med Int-8 og Int-4 presisjon. ESR forblir uendret under Int-8 kvantisering over alle modeller, mens Int-4 kvantisering forårsaker delvis nedgang, noe som indikerer at lavere presisjon kan svekke, men ikke fullstendig fjerne merket.

Som vi kan se i bildet ovenfor, Int-8 kvantisering beholdt 100% ESR over alle modeller, mens Int-4 kvantisering hadde en moderat innvirkning på ESR, men introduserte uakseptable ytelses-tap.

Som artikkelen påpeker, indikerer dette spesifikke scenario at en angriper har begrenset potensial, siden dette resulterer i en hakket, men ytelses-degradert modell.

Tester for støy og kutting evaluerte fire benchmark-rammeverk: MMLU; BLIMP; TruthfulQA; og GLUE. Disse angrepene ledet til økende ESR nedgang med økende forstyrrelser:

Effekten av støy (øverste rad) og kutting (nederste rad) angrep på ESR, og benchmark-ytelse av merket modeller. Mens ESR synker med økende forstyrrelser, degraderes også benchmark-nøyaktighet, spesielt ved høyere støy-intensiteter og kuttings-forhold, noe som understreker den (vanlige) spenningen mellom merke-fjerning og modell-nyttighet.

Likevel, disse angrepene forårsaket også skarpe nedganger i oppgave-ytelse, med Baichuan-7B som mottok en 27-31% nedgang på BLIMP når støy eller kutting ble brukt.

Modell-redigering og adaptive angrep ble også evaluert:

Uttreks-suksess-rate av merket modeller utsatt for varierende grader av modell-redigering. Selv med opp til femti redigeringer på kjente merke-lag, beholdt ESR over 95% for alle modeller, noe som indikerer at direkte parameter-modifikasjoner har begrenset effekt på merke-fjerning.

Her beholdt EditMark over 95% ESR, selv når eksakte innbygnings-lag ble målrettede.

Konklusjon

DRM, hemmelige merker og andre sikkerhets-tilnærminger som har hatt (begrenset eller delvis) suksess i den pre-AI-æraen er vanskelige å bruke på maskinlærings-systemer; den bevisst reduksjonistiske naturen til den nåværende rekken av vert-arkitekturer kombinerer med en mangel på passende verktøy, noe som gjør enhver injisert merke ganske skjørt.

Det er imponerende å se et system rettet mot åpne kilde-modell-distribusjon, og å se det holde mot alle scenarioer unntatt de mest usannsynlige, i forhold til en angripers forhåndskunnskap. Likevel, den svært lille nedgangen i ytelse som kommer med etter-trening-redigeringer, liten som den er i disse eksperimentene, kan gi potensielle adoptanter grunn til å pause; ikke minst siden tilbaketrekning til en API-sentrert modell av kontroll eliminerer slike angrep nesten fullstendig.

* Dette nettstedet har hevdet at ‘åpne vekt’-utgivelser fra Kina ikke nødvendigvis kvalifiserer som fullstendig åpen kilde, siden data ofte blir holdt tilbake, noe som forhindrer nøyaktig rekonstruksjon av trenings-pipeline. Det kan hevdes at dette emnet inviterer til en dypere undersøkelse av politikken rundt AI-modell-utgivelser sammenlignet mellom vest og øst, noe som er utenfor denne artikkelen sin rekkevidde.

Først publisert mandag, 27. oktober 2025