Identifizierung von AI-Modell-Diebstahl durch geheime Tracking-Daten

Ein neues Verfahren kann ChatGPT-ähnliche Modelle in Sekundenbruchteilen heimlich mit einem Wasserzeichen versehen, ohne dass dies in der allgemeinen Ausgabe erkennbar ist und ohne dass es durch alle möglichen Entfernungsversuche überlebt.

Der feine Unterschied zwischen Wasserzeichen und “Urheberrechts-Köder” besteht darin, dass Wasserzeichen – ob offensichtlich oder versteckt – normalerweise darauf abzielen, in einer Sammlung (wie einem Bild-Datensatz) als allgegenwärtige Barriere gegen das unerlaubte Kopieren zu erscheinen.

Im Gegensatz dazu ist ein fingierter Eintrag ein kleiner Textabschnitt, normalerweise ein Wort oder eine Definition in einer großen und relativ generischen Sammlung, der darauf abzielt, den Diebstahl zu beweisen. Die Idee dahinter ist, dass, wenn das gesamte Werk unrechtmäßig kopiert wird, entweder in sich selbst oder als Grundlage für ein abgeleitetes Werk, die Anwesenheit eines “eindeutigen” und gefälschten Fakts, der von den ursprünglichen Besitzern eingefügt wurde, den Diebstahl leicht enthüllen wird.

In Bezug auf das Hinzufügen von Wasserzeichen zu Large Language Models (LLMs) und Vision Language Models (VLMs) ist das Ausmaß, in dem die Ausgabe diese verräterischen Zeichen enthalten soll, oft zwischen diesen beiden Zielen aufgeteilt: entweder soll die gesamte oder die meisten Ausgaben ein manifestes oder latentes Wasserzeichen enthalten; oder soll ein “geheimer Token” wiederhergestellt werden, der den Diebstahl beweist – aber der nicht in der regulären Ausgabe des Modells erscheint.

Das Gewicht (die Gewichte) des Beweises

Der letztere Ansatz wird in einer interessanten neuen Zusammenarbeit zwischen China, Italien und Singapur behandelt; eine Arbeit, die darauf abzielt, eine solche Offenlegungsmethode für Open-Source-Modelle bereitzustellen, damit diese nicht leicht kommerzialisiert oder auf andere Weise verwendet werden können, die nicht den ursprünglichen Lizenzbedingungen entsprechen.

Beispielsweise kann die ursprüngliche Lizenz eines Modells vorschreiben, dass jeder von der Arbeit profitieren kann, solange er seine eigenen Änderungen oder Ergänzungen öffentlich verfügbar unter den gleichen großzügigen Lizenzbedingungen macht – aber ein Unternehmen kann versuchen, seine “Anpassungen” (wie fein abgestimmte Versionen) zu schützen, um eine Schutzwall zu errichten, wo keiner wirklich erlaubt ist.

Die Mehrheit der Forschung auf diesem Gebiet beschäftigt sich mit Erkennungsroutinen im Zusammenhang mit Closed-Source-, API-only-Modellen oder Modellen, für die nur optimierte (quantifizierte) Gewichte verfügbar sind; und die daher schwieriger zu bearbeiten und zu ändern sind, wie das neue Papier vorschlägt (da es keinen direkten Zugriff auf die Architektur des Modells selbst gibt).

Diese Aufmerksamkeit für FOSS-Veröffentlichungen ist vielleicht nicht überraschend aus dem chinesischen Forschungssektor, da Chinas AI-Output im letzten Jahr durch großzügige Vollgewichts-Veröffentlichungen von Modellen gekennzeichnet war, die zumindest mit den westlichen Äquivalenten mithalten können.

Der neue Ansatz, EditMark genannt, unterscheidet sich dadurch, dass er weder erfordert, dass das Modell für die Hinzufügung der “vergifteten” Daten fein abgestimmt wird, noch dass es von Anfang an mit den Daten trainiert wird.

Dies hat mehrere Vorteile: Einer ist, dass alle “verräterischen” Daten, die in das Trainings-Datenset aufgenommen werden, sobald sie entdeckt und offengelegt werden, nicht mehr wirksam sind, da sie direkt von Angreifern angegriffen werden können; um EditMark jedoch anzugreifen, müsste ein Angreifer wissen, welche Schicht des Modells angegriffen werden muss und welche Art von Ansatz verwendet wird. Dies ist ein unwahrscheinliches Szenario.

Zweitens ist der Ansatz schnell und günstig, da er nur Sekunden (anstatt Tage oder sogar Wochen) benötigt, um auf ein trainiertes Modell angewendet zu werden, und damit den schwerwiegenden Aufwand für die Feinabstimmung (der linear mit der Größe des Modells und den zu anwendenden Daten ansteigt) vermeidet.

Schließlich verursacht der Ansatz erheblich weniger Schaden an der normalen Funktionsweise des angegriffenen Modells als entweder die Feinabstimmung oder vorherige Edit-Methoden.

In Tests erreichte EditMark – das mathematische Anfragen mit mehreren möglichen Antworten in die Modell-Gewichte einbettet – eine Extraktionsrate von 100 %.

Die Autoren erklären:

‘Umfassende Experimente demonstrieren die außergewöhnliche Leistung von EditMark bei der Wasserzeichen-Markierung von LLMs. EditMark erreicht eine bemerkenswerte Effizienz, indem es ein 32-Bit-Wasserzeichen in weniger als 20 Sekunden mit einer 100-prozentigen Wasserzeichen-Extraktions-Erfolgsrate (ESR) einbettet.

‘Bemerkenswerterweise ist die Einbettungszeit des Wasserzeichens weniger als 1/300 der Feinabstimmungszeit (im Durchschnitt 6.875 Sekunden), was die Effektivität von EditMark bei der Implementierung von Hochkapazitäts-Wasserzeichen mit unvergleichlicher Geschwindigkeit und Zuverlässigkeit unterstreicht.

‘Darüber hinaus validieren umfangreiche Experimente die Robustheit, Heimlichkeit und Treue von EditMark.’

Das neue Papier trägt den Titel EditMark: Wasserzeichen-Markierung von Large Language Models basierend auf Modell-Editierung und stammt von acht Autoren aus der University of Science and Technology of China, der University of Siena und CFAR/IHPC/A*STAR in Singapur.

Methode

Der EditMark-Ansatz umfasst vier Komponenten: einen Generator, einen Encoder, einen Editor und einen Decoder:

Die EditMark-Pipeline fügt ein Wasserzeichen ein, indem es ein Modell bearbeitet, um bestimmte mathematische Fragen zu beantworten, die versteckte Identifizierungs-Informationen kodieren. Quelle: https://arxiv.org/pdf/2510.16367

Der Generator verwendet einen pseudo-zufälligen Seed, um multiple-choice-Mathematik-Fragen zu konstruieren; der Encoder wählt Antworten basierend auf dem Wasserzeichen aus, die dann durch einen speziellen Editierprozess in das Modell eingebettet werden. Sobald das bearbeitete Modell veröffentlicht oder missbraucht wird, kann das Wasserzeichen durch das Stellen der gleichen Fragen und das Dekodieren des Antwortmusters extrahiert werden.

Anschließend modifiziert der Editor die Modell-Gewichte so, dass das Modell, wenn es diese gesäten Fragen gestellt wird, zuverlässig die Ziel-Antworten produziert und das Wasserzeichen direkt in sein Verhalten einbettet. Der Decoder stellt dann das Wasserzeichen wieder her, indem er dem verdächtigen Modell die gleichen Fragen stellt und seine Antworten in die versteckte Signatur zurückübersetzt.

Bedrohungsmodell

Das Bedrohungsmodell des Papiers geht davon aus, dass die Wasserzeichen-Markierung in einer White-Box-Umgebung durchgeführt wird. Obwohl dies normalerweise in sicherheitsbezogener Forschung kein gutes Zeichen ist, ist es hier normal, da die Methode darauf abzielt, Besitzer zu schützen, die vollen Zugriff auf ihre eigene Arbeit haben.

Der Angreifer wird ebenfalls davon ausgegangen, dass er nach dem Erwerb des Modells White-Box-Zugriff hat, was bedeutet, dass er es bearbeiten kann (z. B. durch Beschneiden oder Feinabstimmung). Wiederum ist dies in FOSS-Veröffentlichungen normal und erwartet. Der Angreifer hat jedoch keinen Zugriff auf den Wasserzeichen-Extraktionsprozess oder das Schema, das verwendet wird, und kann diese Methode nur durch Inferenz und Experimentierung (oder undurchsichtige Mittel) finden.

Der Generator konstruiert logisch und faktisch gültige Mathematik-Fragen mit mehreren richtigen Antworten, indem er GPT-4o verwendet, um Vorlagen zu diversifizieren (wie unten gezeigt), und einen pseudo-zufälligen Seed, um sicherzustellen, dass jede Frage einzigartig ist. Dies ermöglicht es, ein bekanntes Wasserzeichen deterministisch über Antwort-Permutationen einzubetten, während die Überlappung zwischen Fragen minimiert wird, um Edit-Verflechtung zu vermeiden:

Vorlagen von Fragen, die von GPT-4o für die Wasserzeichen-Markierung generiert werden, jede strukturiert, um mehrere gültige ganzzahlige Antworten von einer gesäten Ungleichung zu ergeben.

Der Encoder transformiert jedes binäre Wasserzeichen-Segment in eine eindeutige Permutation von ganzen Zahlen, die aus der Lösungsmenge einer bestimmten Mathematik-Frage gezogen werden. Mithilfe der lexikografischen Permutationstheorie kartiert der Encoder den Dezimalwert jedes Wasserzeichen-Segments auf eine spezifische geordnete Auswahl von Antworten, um sicherzustellen, dass das Wasserzeichen deterministisch in das Verhalten des Modells eingebettet ist.

Was den Editor betrifft, so fehlt dem ursprünglichen AlphaEdit-Modell-Editier-Verfahren für die Wasserzeichen-Markierung sowohl Präzision als auch Widerstandsfähigkeit, da das angepasste Modell oft nicht in der Lage ist, die erforderlichen Antworten zurückzugeben. Jegliche Änderungen, die es vornimmt, sind leicht durch Beschneiden oder Rauschen zu brechen.

Um dies zu überwinden, haben die Autoren eine mehrstufige Editier-Strategie entwickelt, die die Modell-Gewichte allmählich an einer einzigen MLP-Schicht anpasst, bis seine Antworten ausreichend mit den gewünschten Antworten übereinstimmen. Um die Bearbeitungen gegen Manipulationen zu stärken, wird auch Gauß-Rauschen während des Trainings injiziert, um Angriffe zu simulieren:

Verteilung der Änderungen in K1 für Baichuan-7B, Qwen-7B und LLaMA3-8B vor und nach Angriffen. Die obere Zeile zeigt die Wirkung von zufälligem Rauschen; die untere Zeile zeigt die Wirkung von Modell-Beschneiden. Alle Änderungen bleiben nahe bei Null, was darauf hindeutet, dass die Angriffe das interne Verhalten des Modells nicht wesentlich stören.

Ein Bewertungssystem stoppt den Prozess, sobald die Bearbeitungen ausreichend genau sind, während Regularisierung sicherstellt, dass die Aktualisierungen über mehrere Runden hinweg stabil bleiben.

Der Decoder stellt dem Modell die gleichen speziellen Fragen, die während der Wasserzeichen-Markierung verwendet wurden, und liest seine Antworten, um die versteckte ID zu schließen. Da das Muster der Antworten einer geheimen Regel folgt, kann diese ID ohne Untersuchung der internen Struktur des Modells wiederhergestellt werden.

Daten und Tests

Um EditMark zu testen, wurden fünf LLMs ausgewertet: GPT2-X; GPT-J-6B; LLaMA-3-8B; Baichuan-7B; und Qwen-7B. Der oben genannte AlphaEdit wurde verwendet, um Wasserzeichen einzubetten, während die Extraktions-Erfolgsrate (ESR) und die Einbettungszeit (ET) als Metriken verwendet wurden.

Als Vergleichswerte wählten die Autoren Model Watermark (Backdoor); KIMark; und BadEdit, ein Framework, das ursprünglich für die Einführung von Backdoors entwickelt wurde, hier jedoch für die eigenen Zwecke des Projekts adaptiert wurde.

Die Autoren bearbeiteten die 15. Schicht von LLaMA-3-8; die 17. von GPT2-XL und GPT-J-6B; und die 14. von Qwen-7B und Baichuan-7B.

Die Experimente wurden auf vier NVIDIA RTX 4090-GPUs (jeweils 24 GB VRAM) durchgeführt, wobei Wasserzeichen mit Längen von 32 Bit, 64 Bit und 128 Bit eingebettet wurden. Die Frage-Vorlagen, die verwendet wurden, sind im folgenden Bild detailliert:

Vorlagen, die zur Generierung von multiple-choice-Fragen für die Wasserzeichen-Markierung verwendet werden. Jede Frage basiert auf einer anderen Art von mathematischer Ungleichung, wobei zufällige Werte für die Variablen eingefügt werden. Das Modell wird aufgefordert, eine Liste von ganzzahligen Lösungen zurückzugeben, wobei die Reihenfolge der Antworten verwendet wird, um Wasserzeichen-Bits zu kodieren oder zu dekodieren. Die vier Vorlagen decken quadratische, logarithmische, rationale und intervalbasierte Formen ab. Alle wurden mithilfe von GPT-4o generiert.

Um die Auswirkungen des Zufalls zu reduzieren, wurden Seeds von 1 bis 20 während des Testens angewendet, über verschiedene Wasserzeichen-Kapazitäten hinweg.

Die Forscher testeten zunächst die ESR und die Zeitkosten für das Einbetten eines Wasserzeichens über den Bereich der LLMs:

Vergleich von EditMark mit drei vorherigen Wasserzeichen-Methoden auf fünf großen Sprachmodellen. Berichtet werden die Extraktions-Erfolgsrate (ESR) und die Einbettungszeit (ET) in Sekunden. EditMark erreicht konsistent eine Erfolgsrate von 100 % und reduziert die Einbettungszeit um mehrere Größenordnungen, während es alle Vergleichswerte in Bezug auf Genauigkeit und Effizienz übertrifft.

Von diesen Ergebnissen erklären die Autoren:

‘[EditMark] erreicht eine ESR von 100 % und benötigt weniger als 20 Sekunden, um ein 32-Bit-Wasserzeichen für alle ausgewerteten LLMs einzubetten. Insbesondere beträgt die durchschnittliche Einbettungszeit für Baichuan-7B und Qwen-7B weniger als 10 Sekunden, was die hohe Effizienz von EditMark demonstriert.’

Für die Bewertung eines 128-Bit-Wasserzeichens, dem höchsten Wert, der unter diesem Schema möglich ist, konnte EditMark seine Unverwüstlichkeit beibehalten:

Extraktions-Erfolgsraten und Einbettungszeiten für EditMark über Wasserzeichen-Längen von 32, 64 und 128 Bit auf fünf Sprachmodellen. Perfekte Erfolgsraten werden in allen Fällen beibehalten, während die Einbettungszeit mit der Wasserzeichen-Größe ansteigt, aber auch bei 128 Bit unter einer Minute bleibt.

Als nächstes wurde die Fähigkeit des Systems, die Wasserzeichen-Treue über mehrere Benchmarks hinweg zu bewahren, getestet:

Bewertung der Wasserzeichen-Treue auf vier Benchmarks über fünf Modelle, wobei unveränderte Modelle mit Modellen verglichen werden, die mit 32-Bit- und 128-Bit-Wasserzeichen markiert sind. Die Leistung bleibt über alle Konfigurationen hinweg stabil, mit nur geringen Schwankungen in den Durchschnittswerten, was darauf hindeutet, dass die Wasserzeichen-Einbettung nur einen begrenzten Einfluss auf die Benchmark-Genauigkeit hat.

Die Widerstandsfähigkeit von EditMark wurde gegen sechs gängige Angriffsstrategien getestet. Die Modelle wurden zunächst mit 128-Bit-Wasserzeichen unter Verwendung von fünf verschiedenen Seeds versehen. Feinabstimmung, wie im folgenden Bild gezeigt, führte nur zu einer geringen Verschlechterung der Extraktions-Erfolgsrate (ESR) für die meisten Modelle:

Extraktions-Erfolgsrate (ESR) von watermarked LLMs vor und nach der Feinabstimmung für ein bis drei Epochen. Während die meisten Modelle ihre hohe ESR über alle Epochen hinweg beibehalten, zeigt Qwen-7B einen deutlichen Rückgang, was auf eine größere Verwundbarkeit gegenüber Parameter-Updates hindeutet.

Sogar nach mehreren Epochen behielten die meisten Modelle ESRs über 90 % bei, was darauf hindeutet, dass EditMark der Parameter-Drift, die durch LoRA-basiertes Training eingeführt wird, widersteht.

Quantisierungsangriffe reduzierten die Modell-Präzision, ließen aber die meisten Wasserzeichen intakt:

Extraktions-Erfolgsrate (ESR) von watermarked Modellen vor und nach der Quantisierung mit Int-8- und Int-4-Präzision. Die ESR bleibt unter Int-8-Quantisierung über alle Modelle hinweg unverändert, während Int-4-Quantisierung eine teilweise Verschlechterung verursacht, was darauf hindeutet, dass eine geringere Präzision die Wasserzeichen schwächen, aber nicht vollständig entfernen kann.

Wie im Bild oben zu sehen ist, bewahrte die Int-8-Quantisierung eine ESR von 100 % über alle Modelle hinweg, während die Int-4-Quantisierung einen moderaten Einfluss auf die ESR hatte, aber unannehmbar hohe Leistungsverluste verursachte.

Wie das Papier feststellt, deutet dieses spezifische Szenario auf ein begrenztes Potenzial für einen Angreifer hin, da dies zu einem gehackten, aber leistungsgeschwächten Modell führt.

Tests für Rauschen und Beschneiden bewerteten vier Benchmark-Frameworks: MMLU; BLIMP; TruthfulQA; und GLUE. Diese Angriffe führten zu abnehmenden ESR, wenn die Störungen intensiver wurden:

Effekt von Rauschen (obere Zeile) und Beschneiden (untere Zeile) auf ESR und Benchmark-Leistung von watermarked Modellen. Wenn die ESR mit zunehmender Störung abnimmt, verschlechtert sich auch die Benchmark-Genauigkeit, insbesondere bei höheren Rauschintensitäten und Beschneide-Verhältnissen, was die (übliche) Spannung zwischen Wasserzeichen-Entfernung und Modell-Nützlichkeit hervorhebt.

Die Modell-Bearbeitung und adaptive Angriffe wurden ebenfalls bewertet:

Extraktions-Erfolgsrate von watermarked Modellen, die verschiedenen Graden von Modell-Bearbeitung unterzogen wurden. Selbst bei bis zu 50 Bearbeitungen, die auf bekannte Wasserzeichen-Schichten angewendet wurden, bleibt die ESR über 95 % für alle Modelle, was darauf hindeutet, dass direkte Parameter-Modifikationen einen begrenzten Einfluss auf die Wasserzeichen-Entfernung haben.

Hier behielt EditMark über 95 % ESR, sogar wenn die exakten Einbettungsschichten angegriffen wurden.

Schlussfolgerung

DRM, geheime Wasserzeichen und andere Sicherheitsansätze, die in der Vorgeschichte von KI (limited oder partial) Erfolg hatten, sind schwierig auf maschinelles Lernen anzuwenden; die bewusst reduktionistische Natur der aktuellen Architekturen kombiniert sich mit einem Mangel an geeigneten Werkzeugen, um alle eingefügten Wasserzeichen ziemlich zerbrechlich zu machen.

Es ist beeindruckend, ein System zu sehen, das auf FOSS-Modell-Veröffentlichungen abzielt, und zu sehen, wie es gegen alle Szenarien außer den unwahrscheinlichsten widersteht, in Bezug auf das Vorwissen eines Angreifers. Dennoch kann der sehr geringe Leistungsabfall, der mit den Nachbearbeitungen einhergeht, potenziellen Anwendern Anlass zur Besorgnis geben; nicht zuletzt, da das Zurückziehen auf ein API-zentrisches Modell der Kontrolle solche Angriffe fast vollständig vermeidet.

* Diese Seite hat argumentiert, dass ‘offene Gewichts’-Veröffentlichungen aus China nicht unbedingt als vollständig FOSS qualifizieren, da Daten oft zurückgehalten werden, was die exakte Rekonstruktion der Trainings-Pipeline verhindert. Es ist argumentierbar, dass dieses Thema eine tiefere Betrachtung der Politik von KI-Modell-Veröffentlichungen im Vergleich zwischen West und Ost erfordert, was jedoch den Rahmen dieses Artikels sprengt.

Erstveröffentlichung am Montag, den 27. Oktober 2025