Personalisierte Sprachmodelle sind leicht zu erstellen – und schwerer zu erkennen

Open-Source-Klone von ChatGPT können im großen Maßstab und mit begrenzter oder keiner Expertise fein abgestimmt werden, was die Erstellung von “privaten” Sprachmodellen ermöglicht, die der Erkennung entgehen. Die meisten Tools können nicht nachvollziehen, woher diese Modelle stammen oder wofür sie trainiert wurden, was es Studenten und anderen Nutzern ermöglicht, AI-Texte zu erstellen, ohne erwischt zu werden; aber eine neue Methode behauptet, dass sie diese versteckten Varianten identifizieren kann, indem sie gemeinsame “Familienmerkmale” in den Ausgaben der Modelle erkennt.

Laut einer neuen Studie aus Kanada sind benutzerdefinierte AI-Chat-Modelle, ähnlich wie ChatGPT, in der Lage, Social-Media-Inhalte zu erstellen, die dem menschlichen Schreiben sehr ähnlich sind und die state-of-the-art-Erkennungsalgorithmen und Menschen täuschen können.

Die Studie besagt:

‘Ein realistisch motivierter Angreifer wird wahrscheinlich ein Modell für seinen spezifischen Stil und Einsatzfall fein abstimmen, da dies billig und einfach ist. Mit minimalem Aufwand, Zeit und Geld haben wir fein abgestimmte Generatoren erstellt, die in der Lage sind, realistischere Social-Media-Tweets zu erstellen, basierend auf linguistischen Merkmalen und Erkennungsgenauigkeit, und dies durch menschliche Annotationen bestätigt.’

Die Autoren betonen, dass benutzerdefinierte Modelle dieser Art nicht auf kurze Social-Media-Inhalte beschränkt sind:

‘Obwohl wir durch die Verbreitung von AI-Inhalten auf Social-Media-Plattformen und die damit verbundenen Risiken von Astroturfing und Einflusskampagnen motiviert sind, betonen wir, dass die wichtigsten Ergebnisse sich auf alle Textdomänen erstrecken.

‘Tatsächlich ist die Feinabstimmung von Modellen für die Erstellung von stil-spezifischen Inhalten eine allgemein anwendbare Methode, die wahrscheinlich bereits von vielen generativen AI-Nutzern verwendet wird – was die Frage aufwirft, ob bestehende Methoden zur Erkennung von AI-erzeugten Texten so effektiv sind, wie sie in der Forschung erscheinen.’

Wie die Studie feststellt, ist die Methode, die zur Erstellung dieser maßgeschneiderten Sprachmodelle verwendet wird, die Feinabstimmung, bei der Benutzer eine begrenzte Menge an Ziel-Daten curieren und in eine wachsende Anzahl an einfach zu bedienenden und preiswerten Online-Trainings-Tools einfügen.

Beispielsweise bietet das beliebte Repository Hugging Face große Sprachmodelle (LLM) für die Feinabstimmung über eine vereinfachte Schnittstelle an, die AutoTrain Advanced-System verwendet, das entweder für ein paar Dollar über eine Online-GPU oder kostenlos lokal ausgeführt werden kann, wenn der Benutzer über ausreichende Hardware verfügt:

Verschiedene Preisstrukturen über den Bereich der für das Hugging Face AutoTrain-System verfügbaren GPUs. Quelle: https://huggingface.co/spaces/autotrain-projects/autotrain-advanced?duplicate=true

Andere vereinfachte Methoden und Plattformen umfassen Axolotl, Unsloth und die leistungsfähigere, aber anspruchsvollere TorchTune.

Ein Beispiel für die Verwendung wäre ein Student, der müde ist, seine eigenen Essays zu schreiben, aber Angst hat, von Online-AI-Erkennungstools erwischt zu werden, der seine eigenen realen historischen Essays als Trainingsdaten verwenden kann, um ein effektives, beliebtes Open-Source-Modell wie die Mistral-Serie fein abzustimmen.

Obwohl die Feinabstimmung eines Modells tendiert, seine Leistung in Richtung der zusätzlichen Trainingsdaten zu verschieben und die Gesamtleistung zu verschlechtern, können “personalisierte” Modelle verwendet werden, um den immer deutlicher werdenden AI-Output von Systemen wie ChatGPT zu “ent-AI-en”, auf eine Weise, die den eigenen Stil des Benutzers widerspiegelt (und, für erhöhte Authentizität, seine Schwächen).

Allerdings kann man auch ausschließlich ein fein abgestimmtes Modell verwenden, das speziell für eine enge Aufgabe oder einen bestimmten Bereich trainiert wurde, wie ein LLM, das auf den Kursinhalten eines bestimmten Universitätsmoduls fein abgestimmt wurde. Ein Modell, das so spezifisch ist, hätte eine myope, aber viel tiefere Einsicht in diesen Bereich als ein allgemeines LLM wie ChatGPT und würde wahrscheinlich weniger als 10-20 Dollar kosten, um es zu trainieren.

Der LLM-Eisberg

Es ist schwierig zu sagen, wie groß der Umfang dieser Praxis ist. Anekdotisch habe ich auf verschiedenen Social-Media-Plattformen in letzter Zeit viele geschäftliche Beispiele für LLM-Feinabstimmung gesehen – sicherlich viele mehr als vor einem Jahr; in einem Fall hat ein Unternehmen ein Sprachmodell auf seinen eigenen veröffentlichten Thought-Leadership-Artikeln fein abgestimmt, das dann in der Lage war, einen unvollständigen Zoom-Anruf mit einem neuen Kunden in einen polierten B2B-Beitrag fast in einem Durchgang umzuwandeln, auf Abruf:

Ein Modell dieser Art erfordert gepaarte Daten (Beispiele vor und nach, im großen Maßstab), während die Erstellung einer personalisierten “Gloss” der Merkmale eines bestimmten Schreibers eine einfachere Aufgabe ist, ähnlich wie Stil-Transfer.

Obwohl dies ein verstecktes Vorhaben ist (trotz zahlreicher Schlagzeilen und akademischer Studien zu diesem Thema), wo Zahlen nicht verfügbar sind, gilt die gleiche gesunde Vernunft, die das TAKE IT DOWN-Gesetz in diesem Jahr in Kraft gesetzt hat, auch hier: die Zielaktivität ist möglich und erschwinglich, und es gibt ein starkes gesundes Verständnis, dass potenzielle Nutzer hoch motiviert sind.

Es gibt gerade noch genug Reibung in den “dummsten” Online-Feinabstimmungssystemen, dass die Praxis des unehrlichen Trainings und Einsatzes fein abgestimmter Modelle noch ein relativ spezifischer Anwendungsfall ist – zumindest für den Moment – obwohl sicherlich nicht jenseits der traditionellen Erfindungsgabe von Studenten.

PhantomHunter

Dies bringt uns zu dem Hauptartikel, der uns hier interessiert – einem neuen Ansatz aus China, der eine Vielzahl von Techniken in einem einzigen Framework zusammenfasst – genannt PhantomHunter – das behauptet, die Ausgabe fein abgestimmter Sprachmodelle zu erkennen, die sonst als ursprüngliche menschliche Arbeit durchgehen würden.

Das System ist so konzipiert, dass es funktioniert, auch wenn das spezifische fein abgestimmte Modell noch nie zuvor gesehen wurde, und stattdessen auf residuale Spuren zurückgreift, die vom ursprünglichen Basis-Modell hinterlassen wurden – die die Autoren als “Familienmerkmale” bezeichnen, die den Feinabstimmungsprozess überstehen.

In Tests berichtet die Studie – mit dem Titel PhantomHunter: Erkennung unsichtbarer, privat abgestimmter LLM-erzeugter Texte über familienbewusstes Lernen – über eine starke Erkennungsgenauigkeit, wobei das System die Null-Shot-GPT-4-Mini-Bewertung^† bei der Rückverfolgung einer Textprobe zu ihrer Modellfamilie übertraf.

Dies deutet darauf hin, dass je mehr ein Modell fein abgestimmt wird, desto mehr enthüllt es über seine Herkunft, was der Annahme entgegenwirkt, dass private Feinabstimmung immer die Herkunft eines Modells maskiert; stattdessen kann der Feinabstimmungsprozess einen erkennbaren Fingerabdruck hinterlassen, der, wenn er richtig gelesen wird, das Spiel verrät – zumindest vorerst, bis weitere Fortschritte, die scheinbar wöchentlich auftauchen, dies ändern.

Die Studie besagt*:

‘[Maschinell erzeugter Text] Erkennung unterscheidet im Allgemeinen LLM-erzeugten und menschlich geschriebenen Text durch binäre Klassifikation. Bestehende Methoden lernen entweder gemeinsame textuelle Merkmale, die über LLMs mithilfe von Repräsentationslernen geteilt werden, oder entwerfen unterscheidbare Metriken zwischen menschlichem und LLM-Text basierend auf internen LLM-Signalen (z. B. Token-Wahrscheinlichkeiten).

‘Für beide Kategorien wurden ihre Tests hauptsächlich mit Daten aus öffentlich verfügbaren LLMs durchgeführt, unter der Annahme, dass Benutzer Text mithilfe öffentlicher, vorgefertigter Dienste erstellen.

‘Wir argumentieren, dass diese Situation durch die jüngste Entwicklung der Open-Source-LLM-Gemeinschaft geändert wird. Mit der Hilfe von Plattformen wie HuggingFace und effizienten LLM-Trainingsmethoden wie Low-Rank-Adaptation (LoRA) ist es viel einfacher geworden, fein abgestimmte LLMs mit benutzerdefinierten privaten Daten zu erstellen.

‘Zum Beispiel gibt es über 60.000 Llama-basierte abgeleitete Modelle auf HuggingFace. Nach privater Feinabstimmung auf unbekannten Korpus könnten die gelernten Merkmale der Basis-Modelle geändert werden und die LLMGT-Erkennung würde [versagen], was ein neues Risiko darstellt, dass bösartige Benutzer schädliche Texte privat erstellen können, ohne von LLMGT-Erkennern erwischt zu werden.

‘Ein neues Problem entsteht: Wie kann man Text erkennen, der von privat abgestimmten Open-Source-LLMs erzeugt wird?‘

Methode und Training

Das PhantomHunter-System verwendet eine familienbewusste Lernstrategie, die drei Komponenten kombiniert: einen Merkmalsextraktor, der Ausgabewahrscheinlichkeiten von bekannten Basis-Modellen erfasst; einen kontrastiven Encoder, der trainiert wird, um zwischen Familien zu unterscheiden; und (wie im Folgenden detailliert) einen Mischung-der-Experten-Klassifizierer, der Familien-Labels neuen Textproben zuweist:

Schema für das System. PhantomHunter verarbeitet eine Textprobe, indem es zunächst Wahrscheinlichkeitsmerkmale aus mehreren Basis-Modellen extrahiert, die dann mithilfe von CNN- und Transformer-Schichten codiert werden. Quelle: https://arxiv.org/pdf/2506.15683

PhantomHunter funktioniert, indem es einen Text durch mehrere bekannte Basis-Modelle leitet und aufzeichnet, wie wahrscheinlich jedes Modell denkt, dass das nächste Wort ist, bei jedem Schritt. Diese Muster werden dann in ein neuronales Netzwerk eingegeben, das die unterscheidbaren Merkmale jeder Modellfamilie lernt.

Während des Trainings vergleicht das System Texte aus der gleichen Familie und lernt, sie zusammen zu gruppieren, während es zwischen denen aus verschiedenen Familien unterscheidet, was hilft, versteckte Verbindungen zwischen fein abgestimmten Modellen und ihren Basis-Modellen zu erkennen.

MOE

Um zu entscheiden, ob ein Text von einem Menschen oder von AI geschrieben wurde, verwendet PhantomHunter ein Mischung-der-Experten-System, bei dem jeder “Experte” so trainiert wird, dass er Text von einer bestimmten Modellfamilie erkennt.

Sobald das System errät, aus welcher Familie der Text wahrscheinlich stammt, verwendet es diese Vermutung, um zu entscheiden, wie viel Gewicht es jeder Meinung des Experten gibt. Diese gewichteten Meinungen werden dann kombiniert, um die endgültige Entscheidung zu treffen: AI oder Mensch.

Das Trainieren des Systems umfasst mehrere Ziele: das Erkennen von Modellfamilien; das Unterscheiden zwischen AI-Text und menschlichem Text; und das Trennen verschiedener Familien mithilfe kontrastiven Lernens – Ziele, die während des Trainings durch einstellbare Parameter ausbalanciert werden.

Indem es sich auf Muster konzentriert, die über jede Familie hinweg geteilt werden, anstatt auf Eigenheiten einzelner Modelle, sollte PhantomHunter theoretisch in der Lage sein, sogar fein abgestimmte Modelle zu erkennen, die es noch nie zuvor gesehen hat.

Daten und Tests

Um Daten für Tests zu entwickeln, konzentrierten sich die Autoren auf die beiden häufigsten akademischen Szenarien: Schreiben und Fragebeantwortung. Für das Schreiben sammelten sie 69.297 Abstracts aus dem Arxiv-Archiv, unterteilt in primäre Domänen. Für Fragebeantwortung wurden 2.062 Paare aus dem HC3-Datensatz über drei Themen curiert: ELI5; Finanzen; und Medizin:

Liste der Datenquellen und deren Anzahl, in den für die Studie curierten Daten.

Insgesamt wurden zwölf Modelle für den Test trainiert. Die drei Basis-Modelle waren LLaMA-2 7B-Chat; Mistral 7B-Instruct-v0.1; und Gemma 7B-it), aus denen neun fein abgestimmte Varianten erstellt wurden, jede auf eine andere Domäne oder Autoren-Style zugeschnitten, mithilfe domänen-spezifischer Daten:

Statistiken des Bewertungsdatensatzes, wobei ‘FT-Domäne’ die Domäne bezeichnet, die während der Feinabstimmung verwendet wurde, und ‘Basis’ bedeutet, dass keine Feinabstimmung durchgeführt wurde.

Insgesamt wurden also drei Basis-Modelle mithilfe von Full-Parameter- und LoRA-Techniken über drei verschiedene Domänen in jedem von zwei Nutzungsszenarien fein abgestimmt: akademisches Abstract-Schreiben und Fragebeantwortung. Um realistische Erkennungsherausforderungen widerzuspiegeln, wurden Modelle, die auf Computer-Science-Daten fein abgestimmt wurden, von den Schreibtests ausgeschlossen, während Modelle, die auf Finanz-Daten fein abgestimmt wurden, von den Fragebeantwortungsbewertungen ausgeschlossen wurden.

Als Vergleichsframeworks wurden RoBERTa; T5-Sentinel; SeqXGPT; DNA-GPT; DetectGPT; Fast-DetectGPT; und DeTeCtive ausgewählt.

PhantomHunter wurde mithilfe von zwei Arten von neuronalen Netzwerk-Schichten trainiert: drei konvolutiven Schichten mit Max-Pooling zur Erfassung lokaler Textmuster und zwei Transformer-Schichten mit vier Aufmerksamkeitsköpfen, um längere Beziehungen zu modellieren.

Für kontrastives Lernen, das das System dazu anregt, zwischen verschiedenen Modellfamilien zu unterscheiden, wurde der Temperatur-Parameter auf 0,07 gesetzt.

Das Trainingsziel kombinierte drei Verlustterme: L1 (für Familien-Klassifikation) und L2 (für binäre Erkennung), jeweils mit einem Gewicht von 1,0, und L3 (für kontrastives Lernen), mit einem Gewicht von 0,5.

Das Modell wurde mithilfe von Adam mit einer Lernrate von 2e-5 und einem Batch-Größe von 32 optimiert. Das Training fand über zehn vollständige Epochen statt, wobei der am besten performende Checkpoint mithilfe eines Validierungsdatensatzes ausgewählt wurde. Alle Experimente wurden auf einem Server mit vier NVIDIA A100-GPUs durchgeführt.

Als Metriken wurden F1-Werte für jeden Test-Teil berechnet, zusammen mit wahrer Positivrate, zum Vergleich mit kommerziellen Erkennungssystemen.

F1-Werte für die Erkennung von Texten aus unsichtbaren fein abgestimmten Sprachmodellen. Die beiden besten Ergebnisse in jeder Kategorie sind fett und unterstrichen.

Die Ergebnisse des initialen Tests, visualisiert in der obigen Tabelle, zeigen, dass PhantomHunter alle Vergleichssysteme übertraf, wobei es F1-Werte über 90 % für sowohl menschlichen als auch maschinell erzeugten Text aufrechterhielt, sogar wenn es auf Ausgaben von fein abgestimmten Modellen getestet wurde, die während des Trainings ausgeschlossen waren.

Die Autoren kommentieren:

‘Mit voller Feinabstimmung verbessert PhantomHunter den MacF1-Wert um 3,65 % und 2,96 % auf beiden Datensätzen im Vergleich zum besten Vergleichssystem; und mit LoRA-Feinabstimmung sind die Verbesserungen 2,01 % und 6,09 % jeweils.

‘Das Ergebnis zeigt PhantomHunters starke Erkennungsfähigkeit für Texte, die von unsichtbaren fein abgestimmten LLMs erzeugt werden.’

Es wurden Ablationsstudien durchgeführt, um die Rolle jeder Kernkomponente in PhantomHunter zu bewerten. Wenn einzelne Elemente entfernt wurden, wie der Merkmalsextraktor, der kontrastive Encoder oder der Mischung-der-Experten-Klassifizierer, wurde ein konsistenter Rückgang der Genauigkeit beobachtet, was darauf hindeutet, dass die Architektur auf die Koordination aller Teile angewiesen ist.

Die Autoren untersuchten auch, ob PhantomHunter über seine Trainingsverteilung hinaus generalisieren kann und stellten fest, dass es, wenn es auf Ausgaben von Basis-Modellen angewendet wurde, die während des Trainings nicht vorhanden waren, weiterhin die Vergleichsmethoden übertraf – was darauf hindeutet, dass familienbezogene Signaturen auch über fein abgestimmte Varianten hinweg erkennbar bleiben.

Schlussfolgerung

Ein Argument zugunsten benutzertrainierter generativer Sprachmodelle ist, dass diese zumindest den individuellen Stil und die Eigenheiten eines Autors bewahren, in einer Atmosphäre, in der die generische, SEO-inspirierte Sprache von AI-Chatbots die Sprache zu uniformieren droht, wo AI zu einem großen oder dominanten Beitrag wird.

Bei der Entwertung des College-Essays und mit Studenten, die jetzt Screencasts von riesigen Schreibsitzungen erstellen, um zu beweisen, dass sie keine AI für ihre Einreichungen verwendet haben, erwägen mehr Lehrer außerhalb Europas (wo mündliche Prüfungen normalisiert sind) mündliche Prüfungen als Alternative zu eingereichten Texten. Kürzlich wurde auch eine Rückkehr zu handschriftlichen Arbeiten vorgeschlagen.

Argumentierbar sind beide Lösungen besser als das, was zu einer LLM-basierten Wiederholung des Deepfake-Wettlaufs führen könnte; obwohl sie auf Kosten von menschlichem Aufwand und Aufmerksamkeit erfolgen, was die Technologie-Kultur derzeit zu automatisieren versucht.

^† Siehe bitte den Abschnitt am Ende der Hauptergebnisse im Quellenpapier für Details dazu.

* Meine Umwandlung der inline-Zitate der Autoren in Hyperlinks. Betonungen der Autoren, nicht meine.

Erstveröffentlicht am Donnerstag, den 19. Juni 2025