KI-generierte Texte ermüden nie und offenbaren sich daher

ChatGPT-ähnliche KI gibt sich durch zunehmende Konsistenz zu erkennen, während menschliches Schreiben überall unregelmäßig bleibt.

Die begrenzte Kontextfenster der meisten verbraucherorientierten Large Language Models (LLMs) ist einer der Faktoren, die dazu führen können, dass sie frühere Teile von Benutzergesprächen vergessen oder falsch zurückrufen – Erinnerungsfehler, die allmählich dazu führen können, dass die Ausgabe in völligen Unsinn umschlägt – oder, schlimmer noch, in täuschend kohärent aussehenden Texten, die subtile Fehler enthalten.

Da diese Umstände zu Halluzinationen führen und da Halluzinationen immer noch das größte Hindernis für den gesamten Marktvorstoß von KI sind, wurde viel Forschungsarbeit in die Entwicklung generativer KI-Systeme investiert, die konsistentere Texte erzeugen können.

Tatsächlich wird so viel Fortschritt erzielt, dass die Erkennung von KI-Inhalten (d. h. Inhalten, die rein von KI generiert werden, mit – vermutlich – minimaler oder keiner menschlichen Nachbearbeitung) als wachsendes Problem betrachtet wird.

Die Entlarvung einer KI-Filibuster

Trotzdem behaupten aktuelle empirische Studien , dass es umso einfacher ist, zu bestimmen, ob ein Text von einem Menschen oder einer KI generiert wurde, je mehr Ausgabe die KI-Textgeneratoren in einem Durchgang produzieren; jedoch geht die allgemein anerkannte Weisheit in Bezug auf diesen Erkennungsanker davon aus, dass KI zu erkennen ist, weil was auch immer sie anders macht als Menschen, sie mehr Gelegenheit hat, es häufiger in längeren Texten zu tun.

Es werden keine Annahmen über die Verteilung dieser “Merkmale” im Text selbst gemacht.

Um dies in Frage zu stellen und das Problem zu erweitern, bietet eine interessante aktuelle Forschungsstudie aus China eine neue Methode, um die neue Generation von KI-Textgeneratoren von echten menschlichen Autoren zu unterscheiden. Die Forscher hinter der Arbeit behaupten, dass die Token-für-Token-Natur, durch die KI-Texte generiert werden, dazu führt, dass sie mit zunehmender Länge konsistenter wird, während die Eigenheiten der Menschen nicht mit der Länge abnehmen.

Auf diese Weise schlagen die Autoren vor, dass ihre Erkenntnis ein potenzielles neues Maß für KI-Texterkennungssysteme bietet*:

‘KI-generierte Token im letzten Teil des Textes zeigen kleinere und stabilere Wahrscheinlichkeitsfluktuationen, da die Vorhersagen des Modells mit zunehmendem Kontext immer konsistenter werden.

‘Wir bezeichnen dieses Muster als Volatilitätsabnahme im Spätstadium. Dieses Phänomen spiegelt das inhärente Verhalten der autoregressiven Generierung wider: Wenn mehr Kontext verfügbar wird, schärft sich die Vorhersageverteilung des Modells, was zu einer verringerten Variabilität in den Token-Statistiken führt.

‘Menschliches Schreiben hingegen führt weiterhin unerwartete lexikalische Auswahlmöglichkeiten ein und hält eine höhere Volatilität überall aufrecht.’

Um diese seltsame “Glattheit”, die in KI-Texten gegen Ende auftritt, zu erfassen, definieren die Forscher zwei einfache Merkmale: Das erste misst, wie sehr das statistische Verhalten des Schreibens “herumhüpft” zwischen Token; das zweite überprüft, wie stabil alles bleibt in kurzen Textabschnitten.

Beide werden nur aus der zweiten Hälfte der Ausgabe berechnet, wo KI auffallend regelmäßiger wird und menschliches Schreiben nicht. Die Autoren bemerken, dass diese Signale zwar einzeln gut funktionieren, aber noch effektiver sind, wenn sie mit älteren Erkennungsmethoden kombiniert werden, die nach umfassenderen Mustern suchen. Sie bemerken auch, dass dieser Ansatz am besten auf längeren Texten funktioniert, wo der Kontrast offensichtlicher wird.

Die neue Arbeit bietet eine Methodik zur Überprüfung der “KI-ähnlichkeit” über die Analyse temporaler Merkmale in der zweiten Hälfte, ohne zusätzliches Training oder Feintuning oder privilegierten Modellzugriff.

Die neue Arbeit trägt den Titel Wenn KI sich beruhigt: Spätstadiumsstabilität als Signatur der KI-Texterkennung und stammt von vier Autoren der Westlake-Universität in Hangzhou.

Methode

Um die zunehmende Glattheit in KI-generierten Texten zu erfassen, entwarfen die Forscher zwei Messungen, die sich nur auf die zweite Hälfte eines Abschnitts konzentrieren. Diese basieren auf Log-Wahrscheinlichkeitswerten eines Standard-Sprachmodells und erfordern kein Feintuning, keine erneute Schulung oder zusätzliche Proben:

Aus der neuen Arbeit – jede Zeile zeigt das Verhalten einer Basismetrik aus EvoBench über die Token-Sequenz: Rohwert (links), absoluter Ableitungswert (Mitte) und lokale Standardabweichung (rechts). Menschliche und KI-Linien sind in Blau und Rot dargestellt. Die meisten Abweichungen treten in der zweiten Hälfte des Textes auf, insbesondere bei Log-Wahrscheinlichkeit und Stichproben-Abweichung, die eine zunehmende Trennung und glattere KI-Ausgabe zeigen. Entropie und Top-K-Konzentration zeigen wenig Änderung über die Zeit. Quelle

Die erste Messung, genannt Ableitungs-Dispersion (DD), verfolgt, wie scharf die Vertrauensänderung des Modells von einem Wort zum nächsten ist. KI-Text neigt dazu, in einen Rhythmus zu verfallen, sodass diese Änderungen kleiner und vorhersehbarer in der zweiten Hälfte werden. Im Gegensatz dazu bleibt menschliches Schreiben “uneben”.

Die zweite Messung, Lokale Volatilität (LV), betrachtet, wie sehr die Vertrauensänderung des Modells “herumhüpft” innerhalb eines kleinen Textfensters. Wiederum neigt KI dazu, im Laufe der Zeit stabiler zu werden, während menschliche Auswahlmöglichkeiten überraschender und weniger konsistent bleiben:

KI-Text wird glatter, während menschliches Schreiben uneben bleibt. Diese Grafiken verfolgen, wie die Vertrauensänderung des Modells im Laufe eines Abschnitts verläuft, wobei sowohl die Schärfe der Änderung zwischen aufeinanderfolgenden Wörtern als auch die Variation innerhalb lokaler Textabschnitte berücksichtigt werden. In beiden Aspekten ist der Rückgang viel steiler in maschinengenerierter Ausgabe, wobei der Kontrast besonders nach dem Mittelpunkt offensichtlich wird. Die gelben Kästchen heben diese wachsende Lücke in der zweiten Hälfte hervor, in der KI-Schreiben bis zu 32 % mehr Stabilität als menschliches Schreiben erreicht.

Erneut werden beide Metriken nur aus der späteren Hälfte des Textes berechnet, wo der Unterschied zwischen menschlichem und maschinellen Schreiben am deutlichsten ist. Diese werden dann in einen einzelnen Wert namens Temporale Stabilitätserkennung (TSD) integriert – der anfällig ist, zu steigen, wenn das Schreiben “glatter” (und daher wahrscheinlicher KI-generiert) wird. Ein einfacher Schwellenwert wird dann verwendet, um zu entscheiden, ob ein bestimmter Abschnitt wahrscheinlich von einer Maschine geschrieben wurde.

Da diese Merkmale sich auf wann ein Muster auftritt konzentrieren, anstatt nur darauf, wie das Muster aussieht, werden sie durch ältere Methoden ergänzt, die statistische Anomalien im gesamten Abschnitt suchen. Die Hinzufügung des TSD-Scores zur Ausgabe des Fast-DetectGPT-Angebots von Ende 2024 (auch in Zusammenarbeit mit Westlake) bietet eine zusätzliche Verbesserung der Ergebnisse (insbesondere für Langtextinhalte, bei denen der Effekt der Spätstadiumsglattheit am stärksten ist).

Daten und Tests

Die Autoren führten Tests auf zwei verwandten Benchmark-Datensätzen durch: EvoBench enthält 32.000 menschliche/KI-Textpaare, die über sieben Modellfamilien generiert wurden, darunter GPT-4; GPT-4o; Claude; Google Gemini; LLaMA-3; und Qwen, mit insgesamt 29 Modellversionen.

Der andere Rahmen war MAGE, der 30.000 Testpaare über acht Modellfamilien anbietet, darunter (aber nicht beschränkt auf) die GPT-Serie von OpenAI und die LLaMA-, OPT– und FLAN-T5-Familien.

Konkurrenten

Die neue Methode wurde gegen eine Reihe von Zero-Shot-Detektoren getestet, die den gleichen Surrogat-Modell verwenden. Wahrscheinlichkeit, Entropie, Rang und Log-Rang (DetectGPT) messen Token-Statistiken über den gesamten Abschnitt; LLR (DetectLLM) wendet Normalisierung an, um einen direkten Vergleich zwischen Modellen zu ermöglichen; und Fast-Detect schätzt lokale Krümmung durch stichprobenbasierte Störungen.

Lastde analysiert diskriminative Subsequenzen im Wahrscheinlichkeitssignal, während FourierGPT im Frequenzbereich operiert. Diveye erfasst Verschiebungen in der “Überraschung”-Vielfalt über die Sequenz.

Schließlich bewertet UCE das Unsicherheitsprofil von Token-Vorhersagen, um unnatürliche Vertrauensmuster zu identifizieren.

Implementierung und Ergebnisse

Alle Erkennungsmethoden wurden unter Verwendung von Llama-3-8B-Instruct als gemeinsamem Surrogat-Modell durchgeführt, wobei die Eingabesequenzen auf 512 Token begrenzt waren. Temporale Merkmale wurden nur aus der zweiten Hälfte jedes Abschnitts extrahiert, wobei ein gleitendes Fenster von 20 Token verwendet wurde, um die Volatilität zu messen. Eine kombinierte Version der Methode, genannt TSD+, kombinierte das vorgeschlagene Signal mit Fast-DetectGPT.

Der Bereich unter der ROC-Kurve (AUROC) war die primäre Bewertungsmetrik^†:

Vielfältige Leistung unter den verschiedenen getesteten Methoden gegen KI-generierte Texte. Die Erkennungsgenauigkeit wird über zwei Benchmark-Datensätze hinweg angezeigt: EvoBench, der mehrere hochkarätige LLMs abdeckt, und MAGE, ein komplementärer Datensatz. Metriken sind nach Methodentyp gruppiert: globale Statistiken, temporale Merkmale und vorgeschlagene Varianten. Durchschnittliche AUROC-Werte werden in den letzten Spalten angegeben. Ergebnisse aus den Varianten der Autorenmethode überbieten konsistent vorherige Baselines, wobei TSD+ die höchsten Werte in fast jedem Modellsetting erzielt.

Von diesen anfänglichen Ergebnissen behaupten die Autoren:

‘Unsere einfachen temporalen Merkmale erreichen eine Leistung auf dem Stand der Technik unter den eigenständigen Methoden, wobei TSD 83,36 % auf EvoBench und 71,56 % auf MAGE erzielt, was alle Baselines, einschließlich Fast-DetectGPT, übertrifft.

‘Dies ist bemerkenswert, wenn man bedenkt, dass unsere Methode einfach ist: Wir berechnen nur zweite Ordnungsstatistiken aus der zweiten Hälfte der Sequenzen, ohne Störungsstichproben oder Frequenzbereichstransformationen.’

Die neue Methode funktionierte besonders gut bei neuen KI-Modellen wie GPT-4 und GPT-4o, bei denen sie KI-geschriebene Texte genauer identifizierte als der nächste führende Detektor, mit einer Leistungsunterschied von bis zu 9,66 %. Obwohl neuere fortschrittliche Modelle weniger offensichtlich “konsistente” Texte produzieren, die einige Anzeichen der Automatisierung verbergen, sind bestimmte subtile Zeitmuster dennoch nahe dem Ende erkennbar.

Konkurrierende Ansätze, die sich auf breite Strukturmerkmale konzentrieren, versäumen es, diese Spätstadienmuster zu erfassen. Durch die Integration eines globalen Detektors scheint das Hybrid-System diese verpassten Signale wiederzuerlangen und verbessert die Leistung, insbesondere auf Benchmark-Datensätzen, bei denen kürzere KI-Ausgaben temporale Hinweise schwächen können.

Schlussfolgerung

Ein Aspekt, der in der neuen Arbeit nicht direkt angesprochen wird, ist die Neigung von menschlichen Schreibern, ihre Arbeit durch Entwürfe und verschiedene Schichten der Überwachung zu iterieren – manchmal einschließlich externer Überwachung, wie z. B. der Eingabe von Redakteuren und Korrektoren, sowie möglicher vorgeschlagener Änderungen von Rechtsabteilungen, je nach Kontext.

Die vielen Beteiligten, die an Dokumenten wie einem gut versteckten Zeitungsartikel beteiligt sind, können die Eigenheiten, auf die das neue vorgeschlagene System abzielt, nahezu auslöschen und sind in der Tat eine Art “analoge Version” eines KI-gestützten Entwurfsprozesses.

Zusätzlich haben die untersuchten Systeme selbst auf solchen Werken trainiert, und – da Trainingsdaten bei der Trainingszeit zunehmend nach Autorität bewertet werden – können die “gewichtigsten” oder angesehensten Quellen die “unnatürlichsten” sein; zumindest im Vergleich zu jemandem, der schnell eine informelle E-Mail an einen Kollegen verfasst, anstatt einen Jahresbericht für eine Hauptversammlung zusammenzustellen.

Ein weiterer und kontrastierender Aspekt ist, dass Textinhalte, an denen mehrere Personen mitgewirkt haben, auch zu den fragmentiertesten, fehlerhaftesten und repetitivsten Texten in einem Datensatz gehören können, da sie oft nicht den Vorteil einer endgültigen einheitlichen Stimme hatten, was die stückweise Natur ihrer Entwicklung im Text offensichtlich macht.

* Ursprüngliche Textstil der Autoren, reproduziert aus dem Papier; nicht meine Betonungen.

^† Die Autoren behaupten ‘primär’, während sie keine anderen Bewertungsmetriken auflisten.

Erstveröffentlicht am Montag, den 26. Januar 2026