Erkennung von KI‑Ideen, nicht von KI‑Texten

Was wäre, wenn es einen KI‑Textdetektor gäbe, der erkennen könnte, dass Sie etwas basierend auf einer Idee geschrieben haben, die Ihnen die KI gegeben hat – selbst wenn das gesamte eigentliche Schreiben (d. h. der Text) Ihre eigene Originalarbeit war?

Wir alle kennen KI‑Textdetektoren, die Prominente und Politiker in Verlegenheit bringen, neben anderen – Algorithmen, die die Merkmale von KI‑erstelltem Text untersucht haben und diese Muster erkennen, wenn sie auftreten.

Diese Fälle stellen eine einfache Auslagerung einer Kommunikationsaufgabe dar, bei der Sprachmodelle wie ChatGPT und Google Gemini vorhersagen, welches Token als nächstes wahrscheinlich ist als Antwort auf die Eingabe eines Nutzers – nicht indem sie einen Schritt zurücktreten und zunächst das Gesamtbild des Problems oder der These betrachten, sondern indem sie einfach das wahrscheinlichste nächste Wort raten.

Dennoch führt dieses Flickenteppich‑Mosaik von Vorhersagen laut aktueller Forschung schließlich zu einer zugrunde liegenden Struktur: Die Notwendigkeit, dass benachbarte Textabschnitte kohärent und zueinander relevant sind, bewirkt, dass sich in der „Gliederung“ oder höheren Dimensionalität des Werks eine einzigartige Signatur entwickelt – eine, die die Hand von KI erkennen kann, selbst wenn der Text umfangreich umgeschrieben wird, um ihn zu „humanisieren“:

Die eindeutige höherdimensionale „Form“ des Schreibens unter verschiedenen LLMs und – links – reines menschliches Schreiben. Quelle

Gezielte KI‑Ideenfindung

Eine neue akademische Zusammenarbeit unter Leitung der University of Maryland geht einen Schritt weiter, indem sie eine Methodik anbietet, die feststellen kann, ob die Ideen selbst von KI stammen, unabhängig davon, wer letztlich die Worte geschrieben hat.

Der Ansatz, genannt IdeaLens und auf einer Million aus Web‑Dokumenten extrahierter Gliederungen trainiert, zielt darauf ab, jedes Dokument auf eine Gliederung zu reduzieren, die seine Ideen bewahrt, während die Formulierung entfernt wird – und wird mit einer Online‑Demo bereitgestellt:

Links zeigt ein meiner eigenen Artikel, der in der Online‑Demo als menschlich eingestuft wird, während ein anderer von mir eingereichter Artikel (von einem anderen Autor verfasst) offenbar erheblichen KI‑Einfluss aufweist. Quelle

Wie in den obigen Beispiel‑Demo‑Ergebnissen zu sehen, können die verwendeten Erkennungsmethoden zwischen menschlichen Ideen und menschlicher Prosa sowie KI‑Ideen und KI‑Prosa unterscheiden und sie granular sowie eindeutig bewerten – obwohl die beiden Detektoren auf denselben Dokumenten, Labels und zugrunde lieender Modellarchitektur trainiert wurden, während sie darauf ausgelegt sind, im Wesentlichen gegenüberliegende Dinge zu erkennen: die Herkunft von Ideen und die Herkunft von Prosa.

Man vermutet, dass dieses Erkennungsfeld eine Reihe von Schreibkategorien nervös machen könnte, von politischen Redenschreibern über Romanautoren bis hin zu Kolumnisten, neben anderen, die bisher ihren eigenen Schreibstil geschätzt haben, aber KI ihre Themen beflügelt haben.

Ein Grund, warum LLMs wahrscheinlich erkennbare (und damit nachverfolgbare) Ideen erzeugen, liegt nicht nur darin, dass bestimmte Konzepte und Texte statistisch die unterkuratierten Trainingsdaten des Modells dominiert haben, wodurch sie in einer breiteren Palette von Anfragen wahrscheinlicher auftauchen; sondern auch, weil LLMs mysteriöse und repetitive Obsessionen besitzen, die scheinbar keinen Bezug zu spezifischen Trainingsdaten haben, und dennoch häufig unbeabsichtigt auftauchen.

Die Autoren stellen fest*:

‘Während moderne KI‑Detektoren identifizieren, wer die Worte geschrieben hat, hängen neue Richtlinien zur KI‑Nutzung zunehmend von einer anderen Frage ab: wer die Ideen entwickelt hat? Wir stellen IdeaLens vor, einen Detektor, der erkennt, ob die Ideen eines Dokuments von einem Menschen oder einer KI stammen (Ideenherkunft), unabhängig davon, wer seine Worte geschrieben hat.

‘Um IdeaLens auf Ideen statt auf Prosa zu fokussieren, stellen wir Dokumente als Gliederungen dar: Listen von Elementen, die jeweils eine Diskursrolle mit einer kurzen, paraphrasierten Beschreibung des Inhalts verbinden und die Wort‑Ebene‑Überschneidung mit dem Rohtext minimieren.’

Daten und Methoden

Das Papier behauptet, dass die neue Methode menschliche Ideen in KI‑generierten Dokumenten erkennen kann (d. h. jemand sagte zu einer KI ‘Schreibe mir einen Aufsatz zu diesem Thema‘); und auch KI‑Ideen in menschlichen Texten identifizieren kann (d. h. jemand sagte zu einer KI ‘Schlage mir etwas zum Schreiben vor’).

Testergebnisse für vier Kombinationen von menschlichen und KI-Ideen sowie Prosa. Alle vier Detektoren funktionieren stark, wenn Ideen und Prosa denselben Ursprung haben, divergieren jedoch stark, wenn die Herkunft gemischt ist: IdeaLens erkennt korrekt 94,7 % der KI‑geschriebenen Dokumente, die auf menschlichen Ideen basieren, als menschlichen Ursprungs und identifiziert KI‑Ideen in 68 % der von Menschen geschriebenen Geschichten, verglichen mit nur 8 % für Pangram 4 und 0 % für ProseLens und EditLens‑3B. Quelle

Die Erkennung ist am einfachsten, wenn die Herkunft am klarsten ist – zum Beispiel, wenn ein von Menschen verfasster Text auf KI‑generierten Ideen basiert oder wenn ein KI‑generiertes Ergebnis von einer menschlichen Idee ausgeht. Wenn diese Herkunftsstärken variieren, wird die Erkennung schwieriger.

Die Forschenden prüften diese Unterscheidung, indem sie schrittweise veränderten, wie viel vom zugrunde liegenden Plan eines Dokuments von einer Person stammt. In einem Experiment erhielten KI‑Modelle zunehmend detailliertere menschliche Pläne, von kaum mehr als einem Thema bis hin zu einer vollständigen Gliederung.

Mit zunehmendem menschlichen Beitrag sank die KI‑Kennzeichnungsrate von IdeaLens von 94,9 % auf 6,8 %; und konventionelle Prosa‑Detektoren identifizierten das entstehende Dokument weiterhin überwiegend als KI:

Testergebnisse, die zeigen, was geschieht, wenn zunehmend mehr vom zugrunde liegenden Plan eines KI‑geschriebenen Dokuments von einem Menschen bereitgestellt wird. IdeaLens erkennt immer stärker den menschlichen Ursprung der Ideen, wobei seine KI‑Kennzeichnungsrate von 94,9 % bei einer reinen Themen‑Eingabe auf 6,8 % bei einer vollständigen menschlichen Gliederung sinkt; die konventionellen Textdetektoren ProseLens und Pangram klassifizieren den Großteil des entstehenden Textes weiterhin als KI.

Da die Ideen vom zur Ausdruck verwendeten Sprache getrennt werden müssen und es keinen großen Datensatz gibt, der festhält, wer die Ideen in einem Dokument tatsächlich stammt, trainierten die Forschenden stattdessen IdeaLens anhand bestehender KI‑SchreibKennzeichnungen – entfernten jedoch den Großteil des eigentlichen Textes:

Wie IdeaLens Ideen vom Prosa‑Text während des Trainings und Testens trennt, im Vergleich zum konventionellen Textdetektor ProseLens. Ein Beispiel‑Meinungsartikel mit 1.321 Wörtern wird zu einer rollenbezogenen Gliederung reduziert, wobei die Punkte nach ihrer Funktion, etwa Ereignisbericht oder Bewertung, kategorisiert werden. Während des Trainings wurden diese Gliederungen zusätzlich paraphrasiert, um Formulierungen zu entfernen, die aus den Ausgangsdokumenten übernommen wurden, bevor IdeaLens aus bestehenden Pangram‑KI‑Kennzeichnungen lernte. Für neue Dokumente kann die extrahierte Gliederung dann direkt an IdeaLens übergeben werden, um die Wahrscheinlichkeit zu schätzen, dass die Ideen KI‑abgeleitet sind. Der untere Teil der Abbildung zeigt einen zweiten Detektor – „ProseLens“ – den die Forschenden zum Vergleich einsetzten, der stattdessen den vollständigen Text erhält und beurteilt, ob die Prosa selbst KI‑generiert ist.

Wie oben gezeigt, wurde jedes Dokument auf eine Gliederung reduziert, die beschreibt, was gesagt wird, und welche Rolle jeder Punkt im Dokument spielt. Während des Trainings wurden diese Gliederungen paraphrasiert, um weitere Spuren der ursprünglichen Formulierungen der Autoren zu entfernen. IdeaLens kann daher seine Vorhersagen weitgehend aus den verbleibenden Ideen ableiten, statt aus auffälligen Merkmalen der Prosa.

Für das Projekt wurden drei Datensätze erstellt: IdeaShift; IdeaShift‑X; und TwiceTold. IdeaShift wurde aus 500 von Menschen geschriebenen und KI‑generierten Ausgangsdokumenten erstellt, die aus dem bestehenden Testkorpus der Forschenden entnommen wurden. GPT‑5.6 Sol wurde verwendet, um jedes Dokument in zunehmend detailliertere Vorgaben zu überführen, von „nur Thema“ bis zu einer vollständigen Gliederung. GPT-5.6 wurde anschließend zur Erzeugung neuer Dokumente eingesetzt.

IdeaShift‑X hingegen nutzte 10.000 von Menschen verfasste FineWeb2-Dokumente in 24 Sprachen und wandte das zuvor beschriebene IdeaShift‑Protokoll an, um KI‑Versionen in jeder Sprache zu erzeugen.

Der dritte Datensatz, TwiceTold, wurde von Studierenden unter Aufsicht der Autoren verfasst, um den möglichen Einsatz von KI inherent bei der Crowdsourcing‑Erstellung solcher Daten zu vermeiden. Fünfzig Geschichten wurden von Grund auf geschrieben, jedoch anhand einer 500‑Wort‑Gliederung, die von ChatGPT‑5.6 Sol bereitgestellt wurde.

Tests

Die von den Forschern entwickelten Detektoren umfassten IdeaLens in Outline‑ und Dokumentform; das bereits erwähnte ProseLens; ModernBERT-L‑Versionen beider Systeme; Qwen3.5-9B-Versionen von IdeaLens; und eine IdeaLens‑logistischer Klassifikator‑Variante.

Diese wurden verglichen mit Pangram 4; EditLens-Llama-3B; Binoculars; EditLens-RoBERTa; MELD; Desklib-academic; Desklib; Entropy; Fast-DetectGPT; Likelihood; Log-rank; LRR; MAGE; OpenAI-RoBERTa-base; OpenAI-RoBERTa-large; RADAR; und Rank.

Für die Tests wurde die Genauigkeit danach gemessen, ob das vorhergesagte KI‑ oder Menschen‑Label mit der Quelle der Ideen übereinstimmte. IdeaLens, ProseLens und EditLens verwendeten einen globalen 1 %-FPR‑Schwellenwert; die KI‑, KI‑unterstützten und Menschen‑Labels von Pangram 4 wurden binarisiert; und Fast-DetectGPT, Binoculars, MELD und Desklib nutzten ihre Standard‑Schwellenwerte.

Die umfassendere Evaluation nutzte 19 externe Benchmarks, darunter 14, die ausschließlich menschliches bzw. ausschließlich KI‑Material abdeckten, und 10, die menschliche Texte enthielten, die anschließend von KI bearbeitet wurden. Weitere 50 000 In‑Domain‑Dokumente wurden getestet, während 10 000 vor‑ChatGPT‑C4‑Dokumente zur Bewertung von Fehlalarmen verwendet wurden:

Testergebnisse, die die Detektor‑Genauigkeit vergleichen, wenn Ideen und Prosa entweder dieselbe oder unterschiedliche Herkunft haben. IdeaLens behält in beiden Szenarien eine hohe Genauigkeit bei, nämlich 95,3 % bei gemeinsamer Herkunft und 81,3 % bei gemischter Herkunft; konkurrierende Detektoren schneiden deutlich schlechter ab, wenn die Herkunft der Ideen von der Herkunft der Prosa abweicht.

In 51 Tests, die aus 22 Benchmarks stammen, war IdeaLens der einzige Detektor, der sowohl bei gleicher als auch bei unterschiedlicher Herkunft von Ideen und Prosa stark abschnitt und dabei 95,3 % bzw. 81,3 % erreichte.

Im Vergleich erzielten ProseLens und Pangram 4 über 98 %, wenn Ideen und Prosa dieselbe Quelle teilten, fielen jedoch auf etwa 25 %, wenn dies nicht der Fall war.

Die Autoren kommentieren diese Ergebnisse*:

‘Da ProseLens dieselbe Architektur, dieselben Trainingsdokumente und Trainingslabels wie IdeaLens verwendet, unterstreicht dies die Wirkung unserer Outline‑Darstellung, die ein ModernBERT-basierte Paar mit einer anderen Architektur repliziert.’

‘IdeaLens überträgt sich ebenfalls überraschend gut auf Rohtext‑Eingaben zur Testzeit und zeigt eine hohe Genauigkeit bei gemeinsamer Herkunft sowie deutlich höhere Genauigkeit bei gemischter Herkunft im Vergleich zu ProseLens.’

Alle drei Detektoren identifizierten fast alle ursprünglichen KI‑geschriebenen Geschichten erfolgreich. Bei TwiceTold erkannte IdeaLens KI‑ursprüngliche Ideen in 68 % der von Menschen geschriebenen Geschichten, verglichen mit 0 % für ProseLens und 8 % für Pangram 4:

IdeaLens weist den ursprünglichen KI‑geschriebenen Geschichten und den von Menschen neu verfassten TwiceTold‑Versionen, die auf denselben KI‑generierten Outlines basieren, ähnliche KI‑Wahrscheinlichkeiten zu, während die KI‑Wahrscheinlichkeiten von ProseLens stark abfallen, sobald die Prosa von Menschen umgeschrieben wird.

Obwohl IdeaLens auf Englisch trainiert wurde, generalisierte es über die 24 Sprachen von IdeaShift‑X hinweg und markierte 95,3 % der Dokumente, die auf KI‑Ideen basieren – jedoch nur 0,7 %, wenn die Ideen aus einem detaillierten menschlichen Plan stammen. Bei 10 000 vor‑ChatGPT‑Menschendokumenten in denselben Sprachen lag die Fehlalarmrate bei lediglich 0,1 %.

Die Autoren geben zu, dass ein größerer Datensatz für zukünftige Arbeiten wünschenswert wäre und dass die Rauscheigenschaften der Datensatz‑Labels möglicherweise einer Korrektur bedürfen. Dennoch können diejenigen, die auf diesem interessanten ersten Ergebnis aufbauen möchten, das GitHub-Repository nutzen, das die Autoren des Papiers bereitgestellt haben; und rein Neugierige können „verdächtige“ Tests in die Demo‑Site des Projekts einfügen und selbst prüfen, ob die Methode mit ihren eigenen Schätzungen oder denen anderer Ansätze übereinstimmt.

Fazit

Ob eine solche Erkennungsmethode von Bedeutung ist hängt davon ab, wie sich Akzeptanz, Integration oder Ablehnung von KI in den nächsten 6–12 Monaten entwickeln (zweifellos unterschiedlich in verschiedenen Branchen und Kontexten).

Es könnte sein, dass das Publikum eines Politikers eher nachsichtig gegenüber seiner Nutzung von KI zur Verfeinerung und Darstellung eigener Ideen ist, als gegenüber einer glatten Präsentation von von einem LLM generierten Ideen (schließlich ist das Publikum statistisch wahrscheinlich sympathisch gegenüber dem Einsatz von KI als bloßes Präsentationshilfsmittel).

Doch gleichzeitig: Was erhoffen wir uns von KI, wenn nicht, dass sie Blickwinkel, Ideen und Alternativen liefert, die wir selbst übersehen oder nie in Betracht gezogen hätten; und aus dieser Perspektive, ist es wirklich eine schlechte Idee, der Maschinenintelligenz das Steuer zu überlassen?

Nun, in Bezug auf die Optik und angesichts der berühmten und zunehmenden Fehleranfälligkeit von KI und – in letzter Zeit – abweichendes Verhalten, ist es vielleicht noch zu früh, LLMs Politikvorschläge formulieren zu lassen oder allgemein zu einer treibenden Kraft bei der Ideenfindung zu machen.

*Betonungen der Autoren, nicht meine, aber meine Umwandlung der Inline‑Zitate der Autoren in Hyperlinks, wo nötig.

Erstmals veröffentlicht Dienstag, 6. Oktober 2026