KI-Modelle bevorzugen menschliches Schreiben gegenüber KI-generiertem Schreiben

Laut neuer Forschung zeigen Modelle wie ChatGPT und ähnliche jetzt eine klare Vorliebe für Texte, die sie für von Menschen geschrieben halten, auch wenn diese Annahme falsch ist. Schon die Bezeichnung eines Textes als “menschengemacht” veranlasst KI-Modelle, ihn zu bevorzugen – und ironischerweise könnten sie diese Vorurteile von uns lernen.

Vorstellungen von Authentizität, Herkunft und gemeinsamer menschlicher Erfahrung könnten in der Kreativschreibbranche eine größere Rolle spielen, als bisher angenommen: Tests, die für eine neue Studie an der Princeton University durchgeführt wurden, haben ergeben, dass eine Reihe von großen, geschlossenen und offenen Sprachmodellen, einschließlich ChatGPT, Texte bevorzugen, die sie für “menschengeneriert” halten.

Sogar wenn die Labels auf den Schreibproben umgekehrt wurden, fanden sowohl KI-Modelle als auch menschliche Teilnehmer weiterhin Fehler im KI-geschriebenen Text, wiederholten dieselben Kritikpunkte, die sie gemacht hatten, als er richtig beschriftet war.

Die Forscher glauben, dass Teil des Grundes darin liegen könnte, dass die wachsende menschliche Feindseligkeit gegenüber generativer KI, die jeden Tag neue und interessante Ereignisse zu manifestieren scheint, in die KI-Systeme selbst zurückgeführt werden könnte. Sie stellen fest, dass KI-Modelle AI-geschriebenes Schreiben noch mehr ablehnen als Menschen, und schreiben:

‘Die 13 KI-Modelle, die wir getestet haben, zeigten eine Vorurteilsverzerrung von 34,3 Prozentpunkten im Vergleich zu 13,7 Prozentpunkten bei den Menschen, was sie 2,5-mal anfälliger für Attributionssignale macht als unsere menschlichen Bewerter.

‘Diese Verstärkung ist sinnvoll, sobald wir erkennen, dass moderne Modelle präferenzgetrainete Bewerter sind. Alignment-Training durch Reinforcement Learning from Human Feedback (RLHF) lehrt Modelle explizit, menschliche Urteile als ihren Goldstandard zu behandeln, was effektiv eine gelernte Zuverlässigkeitsvorurteilsbildung installiert.

‘Modelle lernen, dass das Nachgeben menschlicher Präferenzen belohnt wird, was zu einer Art von Kriecherei führt, bei der sie erwartete Benutzerhaltungen nachahmen, anstatt unabhängige Bewertungen abzugeben.’

Die Ergebnisse gelten für den Bereich der Kreativschreiberei, wobei die Forscher Geschichten eines bekannten französischen Autors als Datensamples verwendet haben; und sie zeigen an, dass menschliche Vorurteile gegenüber KI möglicherweise die quantitative Verbesserung der Sprachkonstruktion, die Large Language Models (LLMs) liefern können, überwiegen – und dass das “KI”-Label vielleicht zu bedeuten beginnt, “unecht”, “ersatz” und sogar “zweitrangig” in diesem Bereich.

Viele der Gründe beruhen auf kultureller Praxis und Nutzung: Das Papier zeigt, dass Kreativität oft in Bezug auf Neuheit, Wert und Typizität beschrieben wird, d. h. wie neu etwas erscheint; wie sehr es von Experten geschätzt wird; und wie gut es in seine Kategorie passt. Wenn ein Text als “menschengeschrieben” bezeichnet wird, werden vertraute Gattungsmerkmale als wertvoll belohnt; wenn er als “KI-generiert” bezeichnet wird, werden dieselben Merkmale als unoriginell abgelehnt.

Effektiv löst die Offenlegung der Quelle eine Neubewertung des Wertes des Werks aus, geprägt von Annahmen darüber, wie es gemacht wurde. Sobald die KI-Autorschaft bekannt gegeben wird, lehnen Leser instinktiv die Möglichkeit individueller Entdeckung oder Absicht hinter der Ausgabe ab.

Das Papier besagt:

‘In den meisten Künsten gibt es keinen Goldstandard für “kreativ genug”, was Provenienzsignale zu mächtigen Priming-Faktoren macht, die das Kriterium verschieben, das am meisten hervorsticht: disziplinierte Handwerk oder auffällige Neuheit, Zugänglichkeit oder Schwierigkeit.

‘Da Beobachter oft den Prozess aus dem Produkt ableiten, verschieben Provenienzsignale Urteile darüber, wie etwas gemacht wurde, sowie darüber, was es ist: konservative Schritte können als Handwerk von einem Menschen anerkannt werden, aber als “bloße Generation” von einem Modell abgelehnt werden.’

Dreizehn Modelle, darunter Varianten von ChatGPT, Claude, Gemini und Mistral, nahmen teil, zusammen mit menschlichen Lesern, die alle die Geschichten bevorzugten, wenn sie als “menschengemacht” bezeichnet wurden, wobei LLMs eine stärkere Vorurteilsverzerrung als Menschen zeigten.

Die Idee, dass KI-Modelle möglicherweise eine Vorurteilsverzerrung gegenüber ihrer eigenen Ausgabe aufgenommen haben, wirft Fragen darüber auf, woher diese Vorurteilsverzerrung stammt. Da KI-geschriebener Text nicht immer leicht zu identifizieren ist, stammen negative Assoziationen, die während des Trainings gebildet werden, wahrscheinlich von Beispielen, die explizit beschriftet sind, sei es durch Nachrichtenberichte über KI-Inhalte oder selbstdeklarierte KI-generierte Artikel in Mainstream-Publikationen.

Das neue Papier trägt den Titel Jeder bevorzugt menschliche Schreiber, einschließlich KI und stammt von zwei Autoren des Center for Digital Humanities der Princeton University. Die Arbeit wird von einer damit verbundenen Datenveröffentlichung auf Zenodo begleitet (mit einer auf GitHub veröffentlichten Veröffentlichung, die im Papier zitiert wird, aber zum Zeitpunkt des Schreibens nicht aktiv war).

Methode

Um zu untersuchen, wie die Attribution die Wahrnehmung von Stil und Kreativität beeinflusst und formt, verwendeten die Autoren Exercices de style, ein exzentrisches Werk von Raymond Queneau aus dem Jahr 1947, das eine einfache Anekdote in 99 verschiedenen Stilen umschreibt. Die Geschichte handelt von einem Mann, der in einen Bus steigt, mit einem anderen Fahrgast streitet und später von einem Freund Modeberatung erhält.

Obwohl literarischen Ursprungs, antizipiert diese Struktur promptbasierte Transformationen in modernen Sprachmodellen, bei denen Benutzer Umformulierungen in bestimmten Tönen, Stimmen oder Registern anfordern. Dieser Prozess wurde einst transstylization genannt – eine Rahmung, die nun in der KI-Forschung im Kontext von Style Transfer widerhallt. Während die meisten computergestützten Methoden funktionale Änderungen wie Stimmungsverschiebungen oder Entgiftung anpeilen, zielen Queneaus Umformulierungen auf bemerkenswerte stilistische Kontraste ab.

Von einer populären englischen Übersetzung von Queneaus Werk wurden dreißig Übungen ausgewählt, die die Erzählung bewahrten, während sie einen breiten stilistischen Bereich abdeckten. Dazu gehörten eingeschränkte Formen wie alexandrines und lipograms, Registerwechsel wie edel oder missbräuchlich, narrative Verschiebungen wie rückwärts und zögern und spielerische Verzerrungen, die Spoonerismen, Onomatopoeien oder Dog Latin beinhalteten:

Beispiele aus der Studie, die zeigen, wie GPT-4 Queneaus Geschichten in verschiedenen literarischen Stilen umformulierte, zusammen mit den Stilbeschreibungen, die menschliche und KI-Bewerter während des Testens sahen. Quelle: https://arxiv.org/pdf/2510.08831

Da Queneaus Experimente schwierig zu klassifizieren sind, sind diese Kategorien nur ungefähre Gruppierungen, mit dem Ziel, nicht die Erkennbarkeit oder die Einhaltung von Genres zu testen, sondern vielmehr, diverse Bedingungen zu schaffen, unter denen (menschliche) Leser und Modelle ihre Vorurteile offenbaren könnten.

Um KI-generierte Gegenstücke für jeden ausgewählten Stil zu produzieren, verwendeten die Forscher absichtlich minimale Anweisungen. Jedes Modell erhielt die einfachste Version von Queneaus Anekdote (die erste Übung, Notation), zusammen mit einer kurzen Anweisung, sie in einem bestimmten Stil umzuschreiben, wie z. B. Die Geschichte als Science-Fiction-Version umschreiben. Dieser Ansatz ermöglichte es, Anweisungen zu geben, die den Geist von Queneaus ursprünglichen Transformationen widerspiegelten, während das Modell den Stil dennoch frei interpretieren konnte.

Doppeltes Sehen

Die erste Studie, die die Autoren durchführten, verwendete GPT-4o, um alle dreißig Stilvarianten zu generieren, da es das fortschrittlichste Modell zum damaligen Zeitpunkt war. Die Verwendung eines einzelnen Modells gewährleistete konsistente Ausgaben, was es ermöglichte, die Wirkung der Attribut-Labels zu isolieren, die die Studie testen wollte.

Die Ausgaben wurden nicht bearbeitet, außer für Rahmen-Abfall wie hier ist die umgeschriebene Version.

In der zweiten Studie wurde der Generierungsprozess über dreizehn große Sprachmodelle wiederholt: Qwen 2.5 72B Instruct, Mistral Nemo, Mistral Medium 3, Llama 4 Maverick, Llama 3.3 70B Instruct, Gemini 2.5 Flash, GPT-4o Mini, GPT-4o, GPT-3.5 Turbo Instruct, DeepSeek RI (0528), DeepSeek Chat v3 (0324), Cohere Command R (08-2024), Claude Sonnet 4 und Claude 3.5 Haiku.

Jedes Modell erhielt dieselben Anweisungen und produzierte seine eigenen Versionen der dreißig Übungen, was insgesamt 420 umgeschriebene Geschichten ergab. Dies ermöglichte es den Forschern, zu testen, ob die Attribut-Effekte über verschiedene KI-Autoren hinweg bestehen und nicht an ein einzelnes Modell gebunden sind.

Daten und Tests

Die Forscher zeigten denselben Paar von Geschichten verschiedenen Gruppen von Menschen, aber änderten die Labels, um zu sehen, wie sehr der Name des Autors die Meinungen beeinflusste: Eine Gruppe sah keine Autorennamen, nur Labels “A” und “B”. Die zweite Gruppe sah die richtigen Namen, mit einer Version, die als von einem Menschen geschrieben und die andere als von GPT-4o geschrieben gekennzeichnet war.

Eine dritte Gruppe sah die Namen vertauscht, mit der “KI”-Geschichte als “menschlich” und die “menschliche” Version als “KI” gekennzeichnet:

Überblick über Studie 1. Menschliche und KI-Bewerter verglichen 30 Paar von Geschichten, jedes enthaltend eine Version, die von Queneau und eine von GPT-4 geschrieben wurde. Die Bewerter wurden in drei Gruppen aufgeteilt: Eine sah keine Autoren-Labels; eine sah die richtigen Labels; und eine sah die Labels vertauscht – ein Setup, das darauf ausgelegt war, den Umfang zu testen, in dem Autorennamen Meinungen über Schreibstil beeinflussen.

Studie 1

Die Forscher teilten die 30 erstellten Stile in kleinere Sätze auf, wobei jeder Studienteilnehmer nur fünf Stile sah, und jeder Stil unter allen drei Label-Setup-Tests getestet wurde.

Jeder Teilnehmer sah nur ein Label-Setup: Die blinden Gruppe sah keine Erwähnung von KI; während die anderen Gruppen entweder die richtigen oder die vertauschten Autoren-Labels sahen. Die Gruppenzuweisung, die Reihenfolge der Geschichten und die Platzierung von links nach rechts wurden alle randomisiert.

Die KI-Modelle gingen durch denselben Prozess, erhielten dieselbe Mischung aus Stilen und dieselbe zufällige Anordnung. Jeder Test wurde dreimal pro Modell durchgeführt, um sicherzustellen, dass die Ergebnisse konsistent waren, was es ermöglichte, menschliche und KI-Reaktionen auf die Autoren-Labels zu vergleichen.

Studie 2 verwendete dieselben drei Label-Setup-Tests wie zuvor, aber erweiterte den Test, um alle 420 Geschichten zu umfassen, die von den 14 verschiedenen LLM-Modellen generiert wurden. Jedes Modell bewertete jede Geschichte unter jedem Label-Bedingung, was 1.260 Entscheidungen pro Modell ergab und insgesamt 17.596 gültige Bewertungen:

Ergebnisse aus Studie 1. KI- und menschliche Bewerter zeigten beide eine Vorurteilsverzerrung basierend auf Autoren-Labels. Wenn keine Labels angezeigt wurden (Blind), waren die Präferenzen nahezu gleich; wenn die richtigen Labels angezeigt wurden (Offenes Label), bevorzugten beide Gruppen den menschlich geschriebenen Text; und wenn die Labels vertauscht wurden (Kontrafaktisch), wechselten beide Gruppen zu der Vorliebe für den Text, den sie für menschlich hielten – und dieser Effekt war bei KI-Modellen viel stärker als bei Menschen. Fehlerbalken zeigen 95% Konfidenzintervalle.

Über alle dreizehn Modelle hinweg entsprach das Muster der menschlichen Vorurteilsverzerrung, war aber viel stärker: Ohne Labels bewerteten KI-Systeme menschliche und KI-Geschichten etwa gleich, wählten den KI-Text 49,4% der Zeit; wenn das KI-Label sichtbar war, fiel diese Präferenz stark auf 29,8% ab, was eine klare Abwertung der anerkannten KI-Arbeit zeigt; und wenn derselbe Text als menschlich gekennzeichnet war, stieg die Präferenz auf 64,1%.

Der Unterschied zwischen den beiden Label-Bedingungen betrug 34,3%, was bedeutet, dass die KI-Modelle ihre Präferenz viel stärker änderten als Menschen, wenn die Labels vertauscht wurden. Darüber hinaus waren die Modelle bei wiederholten Läufen sehr konsistent, was bestätigte, dass die Vorurteilsverzerrung stabil und nicht zufällig war.

Um zu überprüfen, ob die Vorurteilsverzerrung durch die Wortwahl der Labels und nicht durch den Autor selbst verursacht wurde, führten die Forscher zwei weitere Tests durch: Einer verwendete Labels, die die KI beeindruckender klingen ließen; und der andere verwendete neutrale Begriffe wie “KI-generiert” und “Menschengeneriert”.

Beide zeigten dieselbe Vorurteilsverzerrung, und selbst wenn die KI-Modelle dieselbe Antwort jedes Mal lieferten, blieb die Vorurteilsverzerrung bestehen, was darauf hindeutet, dass die Vorurteilsverzerrung durch die Art des Labels (“menschlich” oder “KI”) und nicht durch die genaue Wortwahl verursacht wird.

Studie 2

Die zweite Studie fand dieselbe pro-menschliche Vorurteilsverzerrung bei allen 13 KI-Modellen, unabhängig von Architektur oder Anbieter:

Attribut-Vorurteilsverzerrung für jedes der 13 KI-Modelle: Balken zeigen Effektgrößen mit 95% Konfidenzintervallen, und die rote Linie markiert die menschliche Referenzlinie. Alle Modelle zeigten eine stärkere Vorurteilsverzerrung als Menschen, mit nur kleinen Unterschieden zwischen ihnen.

Jedes Modell bevorzugte Geschichten, die als “menschengeschrieben” gekennzeichnet waren, mit stärkeren Effekten als bei Menschen. Selbst nach dem Entfernen des extremsten Falls blieb die durchschnittliche Vorurteilsverzerrung mehr als doppelt so groß wie die menschliche Version, was darauf hindeutet, dass der Effekt kein Fehler in einem Modell ist, sondern ein gemeinsames Merkmal von LLMs im Allgemeinen.

Schlussfolgerung

Obwohl, wie das Papier feststellt, frühere Studien gezeigt haben, dass KI Texte produzieren kann, die denen von Menschen gleichwertig oder sogar besser sind, betonen die Autoren, dass in der Literatur der Wert, der auf Autorschaft und Authentizität gelegt wird, eine alte und tief verwurzelte Konvention ist:

‘Wenn GPT-4o Mini Queneaus “kreativen und humorvollen” Ansatz unter dem KI-Attribut als “übertrieben” ablehnt, während er identische Merkmale unter menschlicher Attribution lobt, offenbart es implizit, wie diese Labels Annahmen auslösen, dass kein authentischer psychologischer Prozess stattgefunden hat.

‘Provenienzsignale schmuggeln den Prozess in das zurück, was ansonsten eine rein produktbasierte Bewertung sein könnte: “bloße Generation” erscheint akzeptabel von einem menschlichen Handwerker (als geschicktes Handwerk bewertet), aber verdächtig von einem Modell (als algorithmische Rekombination bewertet).’

LLMs sind noch nicht zuverlässig genug für unüberwachte faktengestützte Forschung, obwohl sorgfältige Aufsicht sie dennoch produktiv machen kann – aber kreatives Schreiben auf der Grundlage von LLMs könnte eine unsicherere Zukunft vor sich haben, wenn KI-generierte kreative Werke durch eine breitere öffentliche Missbilligung von KIs Eingreifen in menschliche Bereiche stigmatisiert werden, anstatt aufgrund literarischer Meriten.

Die Auswirkungen der Ergebnisse von Studien dieser Art werden erheblich von der Bereitschaft von Unternehmen und einzelnen Nutzern beeinflusst, ehrlich zu sein, ob KI zu ihrer Ausgabe beigetragen hat oder nicht. In einigen Fällen mag die Unwilligkeit, eine solche Nutzung zuzugeben, mehr mit Unternehmensurheberrechts-Piraterie zu tun haben als mit der Sorge, ob die Öffentlichkeit KI-generierte kreative Werke akzeptieren wird.

Es gibt jedoch mögliche rechtliche, finanzielle und politische Lösungen (wenn auch sehr herausfordernde) in Bezug auf das Urheberrecht. Ob es jedoch möglich ist, Menschen dazu zu bringen, kreative KI-Arbeit zu genießen, die keine einzelne, nachvollziehbare menschliche Intention hat – das könnte ein noch schwierigeres Vorhaben sein.

* Bitte beachten Sie die Quellenangabe für die im Text enthaltenen Fußnoten. Diese werden bei Bedarf in den Artikel aufgenommen.

Erstveröffentlichung am Montag, den 13. Oktober 2025