Warum KI-generierte Texte schwerer zu verstehen sind, als Sie denken

KI-Modelle sind möglicherweise immer schwerer zu verstehen, weil ihr Training zunehmend eine effiziente Problemlösung belohnt, statt Dinge für Menschen verständlich zu erklären.

Der obige, unbearbeitete Satz stammt von ChatGPT. Das Modell verfasste ihn auf die Bitte hin, eine wissenschaftliche Arbeit in einem einzigen Satz so zusammenzufassen, dass ein Fünfjähriger sie verstehen kann (ELI5); dabei weist er mindestens einige der sprachlichen Verformungen auf, die in dieser neuen Studie* erläutert werden. Die neue Arbeit kommt zu dem Schluss, dass dieses Problem alle Spitzenmodelle sowie Modelle nahe der Spitzengruppe und einige ebenfalls getestete Modelle mit offenen Gewichten betrifft.

Der erste Teil der Passage „ihr Training zunehmend eine effiziente Problemlösung belohnt“ veranschaulicht etwa die These der Arbeit, dass KI-Modelle manchmal leblosen Dingen menschliche Handlungen zuschreiben (denn im obigen Beispiel wird das „Training“ als etwas dargestellt, das aktiv etwas belohnt).

Das kann die schnelle Erfassung der Formulierung erschweren, denn wir müssen innerlich erst einordnen, dass es sich um eine bildhafte Zuschreibung handelt, statt sie wörtlich zu nehmen (was viel einfacher wäre).

Auch der zweite Teil „belohnt zunehmend eine effiziente Problemlösung“drängt mehrere Gedanken zusammen: Leserinnen und Leser müssen herausfinden, was belohnt wird, was gelöst wird und was effizienter wird.

In der Arbeit heißt es^†:

„[Readers] nutzen Belebtheit als Hinweisreiz bei der Verarbeitung, und ohne zusätzlichen Kontext kann eine Abweichung eine P600-Reaktion^†† auslösen, die mit einer erneuten Analyse verbunden ist. “

„Eine Umformulierung dieser Sätze, bei der unbelebte Subjekte vermieden werden, würde jedoch möglicherweise zu längeren Sätzen führen: So steht etwa das Wort „beißt“ für „verursacht ein Problem“.

„Wir vermuten, dass die Modelle während des Trainings dazu übergegangen sein könnten, solche Konstruktionen als effiziente, wenn auch nicht standardsprachliche Ausdrucksweisen zu verwenden, um Bedeutungen zu vermitteln, die andernfalls mehr Tokens beanspruchen würden.“

Wie bitte?

Das ist der Kern der Arbeit: Da moderne KI-Modelle wie ChatGPT, Claude und Gemini auf verschiedene Arten der Problemlösung und nicht speziell auf Kommunikation optimiert werden, geben sie Sprache häufig in stark komprimierter Form aus, die erst entschlüsselt werden muss.

Das hat mich überrascht, denn ich versuche ständig, ChatGPT und seine Mitbewerber dazu zu bewegen, weniger ausschweifendund stärker komprimiert zu antworten – ein Problem, das in der Fachliteratur erkannt und behandelt wird.

Stattdessen beschreibt die Arbeit die Ausführlichkeit als eine Art ZIP-Bombe, die selbst das mühelose Verständnis eines nicht besonders langen Satzes verhindert. Berücksichtigt man sowohl die übermäßige Länge standardmäßiger Antworten als auch die von der Arbeit festgestellte übermäßige Komprimierung, lässt sich vermuten, dass sich der typische Stil standardmäßiger Antworten von Spitzenmodellen deutlich abhebt. Dieser eher knappe Stil dient vermutlich teilweise als Erkennungsmerkmal für KI-generierte Texte in Detektoren, auch wenn die Arbeit sich damit nicht befasst.

Die Autorinnen und Autoren untersuchen außerdem gestapelte Nominalkomposita, veranschaulicht an der problematischen Formulierung Trupp hilft Hund beißen^†:

„Im Englischen können Substantive andere Substantive ohne Weiteres attributiv näher bestimmen: In der Wortverbindung Kaffee bestimmt näher Laden, obwohl Kaffee normalerweise als Substantiv verwendet wird. Diese Eigenschaft ermöglicht es, mehrere Substantive zu komplexen Zusammensetzungen zu verbinden, die hochspezifische Bedeutungen ausdrücken.

Solche Aneinanderreihungen können jedoch zu Mehrdeutigkeiten bei der Zuordnung führen, wie in der Schlagzeile Trupp hilft Hundebissopfer, und den Lesefluss stören.“

Sind LLMs also durch Komprimierung ausführlich – sind sie dann doppelt ausführlich, weil sie auf eine Anfrage übermäßige Mengen komprimierten Textes erzeugen? Das bedeutet, dass nicht nur sehr viel Text zu lesen ist, sondern auch, dass der Text selbst zahlreiche „implizite“ Bedeutungen enthalten kann, die entschlüsselt werden müssen.

Eine Arbeit aus dem Jahr 2023 stellte die These auf, dass LLMs unnötig ausführlich werden können, weil beim Training KI-Bewertungssysteme eingesetzt werden, die häufig längere Antworten belohnen – selbst dann, wenn Menschen in den Tests der Studie kürzere Antworten bevorzugten.

Die Autorinnen und Autoren der neuen Arbeit führen (siehe vorheriges Zitat) einen Teil der Komprimierungstendenz von Spitzenmodellen auf ihre architektonische Neigung zurück, Tokens einzusparen – eine wohlwollende Annahme in diesen Zeiten.

Werfen wir einen Blick auf die Methoden, Daten und Tests, die die Autorinnen und Autoren für die Studie durchgeführt haben.

Daten und Methoden

Ungewöhnliche Wortkombinationen (gemessen anhand von N-Grammen, also Wortfolgen) wurden auf ihre Unvorhersehbarkeit hin untersucht. Seltene Kombinationen gingen dabei mit größeren Leseschwierigkeiten einher.

Abhängigkeitslänge (der Abstand zwischen grammatisch miteinander verbundenen Wörtern) wurde ebenfalls gemessen, da größere Abstände das Arbeitsgedächtnis stärker beanspruchen – insbesondere, wenn mehrere Wörter zwischen einem Subjekt und seinem Verb stehen.

Objektrelativsätze (Konstruktionen wie „das Haus, das die Bauunternehmer gebaut haben“) wurden untersucht, insbesondere wenn optionale Wörter ausgelassen wurden (etwa „that“ (im Deutschen „das“) in der Konstruktion „das Haus, das die Bauunternehmer gebaut haben“).

Auch die bereits erwähnten gestapelten Nominalkomposita (drei oder mehr aneinandergereihte Substantive, wie in „Horrorfilm-Soundtrack-Generator“) wurden untersucht, da die Beziehungen zwischen ihren Bestandteilen mehrdeutig sein können.

Denominale Verben (Substantive, die als Verben verwendet werden, etwa „gabel es“ statt „steck es auf die Gabel“) wurden ebenso untersucht wie unbelebte Subjekte in Verbindung mit Verben, die normalerweise Lebewesen zugeordnet werden (wie bereits erwähnt). Beide Konstruktionen ermöglichen es, Bedeutungen mit weniger Wörtern auszudrücken. Leserinnen und Leser müssen dafür jedoch möglicherweise zusätzliche Schlussfolgerungen ziehen.

Die Kandidaten

Die Forschenden sammelten KI-generierte Gespräche von 14 Modellen: Kimi K2.5; GLM 5; Claude Sonnet 5, Opus 5, Opus 5.5 und Fable 5; GPT-5.6 Luna, Terra und Sol; Olmo Base, Instruct und Think; sowie Llama Base and Instruct.

Die Tests umfassten zehn Ausgangsprompts für allgemeine Gespräche und fünf für Programmieraufgaben. Bei jeder Aufgabe musste ein Modell ein echtes, öffentliches GitHub-Repository klonen, Fehler darin finden und sie in einer Sandbox beheben.

Die Gespräche waren auf 12 Gesprächsrunden begrenzt, die Programmiersitzungen auf 11. Anschließend wurde jeweils eine festgelegte Abschlussnachricht ausgegeben. In einem separaten Test sollte jedes Modell sieben Aufsätze zu Aufgaben aus dem PERSUADE-2.0-Datensatz verfassen.

Zum Vergleich wurden von Menschen verfasste Texte aus Quellen herangezogen, die den drei Arten von KI-Ausgaben möglichst genau entsprachen: Für allgemeine Gespräche wurden OpenSubtitles (eine Sammlung von Film- und Fernsehuntertiteln, die nichts mit der Open-Source-Plattform Subs zu tun hat) verwendet, für Diskussionen über Programmierung StackExchange (das Online-Netzwerk aus Frage-und-Antwort-Foren) und für die Schreibaufgaben Schüleraufsätze aus dem bereits erwähnten PERSUADE-2.0-Datensatz. Wikipedia diente ebenfalls als zusätzliche Vergleichsquelle.

Wo geeignete von Menschen verfasste Texte verfügbar waren, wurden dieselben sprachlichen Merkmale sowohl in menschlichen als auch in KI-generierten Texten gemessen. Diese Referenzsammlungen dienten außerdem dazu, die Häufigkeit von Wortkombinationen zu bestimmen.

Um stilistische Vorlieben von sprachlichen Notwendigkeiten zu unterscheiden, wurden Texte mithilfe des Modells NLLB-200 hin- und zurückübersetzt (vom Englischen ins Japanische und wieder zurück). Dabei blieb die Bedeutung weitgehend erhalten, während sich der Satzbau änderte. So ließen sich unnötig komplexe Formulierungen erkennen.

Ergebnisse

Experiment 1

Wie unten zu sehen ist, kamen mehrere schwer verständliche Konstruktionen in den ursprünglichen KI-generierten Texten häufiger vor, insbesondere bei den fortschrittlichsten Modellen. Dies wurde als Hinweis darauf gewertet, dass sie unnötig komplexe Formulierungen bevorzugen:

Vergleich der ursprünglichen KI-generierten Texte mit Versionen, die ins Japanische und anschließend zurück ins Englische übersetzt wurden. Grüne Punkte kennzeichnen Sprachmuster, die in den Originalen häufiger vorkamen; rosa Punkte zeigen Muster, die nach der Übersetzung häufiger auftraten. Die Unterschiede waren bei den GPT- und Claude-Modellen im Allgemeinen größer. Quelle

Die sechs sprachlichen Merkmale wurden bei 14 KI-Modellen in drei Einsatzbereichen verglichen (Chat, Programmierung und Aufsatzschreiben). Im Chat wurden zwölf Modelle getestet, beim Programmieren neun und beim Aufsatzschreiben alle 14:

Vergleich von sechs sprachlichen Merkmalen bei KI-Modellen in den Bereichen Chat, Programmierung und Aufsatzschreiben. Jede Raute steht für das aggregierte Ergebnis eines Modells; die horizontalen Balken zeigen 95%-Konfidenzintervalle. Gestrichelte vertikale Linien markieren die Vergleichswerte für von Menschen verfasste Texte aus OpenSubtitles (Chat), StackExchange (Programmierung) und Schüleraufsätzen aus PERSUADE 2.0 (Aufsatzschreiben). Gepunktete Linien zeigen die Vergleiche mit Wikipedia. Höhere Werte weisen im Allgemeinen auf eine häufigere Verwendung der gemessenen Konstruktion oder auf eine größere sprachliche Komplexität hin. Eine höher aufgelöste Darstellung finden Sie in der Originalstudie.

Der ursprünglich von der KI erzeugte Text wurde auch mit seinen rückübersetzten Versionen verglichen, sodass sich Unterschiede im Satzbau messen ließen:

Vergleich des ursprünglich von der KI erzeugten Textes (ausgefüllte Rauten) mit Versionen, die mithilfe von NLLB-200 ins Japanische und anschließend zurück ins Englische übersetzt wurden (hohle Kreise). Rosa Linien kennzeichnen Merkmale, die nach der Übersetzung häufiger vorkamen; grüne Linien kennzeichnen Merkmale, die in den Originalen häufiger vorkamen. Sternchen weisen auf statistische Signifikanz hin (ein, zwei oder drei Sternchen stehen für eine zunehmend stärkere statistische Evidenz). Die meisten Satzkonstruktionen, die mit Leseschwierigkeiten in Verbindung stehen, kamen nach der Übersetzung seltener vor, insbesondere bei den Spitzenmodellen. Eine höher aufgelöste Darstellung finden Sie in der Originalstudie.

Bei Spitzenmodellen und Modellen der nächsten Generation wurde eine übermäßige Verwendung ungewöhnlicher Wortkombinationen, denominaler Verben, unbelebter Subjekte und Objekt-Relativsätze festgestellt, in denen optionale Wörter ausgelassen wurden (siehe Grafik oben). Diese Tendenzen waren bei Llama und Olmo Base im Allgemeinen schwächer, bei Olmo Think hingegen stärker ausgeprägt.

Beim Verfassen von Essays fielen die Unterschiede geringer aus als bei Chats oder beim Programmieren. Dies wurde darauf zurückgeführt, dass Essays auf einer einzigen Eingabeaufforderung beruhen, während längere Gespräche mit mehreren wechselnden Beiträgen möglicherweise eine stärkere sprachliche Verdichtung begünstigen.

Die Autorinnen und Autoren merken an:

„Die Essays aus dem PERSUADE-Datensatz zeigen bei mehreren Kategorien geringere Veränderungen durch die Hin- und Rückübersetzung (N-Gramm-Maße, Abhängigkeitslängen, aufeinanderfolgende Substantive, denominale Verben) als Chats und [coding].“

„Wir vermuten, dass dies daran liegt, dass sie auf einer einzigen Eingabeaufforderung beruhen, anders als Chats und Programmieraufgaben mit ihren vielen aufeinanderfolgenden Gesprächsrunden. Wir nehmen an, dass bestimmte Muster in langen Gesprächen mit mehreren wechselnden Beiträgen entstehen könnten (die möglicherweise eine stärkere Informationsverdichtung erfordern).“

Die geringsten Veränderungen nach der Übersetzung zeigten sich bei Llama und Olmo Base und Instruct. Diese Modelle kamen auch hinsichtlich ihrer Wortkombinationen und ihres Verbgebrauchs studentischen Essays am nächsten. Im Gegensatz dazu ähnelte Olmo Think den Spitzenmodellen stärker. Claude Opus 5.5 verwendete den Vergleichen zufolge in 19 von 21 Fällen weniger schwierige Satzkonstruktionen als Opus 5; in acht dieser Fälle überschnitten sich die 95-prozentigen Konfidenzintervalle nicht.

Experiment 2

Das zweite Experiment sollte prüfen, ob ein zugrunde liegender Druck, kürzere und informationsdichtere Antworten zu erzeugen, dazu führen könnte, dass Modelle sprachliche Konstruktionen bevorzugen, die für Menschen schwieriger zu verstehen sind.

Hier wurde Qwen2.5-1.5B-Instruct mithilfe von gruppenrelativer Policy-Optimierung (GRPO) feinabgestimmt. Das Modell sollte strukturierte, im JSON-Format vorliegende Ereignisbeschreibungen in englische Sätze umwandeln.

Bei der Feinabstimmung wurden zwei Aspekte angepasst: wie stark das Modell von seiner üblichen Wortwahl abweichen durfte (β) und wie streng es für längere Antworten bestraft wurde (λ). Jedes Ereignis ließ sich auf zwei grammatikalisch korrekte Arten ausdrücken, deren Tokenzahl sich nachweislich unterschied.

Zum Beispiel benötigte „He sent us a photo“ sechs Token, gegenüber sieben für „He sent a photo to us“. Zusätzlich wurde ein separater Test durchgeführt, bei dem zwei Formulierungen mit gleicher Bedeutung dieselbe Tokenzahl erforderten. Damit sollte geprüft werden, ob die Unterschiede auf die Satzlänge zurückzuführen waren.

Die Auswirkungen wurden anhand zuvor unbekannter Sätze untersucht, die vier während des Trainings vorkommende Konstruktionen enthielten, zwei nicht trainierte Konstruktionen mit dem optionalen Wort „that“ sowie nicht verwandte Konstruktionen mit Possessivformen, Quantoren, Passivformen und Finalsätzen.

Mit den Tests sollte ermittelt werden, ob eine Vorliebe für kürzere Formulierungen erlernt und auf Konstruktionen übertragen würde, die im Training nie vorkamen:

Die Auswirkungen einer Bestrafung längerer Antworten während des Trainings. Ein Beispiel für eine kürzere und eine längere Formulierung ist unter A zu sehen. Die Präferenzen für kürzere Formulierungen werden unter B gemessen; Tests mit zuvor nicht trainierten Formulierungen sind unter C und D dargestellt. Orange steht für ein Training ohne Einschränkung der Änderungen am ursprünglichen Modell, Blau für ein Training mit dieser Einschränkung. Gestrichelte Linien zeigen die Präferenzen des ursprünglichen Modells. Stärkere Strafen führten im Allgemeinen zu einer stärkeren Präferenz für kürzere Formulierungen – selbst bei Formulierungen, die im Training nicht vorkamen. Eine höher aufgelöste Darstellung finden Sie in der Originalstudie.

Je stärker längere Antworten bestraft wurden, desto häufiger wurden kürzere Formulierungen gewählt (wie direkt oben dargestellt). Ohne die KL-Strafe (eine Einschränkung dafür, wie weit das Modell von seinen ursprünglichen Wortvorhersagen abweichen durfte) erfolgte die Verschiebung rasch; mit ihr zeigte sich derselbe Effekt allmählicher. Ohne eine der beiden Strafen schwankten die Präferenzen zwischen den Trainingsläufen stark. Doch selbst eine geringe Längenstrafe führte zu einer beständigen Präferenz für kürzere Alternativen.

Diese Präferenz zeigte sich auch bei zuvor ungesehenen Satzkonstruktionen, in denen das optionale Wort ‘that’ vorkam. Der Transfer auf weiter entfernte grammatische Konstruktionen war deutlich schwächer; ein Effekt zeigte sich nur bei Possessivkonstruktionen, wenn die KL-Strafe fehlte.

Die Autoren kommen zu folgendem Schluss:

‘Wir betrachten diese Ergebnisse als Machbarkeitsnachweis dafür, dass eine Längenstrafe beim Reinforcement Learning mit GRPO grammatische Merkmale unmittelbar beeinflussen kann.

‘Wir weisen darauf hin, dass das Modell weder direkt angewiesen wurde, eine komprimierte oder dichte Sprache zu verwenden, noch direkt Informationen über die Verfügbarkeit syntaktischer Alternativen erhielt.

‘Vielmehr führte die Strafe zu einer sich herausbildenden Präferenz für die kürzeren Varianten syntaktischer Alternativen.’

Fazit

Seit einiger Zeit beschäftige ich mich mit den Ankern – sowohl unbeabsichtigten als auch absichtlichen –, die KI-generierte Texte prägen. Diese neue Arbeit beleuchtet daher den scheinbaren Widerspruch zwischen der bekannten Ausführlichkeit von LLMs und ihrer inzwischen ebenso gut belegten Tendenz, Informationen auf eine Weise zu verdichten, die „leicht lesbar“ wirkt, schlicht weil nur wenige Wörter verwendet werden. Doch diese Deutung des Hinweises ist eindeutig falsch.

Bei LLMs kann Kürze in der Textausgabe eher auf Komplexität als auf eine wesentliche Verdichtung hindeuten – als würde die KI uns ein Rätsel statt der direkten Konzepte hinter den Wörtern präsentieren. Offenbar geschieht all das, damit ein einziges Modell und programmieren und schreiben kann.

* Der Titel lautet „Warum ist KI-generierte Sprache so schwer zu verstehen?“; verfasst wurde die Studie von zwei Autoren der New York University und The University of Texas.

^† Meine Umwandlung der Inline-Zitate der Autoren in Hyperlinks.

^†† https://mikeydoes.com/glossary/p600/

Erstveröffentlichung am Montag, 26. Oktober 2026