Selbstbewusst formulierte wissenschaftliche Arbeiten überzeugen KI-Begutachtende – unabhängig von ihrer Qualität

Selbstbewusstsein ist ein entscheidender Vorteil in der Evolution – und laut einer neuen Forschungsarbeit aus Deutschland auch dann, wenn wissenschaftliche Arbeiten nicht von Fachkollegen der Autoren, sondern von großen Sprachmodellen (LLMs) begutachtet werden. Das wird immer häufiger notwendig, weil die Zahl wissenschaftlicher Arbeiten dank der durch KI erzielten Produktivitätssteigerungen rasant wächst.

Die neue Studie zeigt, dass KI-Begutachtende, also nichtmenschliche Gutachtende, wissenschaftliche Arbeiten durchweg besser bewerten, wenn sie in selbstbewusster, bestimmter Sprache verfasst sind – selbst wenn die zugrunde liegende Forschung mit der in Arbeiten übereinstimmt, die weniger selbstsicher formuliert sind. In manchen Fällen reicht es aus, lediglich die Formulierungen zu ändern, um aus einer Ablehnung eine Annahme zu machen.

Die Autoren schreiben:

„Unsere Experimente zeigen, dass LLM-Begutachtende eine ausgeprägte Präferenz für [papers] die Verwendung einer sehr selbstbewussten Sprache haben. Entscheidend ist, dass diese Präferenzen häufig dazu führen, dass Entscheidungen über die Grenze zwischen Annahme<>Ablehnung hinweg kippen und sich dadurch unmittelbar auf die Begutachtungsergebnisse auswirken.“

„Darüber hinaus stellen wir fest, dass die in Gutachten angesprochenen Aspekte je nach sprachlichen Merkmalen der Arbeit unterschiedlich häufig und mit unterschiedlicher Wertung auftreten, was möglicherweise die endgültigen Entscheidungen beeinflusst.“

Ironischerweise ähnelt das von den Autoren beschriebene Phänomen stark der Art und Weise, wie KI bei der Beantwortung unserer eigenen Eingaben und Fragen so oft „selbstbewusst falsch“ liegen kann. Hier trifft jedoch ein Mensch die Entscheidung, und die individuelle wie kollektive Verantwortung ist real – unabhängig davon, ob die an den Arbeiten beteiligten Wissenschaftler wirklich an ihre eigenen Behauptungen glauben.

Wenn zunehmend KI darüber entscheidet, welche wissenschaftlichen Arbeiten veröffentlicht werden, könnten Wissenschaftler lernen, „selbstbewusster zu klingen“ – als Wettbewerbsvorteil, vielleicht besonders dann, wenn ihre Einreichungen mangelhaft sind. So könnte schwächere Forschung einen unverdienten Platz in dem immer kleiner werdenden Pool verfügbarer Aufmerksamkeit erhalten.

Mit großspurigen Behauptungen zum Sieg

Laut der Studie* lobten KI-Begutachtende Methoden, Theorien und wissenschaftliche Beiträge selbstbewusst formulierter Arbeiten häufiger, obwohl diese mit denen weniger bestimmt formulierter Fassungen übereinstimmten. In den Tests der Autoren wurden 504 wissenschaftliche Arbeiten in unterschiedlichen Stilen neu formuliert und von sechs KI-Modellen bewertet, darunter GPT-5.5, Claude Sonnet 4.6 und Gemini 3.5 Flash. Es war notwendig, künstliche beziehungsweise überarbeitete Fassungen der Arbeiten zu erstellen, damit Eigenheiten und Besonderheiten tatsächlicher Einreichungen die Ergebnisse nicht verzerrten:

Beispiele derselben wissenschaftlichen Passage, neu formuliert in vier verschiedenen Stilen. Farbige Hervorhebungen kennzeichnen Änderungen, die den Text mehr oder weniger selbstbewusst klingen lassen oder ihn stärker an wissenschaftliches Englisch von Muttersprachlern oder Nichtmuttersprachlern angleichen sollen. Die zugrunde liegenden Ergebnisse und Zahlen bleiben jedoch unverändert. Quelle

Die Arbeiten stammten aus Einreichungen für die ICLR-Konferenz 2026 und umfassten gleich viele angenommene und abgelehnte Arbeiten. Claude Opus 5 formulierte anschließend jede Einreichung selbstbewusster oder vorsichtiger um^†, ohne den wissenschaftlichen Inhalt zu verändern. So konnten Unterschiede in den KI-Gutachten auf den Schreibstil, also auf den jeweils unterschiedlich ausgeprägten Grad an Selbstsicherheit, zurückgeführt werden.

In den Ergebnissen bewerteten KI-Begutachtende wissenschaftliche Arbeiten in selbstbewusster Sprache besser, selbst wenn die Belege identisch waren. Claude Sonnet 4.6 zeigte die stärkste Verzerrung und bevorzugte selbstbewusst formulierte Fassungen siebenmal häufiger als vorsichtig formulierte. In 21 % der Fälle empfahl das Modell, eine selbstbewusst formulierte Arbeit anzunehmen, während es eine vorsichtiger formulierte Fassung derselben Arbeit zur Ablehnung empfahl.

Die neue Studie hält fest:

„Unsere Ergebnisse werfen wichtige Fragen zum Einsatz von LLMs bei der Begutachtung durch Fachkollegen auf. Wenn inhaltlich gleichwertige Arbeiten allein aufgrund sprachlicher Merkmale unterschiedliche Bewertungen und Gutachten erhalten, spiegeln die Urteile der Begutachtenden nicht ausschließlich die wissenschaftliche Qualität wider.“

„LLM-Begutachtende sollten daher mit inhaltsgleichen Neuformulierungen auf ihre Belastbarkeit getestet werden, um festzustellen, ob sprachliche Änderungen ihre Bewertungen systematisch beeinflussen.“

Die Autoren schlagen außerdem vor, bei solchen Tests ausdrücklich sowohl die Bewertungen der Arbeiten als auch die schriftlichen Gutachten zu untersuchen, um festzustellen, ob selbstbewusste Sprache mit stärkeren wissenschaftlichen Belegen verwechselt wird.

Methode

Insgesamt wurden 504 wissenschaftliche Arbeiten aus den Einreichungen für die International Conference on Learning Representations (ICLR) 2026 ausgewählt. Die Stichprobe umfasste gleich viele angenommene und abgelehnte Arbeiten; aus jeder der 21 Forschungskategorien der Konferenz wurden 24 Einreichungen ausgewählt:

Das dreistufige Testverfahren. Wissenschaftliche Arbeiten wurden so umgeschrieben, dass sich die scheinbare Englischkompetenz oder die Zuversichtlichkeit der Formulierungen unterschied, während die Ergebnisse erhalten blieben. Die überarbeiteten Fassungen wurden auf stilistische und inhaltliche Veränderungen geprüft, bevor KI-Begutachtungsmodelle sie unter identischen Bedingungen bewerteten. Anschließend wurden die Unterschiede bei den Bewertungsergebnissen verglichen.

Jede Arbeit wurde anonymisiert und mit Claude Opus 5 umgeschrieben. Dabei entstanden alternative Fassungen, mit denen sowohl die Zuversichtlichkeit der formulierten Aussagen als auch die scheinbare Englischkompetenz der Verfasserinnen und Verfasser geprüft werden sollte. Für die Zuversichtlichkeitstests wurden Aussagen entweder bestimmter oder vorsichtiger formuliert. Wörter, die Gewissheit ausdrücken, etwa „eindeutig“ und „sicherlich“, kamen in den „zuversichtlichen“ Fassungen häufiger vor. In zurückhaltenderen Entwürfen wurden dagegen einschränkende Ausdrücke wie „möglicherweise“ und „deutet darauf hin“ bevorzugt.

In allen Fällen blieben die wissenschaftlichen Aussagen, Belege, Ergebnisse, Fachbegriffe und die Gesamtstruktur unverändert. Die Autorinnen und Autoren weisen darauf hin, dass die Anweisungen zum Umschreiben auf etablierter linguistischer Forschung beruhten und nicht auf allgemeinen Aufforderungen, bestimmte Schreibstile nachzuahmen.

Überprüfung der überarbeiteten Fassungen

Zur Überprüfung wurde jede überarbeitete Fassung mit dem Original anhand der semantischen Ähnlichkeit verglichen, die erfasst, ob Passagen ihre Bedeutung beibehalten, sowie anhand der TF-IDF-Ähnlichkeit (die misst, inwieweit Wortschatz und Terminologie erhalten bleiben). Beide Werte lagen nahe bei 1 und bestätigten damit eine starke Ähnlichkeit mit den Originalen:

Überprüfung der umgeschriebenen Arbeiten. In den zuversichtlichen Fassungen wurde bestimmtere Sprache verwendet, während die vorsichtigen Fassungen mehr Unsicherheit ausdrückten. Werte nahe bei 1 bestätigen eine starke Ähnlichkeit mit den Originalen; farbige Hervorhebungen kennzeichnen jeweils die höheren Werte für die untersuchte Messgröße.

Untersucht wurden sechs KI-Begutachtungsmodelle: die proprietären Modelle GPT-5.5, Claude Sonnet 4.6 und Gemini 3.5 Flash sowie die Modelle mit offenen Gewichten Gemma 3, Qwen3 VL und GLM 4.7. Die Auswahl fiel unter anderem deshalb auf diese Modelle, weil ihre Wissensstichtage alle vor 2026 liegen. Dadurch verringerte sich das Risiko, dass sie bereits Vorwissen über die Annahmeentscheidungen zu den Arbeiten hatten.

Jede umgeschriebene Arbeit wurde anhand von Begutachtungsrichtlinien im Stil einer Konferenz unabhängig bewertet. Um festzustellen, wie stark die Ergebnisse bei wiederholten Bewertungen schwanken könnten, wurde eine zufällige Auswahl von zehn Arbeiten von jedem Modell zehnmal begutachtet.

Ergebnisse

Die Tests untersuchten, ob die sechs ausgewählten KI-Begutachtungsmodelle bestimmte Schreibstile durchgehend bevorzugen würden. Verglichen wurden Arbeiten in „zuversichtlicher“ oder „vorsichtiger“ Sprache sowie Arbeiten, deren Stil akademischem Englisch von Muttersprachlerinnen und Muttersprachlern oder Nichtmuttersprachlerinnen und Nichtmuttersprachlern ähnelte^†.

Ergebnisse des Vergleichs der KI-Begutachtungsnoten für 504 wissenschaftliche Arbeiten, die in unterschiedlichen Stilen umgeschrieben wurden. Die Prozentwerte zur Präferenz zeigen, welche Fassung besser bewertet wurde; Gleichstände stehen in Klammern. Die Verhältniszahlen geben an, wie viel häufiger eine Fassung bevorzugt wurde. Die Entscheidungsumkehrungen zeigen, wie oft eine Änderung der Formulierung dazu führte, dass eine Arbeit statt angenommen abgelehnt oder statt abgelehnt angenommen wurde. Fett gedruckte statistische Werte weisen auf signifikante Unterschiede hin. Relevant ist der untere Abschnitt, da die obere Hypothese in diesem Artikel nicht behandelt wird (siehe Fußnoten).

Alle sechs KI-Begutachtungsmodelle bevorzugten durchgehend zuversichtlich formulierte Texte. Am deutlichsten fiel die Präferenz bei Claude Sonnet 4.6 aus: Wie bereits erwähnt, bewertete das Modell „zuversichtliche“ Entwürfe siebenmal häufiger besser als „vorsichtige“.

Eine Arbeit galt als angenommen, wenn sie mindestens 4,5 von 10 Punkten erreichte. Änderungen des Schreibstils hoben dieselbe Arbeit jedoch mitunter über diesen Schwellenwert oder senkten sie darunter und kehrten so die Entscheidung um; diese Umkehrungen begünstigten im Allgemeinen zuversichtliche Formulierungen.

Claude Sonnet 4.6 schnitt besonders schlecht ab: In 21 % der Fälle nahm das Modell die „zuversichtliche“ Fassung an, während es die „vorsichtige“ ablehnte. Der umgekehrte Fall trat nur in 2,8 % der Fälle ein.

Der Effekt zeigte sich auch in den schriftlichen Gutachten: Die KI-Begutachtungsmodelle lobten die Methoden, Theorien und wissenschaftlichen Beiträge einer Arbeit eher, wenn ihre Aussagen zuversichtlich formuliert waren. Da sich an der Forschung selbst nichts geändert hatte, konnten diese positiveren Bewertungen nur auf Unterschiede in der Darstellung und im Ton zurückzuführen sein.

Fazit

Jedes Mal, wenn Menschen KI – wenn auch unbeabsichtigt – nutzen, um das Signal-Rausch-Verhältnis zu erhöhen, wird KI als Lösung erprobt. Hier soll sie dabei helfen, den starken Anstieg der Einreichungen von Forschungsarbeiten zur künstlichen Intelligenz zu bewältigen – eine Flut, die die Gatekeeping-Macht und die Maßstäbe von Arxiv in letzter Zeit gestärkt hat. Inzwischen sollte jedoch klar sein, dass führende LLMs und alle Modelle darunter noch viel zu viele Eigenheiten aufweisen, als dass man ihnen generell die Rolle von Gutachtern anvertrauen könnte – außer unter den strengsten Parametervorgaben.

In solchen Fällen wäre es wahrscheinlich sinnvoller, kleinere LLMs durch Feinabstimmung oder LoRAs in spezialisierte Bewertungswerkzeuge zu verwandeln. Das bedeutet jedoch zumindest einen gewissen zusätzlichen Aufwand, wenn nicht sogar zusätzliche Kosten. Lokale Installationen der „unveränderten“ Modelle oder API-Aufrufe sind dagegen schneller und vergleichsweise günstig.

Diese recht knapp verfasste Arbeit könnte für LLM-Endnutzer dennoch überdurchschnittlich interessant sein, da sie „Enthusiasmus“ bereits als Stolperstein kennen, den sie umgehen müssen, um effektiv mit KI zu arbeiten. Und falls sich dieses und ähnliche Probleme von LLMs noch nicht beheben lassen, können sie zumindest berücksichtigt werden.

Bevor wir uns allzu spöttisch über diese Art oberflächlicher Gleichsetzung bei der Bewertung von KI äußern, sollten wir bedenken, dass diese Systeme in Fragen der Epistemologie – der Suche nach letztgültiger Autorität – ebenso ratlos sind wie wir alle. Auch wir neigen historisch gesehen stark dazu, das Signal mit der Sache selbst zu verwechseln.

* Mit dem Titel „Stil statt Substanz? Sprachliche Verzerrungen im Peer-Review auf Basis von LLMs“

^† Oder akademischem Englisch zu ähneln, wie es von Muttersprachlern oder Nichtmuttersprachlern verfasst wird – eine parallele Hypothese, die sich in der Arbeit nicht ebenso überzeugend belegen ließ und die in diesem Artikel nicht behandelt wird.

Erstveröffentlichung: Dienstag, 27. Oktober 2026