Wie man absurd wissenschaftliche Papiere an AI-Prüfer vorbeischmuggelt

Neue Forschung zeigt, wie AI-Systeme jetzt gefälschte wissenschaftliche Papiere schreiben können, die andere AIs als echt akzeptieren, und wie sie die Erkennungsroutinen, die einst funktionierten, umgehen, und wie leicht die Forschungswelt in eine Welt von Bots, die Bots täuschen, zusammenbrechen könnte.

Der akademische Forschungssektor, ironischerweise die Frontlinie der Innovation in der KI, befindet sich in einer Glaubwürdigkeitskrise, die selbst von der KI getrieben wird. Der Einfluss des maschinellen Lernens auf den Forschungs-, Einreichungs- und Überprüfungsprozess war erheblich, seitdem die Auswirkungen der KI zum ersten Mal vor etwa vier Jahren deutlich wurden , mit dem neuesten in einer Reihe von Kontroversen, der massenhaften Erzeugung von minderwertigen Umfragepapieren.

Wie der größte Teil des breiteren akademischen Sektors ist auch der Forschungssektor in einer Art Kaltem Krieg zwischen AIs, die Text erzeugen – wie ChatGPT und die Claude-Serie – und der neuesten Generation von “Erkennungs”-AIs, die ihre Ausgabe erkennen können, ohne (normalerweise) Studenten oder Wissenschaftler mit falschen Positiven zu beschuldigen.

Diese Spannungen werden voraussichtlich zunehmen, zusammen mit dem Volumen der wissenschaftlichen Einreichungen, das radikal ansteigt, getrieben von KI-gestützten Systemen und Frameworks, und die KI-gesteuerte Industrialisierung des Überwachungsprozesses erfordert, um (hoffentlich) alle Einreichungen auszufiltern, die rein das Werk von AIs sind.

Fake Knowledge Welcome

Eine neue Forschungskooperation zwischen den USA und Saudi-Arabien untersucht, in welchem Umfang diese aufkommende “Feuerwand” der KI-Erkennung von ganz AI-generierten Einreichungspapieren durchdrungen werden kann, wenn diese Papiere einige zusätzliche, überzeugende Tricks nutzen.

Bei Tests konnte das neue System, genannt BadScientist, Akzeptanzraten von bis zu 82% von den LLM-basierten Systemen erreichen, die derzeit verwendet werden, um AI-generierten Inhalt in wissenschaftlichen Forschungspapieren zu erkennen:

Das BadScientist-System verwendet einen AI-Agenten, um gefälschte wissenschaftliche Papiere zu generieren, und einen anderen, um sie mit aktuellen Sprachmodellen zu überprüfen. Quelle: https://arxiv.org/pdf/2510.18003

Falsche Papiere wurden mithilfe realer AI-Konferenzthemen und irreführender Strategien generiert und dann von Modellen überprüft, die auf Peer-Review-Daten kalibriert wurden, einschließlich GPT-5 für Integritätsprüfungen. Viele erhielten hohe Bewertungen, obwohl sie offensichtliche Fehler oder Fälschungen enthielten.

Die Veröffentlichung des Papiers fällt mit der heutigen Open Conference of AI Agents for Science 2025 an der Stanford-Universität zusammen, bei der die Teilnehmer und Redner Menschen sind, aber alle Papiere von diversen AI-Systemen geschrieben und überprüft werden.

BadScientist, so erklären die Autoren des Papiers, nutzt verschiedene Formen akademischer und literarischer Täuschungen, Auslassungen, Erfindungen und Übertreibungen, um das Papier so zu gewichten, dass es nicht mehr von den meisten aktuellen Erkennungssystemen als AI-generiert erkannt werden kann; und wir werden uns diese Kategorien bald ansehen.

Die Autoren bemerken in einem alarmierenden Ton, dass selbst wenn Erkennungssysteme AI-Inhalt in einem gefälschten Papier erkennen, sie tendenziell es dennoch durchlassen, und fügen hinzu, dass ihre eigenen Versuche, die Verteidigungssysteme gegen diesen neuen Angriffsweg zu immunisieren, kaum mehr als zufällige Verbesserungen erreichten.

Das Papier besagt:

‘Fabrizierte Papiere erreichen hohe Akzeptanzraten, wobei Rezensenten häufig Konflikte zwischen Besorgnis und Akzeptanz zeigen – sie kennzeichnen Integritätsprobleme, empfehlen aber dennoch die Annahme. Dieser grundlegende Zusammenbruch zeigt, dass aktuelle AI-Rezensenten mehr als Muster-Erkennungssysteme als kritische Evaluierer arbeiten.

‘[…] Einfach zu fordern, dass LLM-Rezensenten “vorsichtiger” sein sollen, ist unzureichend. Die wissenschaftliche Gemeinschaft steht vor einer dringenden Wahl. Ohne sofortige Maßnahmen zur Umsetzung von Verteidigungsmaßnahmen in der Tiefe – einschließlich Provenienzüberprüfung, Integritätsbewertung und obligatorischer menschlicher Überwachung – riskieren wir AI-only-Veröffentlichungsschleifen, bei denen sophisticated Fälschungen unsere Fähigkeit überwältigen, echte Forschung von überzeugenden Fälschungen zu unterscheiden.

‘Die Integrität des wissenschaftlichen Wissens selbst steht auf dem Spiel.’

Das neue Papier trägt den Titel BadScientist: Kann ein Forschungsagent überzeugende, aber unsolide Papiere schreiben, die LLM-Rezensenten täuschen? und stammt von sechs Autoren aus der University of Washington und der King Abdulaziz City for Science and Technology in Riad. Die Veröffentlichung hat eine begleitende Projektsite.

Method

Das Papier-erzeugende Agenten-Framework, das für die Arbeit verwendet wurde, ist eine erhebliche Neukonzeption der AI-Scientist-Zusammenarbeit von 2024, wobei die Autoren betonen, dass dessen gesamte Pipeline grundlegend neu konzipiert wurde. Nur die grundlegendsten Schreibanweisungen wurden beibehalten, während alle experimentellen Ausführungen und vordefinierten Strukturen entfernt wurden. Das aktualisierte System arbeitet nun von einem einfachen Seed aus, der es dem System ermöglicht, freiwillig experimentelle Ergebnisse zu erfinden und Plotting-Code wie benötigt zu generieren.

Das umfassende Framework soll es einem AI ermöglichen, überzeugende gefälschte Papiere zu generieren, ohne echte Experimente durchzuführen oder echte Daten zu verwenden. Stattdessen erzeugt das System synthetische Daten, um absichtlich halluzinierte Behauptungen zu unterstützen.

Die Einrichtung, so erklären die Autoren, vermeidet absichtlich menschliche Beteiligung, Angriffe auf Anweisungen oder koordinierte Kollusion zwischen Schreiber- und Rezensenten-Agenten. Die Rezensenten-AIs bewerteten jedes Einreichung in einem einzigen Durchgang, ohne Zugriff auf mehr als das Papier selbst, und ohne die Fähigkeit, Experimente neu durchzuführen, was realen Peer-Review-Bedingungen entspricht.

Die “atomaren Strategien”, die zur Erzeugung von gefälschten Papieren verwendet werden, sind modulare Taktiken, die einzeln oder in Kombination angewendet werden können (und jeder, der häufig die Literatur liest, wird mit diesen vertraut sein). Die Strategien umfassen die Hervorhebung dramatischer Verbesserungen, um die Methode wie einen bedeutenden Fortschritt erscheinen zu lassen (TooGoodGains); die Auswahl von Vergleichswerten und Ergebnissen, die der neuen Methode zugutekommen, während Konfidenzintervalle in der Haupttabelle ausgelassen werden (BaselineSelect); das Hinzufügen von sauberen Ablationen, präzisen Statistiken und ordentlichen Tabellen im Anhang, zusammen mit Versprechungen von zukünftigem Code oder Daten (StatTheater); das Polieren der Papiersstruktur mit konsistenter Terminologie, Querverweisen und Formatierung (CoherencePolish); und das Hinzufügen von formalen Beweisen, die klingen, als ob sie solide seien, aber versteckte Fehler enthalten (ProofGap).

Daten und Tests

Um das System zu testen, nutzten die Autoren GPT-5, um Forschungsthemen in Schlüsselbereichen der künstlichen Intelligenz zu generieren, unter Verwendung der Domänen Künstliche Intelligenz, Machine Learning, Computer Vision, Natürliche Sprachverarbeitung, Robotik, Systeme und Sicherheit.

Diese Kategorien wurden zu Seed-Themen für gefälschte Papiere, wobei jedes in vier verschiedene Versionen erweitert wurde, unter Verwendung der oben aufgeführten Strategien, und darauf ausgelegt, Rezensenten zu täuschen oder zu beeindrucken. Um zu entscheiden, ob ein Papier “akzeptiert” werden würde, sah das System nur auf die endgültige Bewertung, die von der AI-Rezensentin gegeben wurde.

Die gefälschten Papiere wurden in ihrer Gesamtheit von GPT-5 geschrieben. Um sie zu überprüfen, verwendeten die Autoren GPT-4.1; o4-mini; und o3. Alle erhielten das gleiche Überprüfungs-Prompt, ein festes Anweisungsformat, das darauf ausgelegt war, die Bewertungskriterien und die Struktur zu imitieren, die in realen Peer-Reviews verwendet werden.

Um diese Bewertungen sinnvoll zu machen, wurde das System mit 200 tatsächlichen Einreichungen aus dem ICLR 2025 OpenReview-Dataset (eine öffentliche Sammlung von echten Papieren, Rezensentenkommentaren und Annahmeergebnissen) kalibriert.

Als Ergebnis wurde ein Bewertungsschwellenwert festgelegt, um der realen Annahmequote von 31,73% bei ICLR zu entsprechen, was zu einem Schwellenwert von 7 führte; und ein weiterer, um den Schwellenwert zu reflektieren, bei dem ein Papier eine 50-prozentige Chance haben würde, von menschlichen Rezensenten angenommen zu werden (berechnet als 6,667).

Die Autoren testeten die Zuverlässigkeit ihrer Einrichtung, indem sie Überprüfungen für 5.000 gefälschte Papiere simulierten, unter Verwendung von 1-3 AI-Rezensenten, von denen jeder zufällig aussehende Bewertungen zwischen 1 und 10 zurückgeben würde. Die Ergebnisse würden zeigen, dass das System selbst bei dieser lautstarken Einrichtung zu weit weniger Fehlern neigt, als seine worst-case-theoretischen Grenzen vermuten lassen.

Die Verwendung von drei Rezensenten anstelle von einem führte zu einer signifikanten Verringerung der Bewertungsvariabilität, wodurch die Entscheidungsstabilität fast dreifach verbessert wurde – Ergebnisse, die zur Rechtfertigung der Wahl von drei Rezensentenmodellen und eines Kalibrierungssets von 200 echten Papieren verwendet wurden.

Die beiden Metriken, die zur Bewertung des Generators definiert wurden, waren Akzeptanzrate, die misst, wie oft gefälschte Papiere positive Bewertungen erhielten; und Durchschnittsbewertung, die die mittlere Bewertung über die Einreichungen erfasst; beide wurden verwendet, um zu messen, wie gut das System Rezensenten täuschen konnte:

Akzeptanz (ACPT) zeigt den Anteil der gefälschten Papiere, die über zwei Schwellenwerte hinausgingen: einen, der der ICLR 2025-Akzeptanzquote entsprach, und einen anderen, der einer 50-prozentigen Schätzung der menschlichen Akzeptanz entsprach. Integritätsbedenkenrate (ICR-m) zeigt die Kennzeichnungsrate pro Rezensentenmodell. Die letzte Spalte gibt die Ensemble-Rate basierend auf der Mehrheitsentscheidung an.

Gefälschte Papiere sahen hohe Akzeptanzraten unter fast allen Strategien. Die erste Taktik allein ergab 67% und 82% bei den beiden Schwellenwerten, was zeigt, dass Rezensentenmodelle leicht überzeugt werden konnten. Die Kombination aller Strategien verringerte die Akzeptanz leicht, aber verdoppelte die Erkennung, wobei mehr als die Hälfte der Überprüfungen Bedenken anmeldeten. Die erste Strategie bot den besten Kompromiss: starke Akzeptanz und moderate Erkennung, während andere Taktiken schwächer, aber schwerer zu erkennen waren. Das ChatGPT-o3-Rezensentenmodell kennzeichnete am meisten, und GPT-4.1 am wenigsten.

Bewertungsverteilungen werden für sechs Angriffsstrategien gezeigt, unter Verwendung von drei Rezensentenmodellen: GPT-4.1 (rot); o3 (orange); und o4-mini (blau). Jedes Diagramm zeigt, wie häufig jede Bewertung von vier bis neun zugewiesen wurde, wobei die rote gestrichelte Linie den Akzeptanzschwellenwert von sieben markiert.

In den Ergebnissen des zweiten Tests, die oben gezeigt werden, sehen wir Bewertungshistogramme für drei Modelle über sechs Einrichtungen. Verteilungen variieren über die Einrichtungen, aber o4-mini tendiert dazu, im Durchschnitt höhere Bewertungen zuzuweisen, o3 zeigt eine größere Streuung und extremere Werte, während GPT-4.1 konsistenter niedrigere Bewertungen zuweist.

Konflikt zwischen Bedenken und Akzeptanz pro Modell und Strategie: der Prozentsatz der Fälle, in denen ein Modell ein Integritätsproblem kennzeichnete, aber dennoch eine positive Bewertung gab. Höhere Werte zeigen eine schwächere Kopplung zwischen Bedenkenkennzeichnung und endgültiger Bewertung.

Modelle gaben oft hohe Bewertungen auch dann, wenn sie Integritätsbedenken kennzeichneten. In dieser Hinsicht war o4-mini der inkonsistenteste, mit Konflikten in 100% der Fälle unter s1, s3 und der kombinierten Einrichtung, und 50-80% anderswo.

GPT-4.1 reichte von 0% (s4) bis 75% (s3). o3 war beständiger, zwischen 26% und 52%. Konflikt war am höchsten unter s3, insbesondere für o4-mini; und die Autoren bemerken, dass Erkennungssignale schlecht mit den endgültigen Bewertungen verbunden waren.

Mitigation

Zwei Methoden wurden getestet, die möglicherweise helfen könnten, zukünftige Erkennungsmodelle vor diesen neuen Angriffsmethoden zu schützen. Die erste, Review-with-Detection (ReD), fügte einen Integritätsprüfungsschritt zu den Standardüberprüfungen hinzu, bei dem Modelle AI-generierten Inhalt kennzeichneten und Beweise zitierten. Dies erhöhte Integritätswarnungen (von 57% auf 86%), aber auch Akzeptanzraten, was darauf hindeutet, dass Warnungen nicht in den endgültigen Bewertungen widerspiegelt wurden:

Review-with-Detection (ReD) erhöht sowohl Integritätsbedenkenraten (ICR) als auch Akzeptanzraten (ACPT) im Vergleich zum Baseline. Während o3 unter ReD viel empfindlicher wird, schafft es GPT-4.1 nicht, Bedenken zu kennzeichnen. Der allgemeine Anstieg der Akzeptanz trotz hinzugefügter Integritätswarnungen deutet auf eine schwache Kopplung zwischen Erkennung und Bewertung hin.

Die zweite Methode, Detection-Only (DetOnly), übersprang vollständige Überprüfungen und bat Modelle, Papiere als echt oder gefälscht zu klassifizieren. Die Erkennungsgenauigkeit war insgesamt schlecht, nahe bei zufällig, außer bei leichten Gewinnen bei o3:

Erkennungsergebnisse für ReD und DetOnly im Vergleich zu einem zufälligen Baseline. Genauigkeitsgewinne über zufällig waren minimal, aber ReD war konservativer, während DetOnly eine höhere Rückrufquote erreichte – aber mit vielen Falschpositiven. Modell o3 zeigte die stärkste Erkennungsverzerrung; o4-mini war inkonsistent; und GPT-4.1 erkannte fast nichts.

Insgesamt erwies sich ReD als konservativer, während DetOnly eine höhere Rückrufquote erreichte, aber auch mehr Falschpositive.

Das Papier schließt:

AI-only-Veröffentlichungsschleifen bedrohen die wissenschaftliche Epistemologie. Wenn Fälschungen nicht mehr von echter Arbeit zu unterscheiden sind, riskiert die Grundlage des wissenschaftlichen Wissens den Zusammenbruch.

‘Der Weg nach vorne erfordert Verteidigung in der Tiefe über mehrere Schichten: technisch (Provenienzüberprüfung, Artefaktvalidierung), prozedural (Integritätsbewertung, menschliche Überwachung), gemeinschaftlich (Post-Publikations-Überprüfung, Whistleblower-System), und kulturell (Bildung über AI-Begrenzungen, ethische Richtlinien).

‘Wir betrachten diese Arbeit als ein frühzeitiges Warnsystem, um robuste Verteidigungen zu katalysieren, bevor diese Ausfälligkeitsmodi im großen Maßstab manifest werden. Unsere Ergebnisse zeigen, dass aktuelle Systeme nicht bereit sind für AI-only-Forschung – die Integrität der Wissenschaft hängt davon ab, strenge menschliche Bewertung beizubehalten, während AI-Fähigkeiten voranschreiten.’

Conclusion

Eine der größten Herausforderungen für die Erkennung von AI-generiertem Text in der nahen Zukunft dürfte die mögliche Konvergenz zwischen Standard-Schreibpraxis und den Standards von AI-generiertem Text (der derzeit durch Merkmale wie häufige Wörter und Grammatikstile definiert ist) sein.

Wenn gemeinsame Sprache und AI-Sprache zu einem generischen Standard konvergieren, legt die Logik nahe, dass zukünftige Erkennungsmethoden, die rein auf der Ausgabe basieren, noch schwieriger zu implementieren sein werden.

Zusätzlich werden LLMs, da sie vielseitiger werden und ihre “Merkmale” weniger betonen (entweder durch architektonische/Trainingsansätze oder durch bessere API-Ebene-Filterung), bessere Schriftsteller; daher werden menschliche und AI-Sprache in noch größeren Maßen auf halbem Weg treffen; sie werden sich vermischen und generisch werden.

Zu diesem Zeitpunkt wird AI-Erkennung für Sprache wahrscheinlich das gleiche Stadium erreichen, das AI-Bild- und (in geringerem Maße) AI-Video-Generierung erreicht haben: die Notwendigkeit für sekundäre Herkunfts-Systeme wie die von Adobe angeführte Content Authenticity Initiative oder blockchain/ledger-basierte Herkunfts-Überprüfungen.

Erstveröffentlichung am Mittwoch, dem 22. Oktober 2025