KI als Forscher: Erstes von Peer-Review geprüftes Forschungspapier ohne menschliche Beteiligung

Künstliche Intelligenz hat einen weiteren bedeutenden Meilenstein erreicht, der unser Verständnis davon herausfordert, was Maschinen unabhängig erreichen können. Erstmals in der wissenschaftlichen Geschichte hat ein KI-System ein vollständiges Forschungspapier geschrieben, das ohne menschliche Hilfe im Schreibprozess den Peer-Review-Prozess bei einer akademischen Konferenz bestanden hat. Durchbruch könnte ein grundlegender Wandel in der Durchführung wissenschaftlicher Forschung in der Zukunft sein.

Historische Leistung

Ein von The AI Scientist-v2 produziertes Papier hat den Peer-Review-Prozess bei einem Workshop auf einer internationalen KI-Konferenz bestanden. Die Forschung wurde einem ICLR 2025-Workshop vorgelegt, der eines der renommiertesten Foren im Bereich des Maschinellen Lernens ist. Das Papier wurde von einer verbesserten Version des ursprünglichen AI Scientist namens The AI Scientist-v2 generiert.

Das angenommene Papier mit dem Titel “Compositional Regularization: Unerwartete Hindernisse bei der Verbesserung der Verallgemeinerungsfähigkeit von neuronalen Netzen” erhielt beeindruckende Bewertungen von menschlichen Gutachtern. Von den drei zur Begutachtung eingereichten Papieren erhielt eines Bewertungen, die es über die Annahmeschwelle setzten. Dieser Durchbruch ist ein bedeutender Fortschritt, da KI nun am grundlegenden Prozess der wissenschaftlichen Entdeckung teilnehmen kann, der jahrhundertelang exklusiv menschlich war.

Das Forschungsteam von Sakana AI, das mit Mitarbeitern der University of British Columbia und der University of Oxford zusammenarbeitete, führte dieses Experiment durch. Sie erhielten die Genehmigung der institutionellen Prüfungskommission und arbeiteten direkt mit den Organisatoren der ICLR-Konferenz zusammen, um sicherzustellen, dass das Experiment den ordnungsgemäßen wissenschaftlichen Protokollen folgte.

Wie The AI Scientist-v2 funktioniert

The AI Scientist-v2 hat diesen Erfolg aufgrund mehrerer bedeutender Verbesserungen gegenüber seinem Vorgänger erzielt. Im Gegensatz zu seinem Vorgänger eliminiert AI Scientist-v2 die Notwendigkeit von menschlich verfassten Code-Vorlagen, kann in verschiedenen Maschinellen-Lernen-Bereichen arbeiten und verwendet eine Baum-Suchmethodik, um mehrere Forschungswege gleichzeitig zu erkunden.

Das System arbeitet durch einen End-to-End-Prozess, der dem Arbeitsablauf menschlicher Forscher entspricht. Es beginnt mit der Formulierung wissenschaftlicher Hypothesen auf der Grundlage des Forschungsbereichs, den es zu erkunden hat. Die KI entwirft dann Experimente, um diese Hypothesen zu testen, schreibt den notwendigen Code, um die Experimente durchzuführen, und führt sie automatisch aus.

Was dieses System besonders fortschrittlich macht, ist die Verwendung der agentischen Baum-Suchmethodik. Dieser Ansatz ermöglicht es der KI, mehrere Forschungsrichtungen gleichzeitig zu erkunden, ähnlich wie menschliche Forscher verschiedene Ansätze zur Lösung eines Problems in Betracht ziehen. Dies beinhaltet die Durchführung von Experimenten mittels agentischer Baum-Suche, die Analyse der Ergebnisse und die Generierung eines Papierentwurfs. Ein dedizierter Experiment-Manager-Agent koordiniert den gesamten Prozess, um sicherzustellen, dass die Forschung fokussiert und produktiv bleibt.

Das System umfasst auch eine verbesserte KI-Überprüfungskomponente, die Vision-Language-Modelle verwendet, um Feedback zu Inhalt und visueller Präsentation der Forschungsergebnisse zu geben. Dies schafft einen iterativen Verfeinerungsprozess, bei dem die KI ihre eigene Arbeit auf der Grundlage von Feedback verbessern kann, ähnlich wie menschliche Forscher ihre Manuskripte auf der Grundlage von Kollegen-Input verfeinern.

Was dieses Forschungspapier besonders macht

Das angenommene Papier konzentrierte sich auf ein schwieriges Problem im Maschinellen Lernen, nämlich Compositional Generalization. Dies bezieht sich auf die Fähigkeit von neuronalen Netzen, gelernte Konzepte in neuen Kombinationen zu verstehen und anzuwenden, die sie noch nie zuvor gesehen haben. The AI Scientist-v2 untersuchte neue Regularisierungsmethoden, die diese Fähigkeit verbessern könnten.

Interessanterweise berichtete das Papier auch über negative Ergebnisse. Die KI entdeckte, dass bestimmte Ansätze, die sie als Verbesserung der Leistung von neuronalen Netzen hypothetisiert hatte, tatsächlich unerwartete Hindernisse schufen. In der Wissenschaft sind negative Ergebnisse wertvoll, da sie andere Forscher davon abhalten, unproduktive Wege zu verfolgen, und zu unserem Verständnis davon beitragen, was nicht funktioniert.

Die Forschung folgte strengen wissenschaftlichen Standards während des gesamten Prozesses. The AI Scientist-v2 führte mehrere experimentelle Läufe durch, um statistische Gültigkeit zu gewährleisten, erstellte klare Visualisierungen der Ergebnisse und zitierte relevante vorherige Arbeiten ordnungsgemäß. Es formatierte das gesamte Manuskript gemäß akademischen Standards und schrieb umfassende Diskussionen über Methodik und Ergebnisse.

Die menschlichen Forscher, die das Projekt beaufsichtigten, führten ihre eigene gründliche Überprüfung aller drei generierten Papiere durch. Sie stellten fest, dass das angenommene Papier, obwohl es von Workshop-Qualität war, einige technische Probleme enthielt, die eine Annahme auf dem Hauptkonferenz-Track verhindern würden. Diese ehrliche Bewertung zeigt die aktuellen Einschränkungen, während sie gleichzeitig den erzielten Fortschritt anerkennt.

Technische Fähigkeiten und Verbesserungen

The AI Scientist-v2 zeigt mehrere bemerkenswerte technische Fähigkeiten, die es von vorherigen automatisierten Forschungssystemen unterscheiden. Das System kann in verschiedenen Maschinellen-Lernen-Bereichen arbeiten, ohne dass vorherige Code-Vorlagen erforderlich sind. Diese Flexibilität ermöglicht es, sich an neue Forschungsbereiche anzupassen und originelle experimentelle Ansätze zu generieren, anstatt vorgegebene Muster zu verfolgen.

Die Baum-Suchmethodik ist eine bedeutende Innovation in der Automatisierung der KI-Forschung. Anstatt einer einzigen Forschungsrichtung zu folgen, kann das System mehrere Hypothesen gleichzeitig verfolgen und Rechenressourcen basierend auf dem Versprechen zuweisen, das jede Richtung zeigt. Dieser Ansatz spiegelt die Arbeitsweise erfahrener menschlicher Forscher wider, die oft mehrere Forschungsstränge verfolgen, während sie sich auf die vielversprechendsten Wege konzentrieren.

Eine weitere wichtige Verbesserung ist die Integration von Vision-Language-Modellen zur Überprüfung und Verfeinerung der visuellen Elemente von Forschungspapieren. Wissenschaftliche Abbildungen und Visualisierungen sind entscheidend für die effektive Kommunikation von Forschungsergebnissen. Die KI kann nun ihre eigenen Datenvisualisierungen iterativ bewerten und verbessern.

Das System zeigt auch ein Verständnis für wissenschaftliche Schreibkonventionen. Es strukturiert Papiere mit geeigneten Abschnitten, hält eine konsistente Terminologie innerhalb der Manuskripte aufrecht und schafft einen logischen Fluss zwischen verschiedenen Teilen der Forschungsnarrative. Die KI zeigt ein Bewusstsein dafür, wie man Methodik präsentiert, Einschränkungen diskutiert und Ergebnisse im Kontext der bestehenden Literatur kontextualisiert.

Aktuelle Einschränkungen und Herausforderungen

Trotz dieses historischen Erfolgs gibt es mehrere wichtige Einschränkungen, die die aktuellen Fähigkeiten der KI-generierten Forschung beschränken. Das Unternehmen sagte, dass keine seiner KI-generierten Studien den internen Standard für die Veröffentlichung auf dem ICLR-Konferenz-Track erreicht hat. Dies zeigt, dass die KI zwar Workshop-qualitätsforschung produzieren kann, es aber immer noch eine Herausforderung ist, die höchsten Ebenen der wissenschaftlichen Veröffentlichung zu erreichen.

Die Annahmequoten liefern wichtigen Kontext für die Bewertung dieser Leistung. Das Papier wurde auf einem Workshop-Track angenommen, der in der Regel weniger strenge Standards hat als die Hauptkonferenz (60-70% Annahmequote im Vergleich zu 20-30% Annahmequoten, die typisch für die Hauptkonferenz-Tracks sind). Während dies die Bedeutung der Leistung nicht schmälert, zeigt es, dass die Produktion von wirklich bahnbrechender Forschung immer noch über die aktuellen Fähigkeiten der KI hinausgeht.

The AI Scientist-v2 zeigte auch einige Schwächen, die menschliche Forscher während des Überprüfungsprozesses identifizierten. Das System machte gelegentlich Zitierfehler, indem es Forschungsergebnisse falschen Autoren oder Veröffentlichungen zuordnete. Es hatte auch Schwierigkeiten mit bestimmten Aspekten des experimentellen Designs, die menschliche Experten anders angegangen wären.

Vielleicht am wichtigsten ist, dass die KI-generierte Forschung sich auf inkrementelle Verbesserungen konzentrierte und nicht auf paradigmatische Entdeckungen. Das System scheint eher in der Lage zu sein, gründliche Untersuchungen innerhalb etablierter Forschungsrahmen durchzuführen, als völlig neue Wege des wissenschaftlichen Denkens vorzuschlagen.

Der Weg nach vorn

Die erfolgreiche Peer-Review-Bewertung von KI-generierter Forschung markiert den Beginn einer neuen Ära in der wissenschaftlichen Forschung. Da Grundmodelle weiter verbessert werden, können wir erwarten, dass The AI Scientist und ähnliche Systeme zunehmend sophisticatede Forschung produzieren, die menschliche Fähigkeiten in vielen Bereichen erreicht und möglicherweise übertrifft.

Das Forschungsteam geht davon aus, dass zukünftige Versionen in der Lage sein werden, Papiere zu produzieren, die für die Annahme auf Top-Konferenzen und in Zeitschriften würdig sind. Die logische Entwicklung legt nahe, dass KI-Systeme möglicherweise zu bahnbrechenden Entdeckungen in Bereichen wie Medizin, Physik und Chemie beitragen werden.

Diese Entwicklung wirft auch wichtige Fragen zur Forschungsethik und zu den Veröffentlichungsstandards auf. Die wissenschaftliche Gemeinschaft muss neue Normen für die Behandlung von KI-generierter Forschung entwickeln, einschließlich der Frage, wann und wie die Beteiligung von KI offengelegt werden soll, und wie solche Arbeiten im Vergleich zu menschlich generierter Forschung bewertet werden sollen.

Die Transparenz, die das Forschungsteam in diesem Experiment demonstriert hat, bietet ein wertvolles Modell für die zukünftige Bewertung von KI-Forschung. Durch offene Zusammenarbeit mit Konferenzorganisatoren und die Unterwerfung ihrer KI-generierten Arbeiten unter dieselben Standards wie menschliche Forschung haben sie wichtige Präzedenzfälle für die verantwortungsvolle Entwicklung von automatisierten Forschungsfähigkeiten geschaffen.

Das Fazit

Die Annahme eines von KI verfassten Papiers auf einem führenden Maschinellen-Lernen-Workshop ist ein bedeutender Fortschritt in den Fähigkeiten der KI. Während die Arbeit noch nicht auf dem Niveau der Top-Konferenz ist, zeigt sie eine klare Entwicklungslinie, dass KI-Systeme zu ernsthaften Beiträgern der wissenschaftlichen Entdeckung werden. Die Herausforderung liegt nun nicht nur in der Weiterentwicklung der Technologie, sondern auch in der Gestaltung der ethischen und akademischen Rahmenbedingungen, die diese neue Forschungsfront regieren werden.