KI als Forscher: Erstes von Peer-Reviewern begutachtetes Forschungspapier ohne menschliche Hilfe

Künstliche Intelligenz hat einen weiteren bedeutenden Meilenstein erreicht, der unser Verständnis davon, was Maschinen unabhängig erreichen können, in Frage stellt. Erstmals in der wissenschaftlichen Geschichte hat ein KI-System ein vollständiges Forschungspapier geschrieben, das den Peer-Review-Prozess an einer akademischen Konferenz ohne menschliche Hilfe beim Schreibprozess bestanden hat. Durchbruch könnte ein grundlegender Wandel in der Durchführung wissenschaftlicher Forschung in der Zukunft sein.

Historische Leistung

Ein von The AI Scientist-v2 produziertes Papier hat den Peer-Review-Prozess an einem Workshop auf einer Top-Internationalen KI-Konferenz bestanden. Die Forschung wurde an einen ICLR 2025-Workshop eingereicht, der einer der renommiertesten Veranstaltungsorte im Maschinellen Lernen ist. Das Papier wurde von einer verbesserten Version des ursprünglichen AI Scientist namens The AI Scientist-v2 generiert.

Das angenommene Papier mit dem Titel “Compositional Regularization: Unerwartete Hindernisse bei der Verbesserung der Verallgemeinerung von neuronalen Netzen” erhielt beeindruckende Bewertungen von menschlichen Gutachtern. Von den drei eingereichten Papieren erhielt eines Bewertungen, die es über die Annahmeschwelle setzten. Dieser Durchbruch ist ein bedeutender Fortschritt, da KI nun am grundlegenden Prozess der wissenschaftlichen Entdeckung teilnehmen kann, der jahrhundertelang exklusiv menschlich war.

Das Forschungsteam von Sakana AI, das mit Mitarbeitern der University of British Columbia und der University of Oxford zusammenarbeitete, führte dieses Experiment durch. Sie erhielten die Genehmigung des Institutional Review Board und arbeiteten direkt mit den Organisatoren der ICLR-Konferenz zusammen, um sicherzustellen, dass das Experiment den ordnungsgemäßen wissenschaftlichen Protokollen folgte.

Wie The AI Scientist-v2 funktioniert

The AI Scientist-v2 hat diesen Erfolg dank mehrerer bedeutender Verbesserungen gegenüber seinem Vorgänger erzielt. Im Gegensatz zu seinem Vorgänger eliminiert AI Scientist-v2 die Notwendigkeit von menschlich verfassten Code-Vorlagen, kann in verschiedenen Maschinellen Lernbereichen arbeiten und verwendet eine Baum-Suchmethodik, um mehrere Forschungsrichtungen gleichzeitig zu erforschen.

Das System arbeitet durch einen End-to-End-Prozess, der dem menschlichen Forschungsprozess entspricht. Es beginnt mit der Formulierung wissenschaftlicher Hypothesen auf der Grundlage des Forschungsbereichs, den es zu untersuchen hat. Die KI entwirft dann Experimente, um diese Hypothesen zu testen, schreibt den notwendigen Code, um die Experimente durchzuführen, und führt sie automatisch aus.

Was dieses System besonders fortschrittlich macht, ist die Verwendung der agentischen Baum-Suchmethodik. Dieser Ansatz ermöglicht es der KI, mehrere Forschungsrichtungen gleichzeitig zu erforschen, ähnlich wie menschliche Forscher verschiedene Ansätze zur Lösung eines Problems in Betracht ziehen. Dies beinhaltet die Durchführung von Experimenten mittels agentischer Baum-Suche, die Analyse der Ergebnisse und die Erstellung eines Entwurfs des Forschungspapiers. Ein dedizierter Experiment-Manager-Agent koordiniert diesen gesamten Prozess, um sicherzustellen, dass die Forschung fokussiert und produktiv bleibt.

Das System umfasst auch eine verbesserte KI-Überprüfungskomponente, die Vision-Sprachmodelle verwendet, um Feedback zu Inhalt und visueller Präsentation der Forschungsergebnisse zu geben. Dies schafft einen iterativen Verfeinerungsprozess, bei dem die KI ihre eigene Arbeit auf der Grundlage von Feedback verbessern kann, ähnlich wie menschliche Forscher ihre Manuskripte auf der Grundlage von Kollegen-Input verfeinern.

Was dieses Forschungspapier besonders macht

Das angenommene Papier konzentrierte sich auf ein schwieriges Problem im Maschinellen Lernen, nämlich die kompositionale Verallgemeinerung. Dies bezieht sich auf die Fähigkeit von neuronalen Netzen, erlernte Konzepte in neuen Kombinationen anzuwenden, die sie noch nie zuvor gesehen haben. The AI Scientist-v2 untersuchte neue Regularisierungsmethoden, die diese Fähigkeit verbessern könnten.

Interessanterweise berichtete das Papier auch über negative Ergebnisse. Die KI entdeckte, dass bestimmte Ansätze, die sie als Verbesserung der Leistung von neuronalen Netzen vermutet hatte, tatsächlich unerwartete Hindernisse schufen. In der Wissenschaft sind negative Ergebnisse wertvoll, da sie andere Forscher davon abhalten, unproduktive Wege zu verfolgen, und zu unserem Verständnis davon beitragen, was nicht funktioniert.

Die Forschung folgte strengen wissenschaftlichen Standards während des gesamten Prozesses. The AI Scientist-v2 führte mehrere experimentelle Läufe durch, um statistische Gültigkeit zu gewährleisten, erstellte klare Visualisierungen seiner Ergebnisse und zitierte relevante vorherige Arbeiten ordnungsgemäß. Es formatierte das gesamte Manuskript gemäß akademischen Standards und schrieb umfassende Diskussionen über seine Methodik und Ergebnisse.

Die menschlichen Forscher, die das Projekt beaufsichtigten, führten ihre eigene gründliche Überprüfung aller drei generierten Papiere durch. Sie stellten fest, dass das angenommene Papier, obwohl es von Workshop-Qualität war, einige technische Probleme enthielt, die eine Annahme auf dem Hauptkonferenz-Track verhindern würden. Diese ehrliche Bewertung zeigt die aktuellen Einschränkungen, während sie den bedeutenden Fortschritt anerkennt.

Technische Fähigkeiten und Verbesserungen

The AI Scientist-v2 zeigt mehrere bemerkenswerte technische Fähigkeiten, die es von vorherigen automatisierten Forschungssystemen unterscheiden. Das System kann in verschiedenen Maschinellen Lernbereichen arbeiten, ohne vorherige Code-Vorlagen zu benötigen. Diese Flexibilität ermöglicht es, sich an neue Forschungsbereiche anzupassen und originale experimentelle Ansätze zu generieren, anstatt vorgegebene Muster zu folgen.

Die Baum-Suchmethodik ist eine bedeutende Innovation in der Automatisierung der Forschung. Anstatt einer einzigen Forschungsrichtung zu folgen, kann das System mehrere Hypothesen gleichzeitig verfolgen und Rechenressourcen basierend auf dem Versprechen jeder Richtung zuweisen. Dieser Ansatz spiegelt die Art wider, wie erfahrene menschliche Forscher oft mehrere Forschungsstränge verfolgen, während sie den meisten Aufwand auf die vielversprechendsten Wege konzentrieren.

Eine weitere wichtige Verbesserung ist die Integration von Vision-Sprachmodellen zur Überprüfung und Verfeinerung der visuellen Elemente von Forschungspapieren. Wissenschaftliche Abbildungen und Visualisierungen sind entscheidend für die effektive Kommunikation von Forschungsergebnissen. Die KI kann nun ihre eigenen Datenvisualisierungen iterativ auswerten und verbessern.

Das System zeigt auch ein Verständnis für wissenschaftliche Schreibkonventionen. Es strukturiert Papiere mit geeigneten Abschnitten, hält konsistente Terminologie in Manuskripten aufrecht und schafft einen logischen Fluss zwischen verschiedenen Teilen der Forschungsnarrative. Die KI zeigt ein Bewusstsein dafür, wie man Methodik, Einschränkungen und Kontextualisierung von Ergebnissen innerhalb der bestehenden Literatur präsentiert.

Aktuelle Einschränkungen und Herausforderungen

Trotz dieses historischen Erfolgs gibt es mehrere wichtige Einschränkungen, die die aktuellen Fähigkeiten von KI-generierter Forschung beschränken. Das Unternehmen sagte, dass keine seiner KI-generierten Studien die internen Standards für die Veröffentlichung auf dem ICLR-Konferenz-Track erreicht habe. Dies zeigt, dass die KI zwar Workshop-Qualitätsforschung produzieren kann, aber das Erreichen der höchsten Ebenen wissenschaftlicher Veröffentlichung noch immer eine Herausforderung darstellt.

Die Annahmeraten liefern wichtigen Kontext für die Bewertung dieses Erfolgs. Das Papier wurde auf einem Workshop-Track angenommen, der in der Regel weniger strenge Standards hat als die Hauptkonferenz (60-70% Annahmerate im Vergleich zu 20-30% auf dem Hauptkonferenz-Track). Während dies die Bedeutung des Erfolgs nicht schmälert, zeigt es, dass die Produktion von wirklich bahnbrechender Forschung noch immer jenseits der aktuellen KI-Fähigkeiten liegt.

The AI Scientist-v2 zeigte auch einige Schwächen, die menschliche Forscher während des Überprüfungsprozesses identifizierten. Das System machte gelegentlich Zitierfehler, indem es Forschungsergebnisse falschen Autoren oder Veröffentlichungen zuordnete. Es hatte auch Schwierigkeiten mit einigen Aspekten des experimentellen Designs, die menschliche Experten anders angegangen wären.

Vielleicht am wichtigsten ist, dass die KI-generierte Forschung sich auf inkrementelle Verbesserungen konzentrierte und nicht auf paradigmatische Entdeckungen. Das System scheint eher in der Lage zu sein, gründliche Untersuchungen innerhalb etablierter Forschungsrahmen durchzuführen, als völlig neue Wege des wissenschaftlichen Denkens vorzuschlagen.

Der Weg vorwärts

Die erfolgreiche Peer-Review von KI-generierter Forschung ist der Beginn einer neuen Ära in der wissenschaftlichen Forschung. Wenn Grundmodell-Technologien weiter verbessert werden, können wir erwarten, dass The AI Scientist und ähnliche Systeme zunehmend sophisticatede Forschung produzieren, die menschliche Fähigkeiten in vielen Bereichen erreicht und möglicherweise übertrifft.

Das Forschungsteam erwartet, dass zukünftige Versionen in der Lage sein werden, Papiere zu produzieren, die die Annahme auf Top-Konferenzen und in Zeitschriften verdienen. Die logische Fortschreibung legt nahe, dass KI-Systeme möglicherweise zu bahnbrechenden Entdeckungen in Bereichen wie Medizin, Physik und Chemie beitragen können.

Diese Entwicklung wirft auch wichtige Fragen über Forschungsethik und Veröffentlichungsstandards auf. Die wissenschaftliche Gemeinschaft muss neue Normen für die Behandlung von KI-generierter Forschung entwickeln, einschließlich der Offenlegung von KI-Beteiligung und der Bewertung solcher Arbeiten im Vergleich zu menschlich generierter Forschung.

Die Transparenz, die das Forschungsteam in diesem Experiment demonstriert hat, bietet ein wertvolles Modell für die zukünftige Bewertung von KI-Forschung. Durch offene Zusammenarbeit mit Konferenzorganisatoren und die Unterwerfung ihrer KI-generierten Arbeit unter dieselben Standards wie menschliche Forschung haben sie wichtige Präzedenzfälle für die verantwortungsvolle Entwicklung von automatisierten Forschungsfähigkeiten geschaffen.

Das Fazit

Die Annahme eines von KI geschriebenen Papiers auf einem führenden Maschinellen Lern-Workshop ist ein bedeutender Fortschritt in den Fähigkeiten von KI. Obwohl die Arbeit noch nicht auf dem Niveau von Top-Konferenzen ist, zeigt sie eine klare Entwicklungslinie hin zu KI-Systemen, die ernsthafte Beiträge zur wissenschaftlichen Entdeckung leisten können. Die Herausforderung liegt nun nicht nur in der Weiterentwicklung der Technologie, sondern auch in der Gestaltung der ethischen und akademischen Rahmenbedingungen, die diese neue Forschungsfront regieren werden.