AI als onderzoeker: eerste peer-reviewed onderzoeksartikel zonder menselijke tussenkomst

Kunstmatige intelligentie heeft een nieuwe mijlpaal bereikt die onze kennis van wat machines onafhankelijk kunnen bereiken, uitdaagt. Voor het eerst in de wetenschappelijke geschiedenis heeft een AI-systeem een complete onderzoeksartikel geschreven dat de peer-reviewprocedure bij een academische conferentie heeft doorstaan zonder enige menselijke hulp bij het schrijfproces. Deze doorbraak kan een fundamentele verschuiving zijn in de manier waarop wetenschappelijk onderzoek in de toekomst wordt uitgevoerd.

Historische prestatie

Een artikel dat is gegenereerd door The AI Scientist-v2 heeft de peer-reviewprocedure doorstaan bij een workshop op een topinternationale AI-conferentie. Het onderzoek is ingediend bij een ICLR 2025-workshop, wat een van de meest prestigieuze venues is in machine learning. Het artikel is gegenereerd door een verbeterde versie van de oorspronkelijke AI Scientist, genaamd The AI Scientist-v2.

Het geaccepteerde artikel, getiteld “Compositional Regularization: onverwachte obstakels bij het verbeteren van de generalisatie van neurale netwerken“, heeft indrukwekkende scores ontvangen van menselijke reviewers. Van de drie artikelen die zijn ingediend voor review, heeft één artikel scores ontvangen die het boven de acceptatiedrempel plaatsten. Deze doorbraak is een significante vooruitgang, aangezien AI nu kan deelnemen aan het fundamentele proces van wetenschappelijke ontdekking dat eeuwenlang exclusief menselijk is geweest.

Het onderzoeksteam van Sakana AI, dat samenwerkte met medewerkers van de University of British Columbia en de University of Oxford, voerde dit experiment uit. Zij ontvingen goedkeuring van de institutionele reviewboard en werkten rechtstreeks met de ICLR-conferentieorganisatoren om ervoor te zorgen dat het experiment de juiste wetenschappelijke protocollen volgde.

Hoe The AI Scientist-v2 werkt

The AI Scientist-v2 heeft deze succes behaald dankzij verschillende belangrijke verbeteringen ten opzichte van zijn voorganger. In tegenstelling tot zijn voorganger, elimineert AI Scientist-v2 de noodzaak voor door mensen geschreven code-templates, kan het werken in diverse machine learning-domeinen en maakt het gebruik van een tree-search-methode om meerdere onderzoeksrichtingen tegelijk te onderzoeken.

Het systeem werkt via een end-to-end-proces dat spiegelt hoe menselijke onderzoekers werken. Het begint met het formuleren van wetenschappelijke hypothesen op basis van het onderzoeksgebied dat het is toegewezen om te onderzoeken. De AI ontwerpt vervolgens experimenten om deze hypothesen te testen, schrijft de noodzakelijke code om de experimenten uit te voeren en voert ze automatisch uit.

Wat dit systeem bijzonder geavanceerd maakt, is het gebruik van agentic tree search-methode. Deze benadering stelt de AI in staat om meerdere onderzoeksrichtingen tegelijk te onderzoeken, net zoals menselijke onderzoekers verschillende benaderingen zouden overwegen om een probleem op te lossen. Dit omvat het uitvoeren van experimenten via agentic tree search, het analyseren van resultaten en het genereren van een paper-ontwerp. Een toegewezen experiment-manager-agent coördineert dit hele proces om ervoor te zorgen dat het onderzoek gefocust en productief blijft.

Het systeem bevat ook een verbeterde AI-reviewer-component die vision-language-modellen gebruikt om feedback te geven op zowel de inhoud als de visuele presentatie van onderzoeksresultaten. Dit creëert een iteratief verbeteringsproces waarin de AI zijn eigen werk kan verbeteren op basis van feedback, net zoals menselijke onderzoekers hun manuscripten verbeteren op basis van feedback van collega’s.

Wat dit onderzoeksartikel speciaal maakte

Het geaccepteerde artikel richtte zich op een moeilijk probleem in machine learning, genaamd compositional generalization. Dit verwijst naar de mogelijkheid van neurale netwerken om geleerde concepten te begrijpen en toe te passen in nieuwe combinaties die ze nog nooit eerder hebben gezien. The AI Scientist-v2 onderzocht nieuwe regularisatiemethoden die deze mogelijkheid zouden kunnen verbeteren.

Interessant is dat het artikel ook negatieve resultaten rapporteerde. De AI ontdekte dat bepaalde benaderingen die het had gehypothetiseerd om de prestaties van neurale netwerken te verbeteren, eigenlijk onverwachte obstakels creëerden. In de wetenschap zijn negatieve resultaten waardevol, omdat ze andere onderzoekers ervan weerhouden om onproductieve paden te volgen en bijdragen aan ons begrip van wat niet werkt.

Het onderzoek volgde strikte wetenschappelijke normen gedurende het hele proces. The AI Scientist-v2 voerde meerdere experimentele runs uit om statistische validiteit te garanderen, creëerde duidelijke visualisaties van zijn bevindingen en citeerde relevante eerdere werk op de juiste manier. Het formateerde het hele manuscript volgens academische normen en schreef uitgebreide discussies over zijn methodologie en bevindingen.

De menselijke onderzoekers die het project begeleidden, voerden hun eigen grondige review van alle drie gegenereerde artikelen uit. Zij vonden dat het geaccepteerde artikel van workshopkwaliteit was, maar dat het enkele technische problemen bevatte die het zouden verhinderen om aan de hoofdconferentie te worden aanvaard. Deze eerlijke beoordeling toont de huidige beperkingen aan, terwijl het tegelijkertijd de significante vooruitgang erkent.

Technische capaciteiten en verbeteringen

The AI Scientist-v2 toont verschillende opmerkelijke technische capaciteiten die het onderscheiden van eerdere geautomatiseerde onderzoeks-systemen. Het systeem kan werken in diverse machine learning-domeinen zonder vooraf geschreven code-templates nodig te hebben. Deze flexibiliteit betekent dat het zich kan aanpassen aan nieuwe onderzoeksgebieden en originele experimentele benaderingen kan genereren in plaats van vooraf bepaalde patronen te volgen.

De tree search-methode is een significante innovatie in AI-onderzoeksautomatisering. In plaats van één onderzoeksrichting te volgen, kan het systeem meerdere hypothesen tegelijk onderzoeken en computermiddelen toewijzen op basis van de belofte die elke richting laat zien. Deze benadering spiegelt de manier waarop ervaren menselijke onderzoekers vaak meerdere onderzoekslijnen onderhouden, terwijl ze het meeste van hun inspanningen richten op de meest veelbelovende richtingen.

Een andere cruciale verbetering is de integratie van vision-language-modellen voor het beoordelen en verbeteren van de visuele elementen van onderzoeksartikelen. Wetenschappelijke figuren en visualisaties zijn essentieel voor het effectief communiceren van onderzoeksbevindingen. De AI kan nu zijn eigen gegevensvisualisaties iteratief evalueren en verbeteren.

Het systeem toont ook een begrip van wetenschappelijke schrijfconventies. Het structureert artikelen met de juiste secties, houdt consistentie in terminologie gedurende het hele manuscript en creëert een logische flow tussen verschillende delen van het onderzoeksverhaal. De AI toont zich bewust van hoe methodologie, beperkingen en bevindingen binnen bestaande literatuur moeten worden gepresenteerd.

Huidige beperkingen en uitdagingen

Ondanks deze historische prestatie, zijn er verschillende belangrijke beperkingen die de huidige capaciteiten van AI-gegenereerd onderzoek beperken. Het bedrijf zei dat geen van zijn AI-gegenereerde studies de interne standaard voor ICLR-conferentiepublicaties heeft gehaald. Dit geeft aan dat, hoewel de AI workshopkwaliteit onderzoek kan produceren, het bereiken van de hoogste niveaus van wetenschappelijke publicatie nog steeds een uitdaging is.

De acceptatiepercentages bieden belangrijke context voor het evalueren van deze prestatie. Het artikel werd geaccepteerd bij een workshop, wat doorgaans minder strikte standaarden heeft dan de hoofdconferentie (60-70% acceptatiepercentage versus 20-30% acceptatiepercentages typisch voor hoofdconferentie-tracks). Hoewel dit de significante prestatie niet vermindert, suggereert het dat het produceren van echt baanbrekend onderzoek nog steeds buiten de huidige AI-mogelijkheden ligt.

The AI Scientist-v2 toonde ook enkele zwakheden die menselijke onderzoekers tijdens hun reviewproces identificeerden. Het systeem maakte soms citatiefouten, waarbij onderzoeksbevindingen werden toegeschreven aan onjuiste auteurs of publicaties. Het had ook moeite met sommige aspecten van experimenteel ontwerp die menselijke experts anders zouden hebben aangepakt.

Misschien wel het belangrijkste is dat het AI-gegenereerde onderzoek zich richtte op incrementele verbeteringen in plaats van paradigmaverschuivinge ontdekkingen. Het systeem lijkt meer in staat om grondige onderzoeken uit te voeren binnen gevestigde onderzoeksframeworks dan om geheel nieuwe manieren van denken over wetenschappelijke problemen voor te stellen.

De weg vooruit

De succesvolle peer-review van AI-gegenereerd onderzoek is het begin van een nieuwe era in wetenschappelijk onderzoek. Naarmate foundation-modellen blijven verbeteren, kunnen we verwachten dat The AI Scientist en soortgelijke systemen steeds geavanceerder onderzoek zullen produceren dat de capaciteiten van mensen in veel domeinen benadert en mogelijk overtreft.

Het onderzoeksteam verwacht dat toekomstige versies in staat zullen zijn om artikelen te produceren die waardig zijn om aan topconferenties en tijdschriften te worden aanvaard. De logische voortgang suggereert dat AI-systemen uiteindelijk kunnen bijdragen aan baanbrekende ontdekkingen in domeinen die variëren van geneeskunde tot natuurkunde tot scheikunde.

Deze ontwikkeling roept ook belangrijke vragen op over onderzoeksethiek en publicatiestandaarden. De wetenschappelijke gemeenschap moet nieuwe normen ontwikkelen voor het omgaan met AI-gegenereerd onderzoek, inclusief wanneer en hoe AI-betrokkenheid moet worden onthuld en hoe dergelijk werk moet worden geëvalueerd naast door mensen gegenereerd onderzoek.

De transparantie die het onderzoeksteam in dit experiment heeft getoond, biedt een waardevol model voor de toekomstige evaluatie van AI-onderzoek. Door openlijk te werken met conferentieorganisatoren en hun AI-gegenereerde werk te onderwerpen aan dezelfde standaarden als menselijk onderzoek, hebben zij belangrijke precedenten gecreëerd voor de verantwoorde ontwikkeling van geautomatiseerde onderzoeks capaciteiten.

De bottom line

De acceptatie van een AI-gegenereerd artikel op een toonaangevende machine learning-workshop is een significante vooruitgang in AI-capaciteiten. Hoewel het werk nog niet op het niveau is van topconferenties, toont het een duidelijke traject naar AI-systemen die serieuze bijdragen kunnen leveren aan wetenschappelijke ontdekking. De uitdaging ligt nu niet alleen in het verbeteren van de technologie, maar ook in het vormgeven van de ethische en academische kaders die deze nieuwe onderzoeksrichting zullen besturen.