AI som forskare: Första vetenskapligt granskade forskningsartikel skriven utan människor

Artificiell intelligens har passerat ytterligare en viktig milstolpe som utmanar vår förståelse av vad maskiner kan åstadkomma på egen hand. För första gången i vetenskapens historia har ett AI-system skrivit en komplett forskningsartikel som har godkänts genom peer review vid en akademisk konferens utan någon mänsklig hjälp i skrivprocessen. Detta genombrott kan vara ett fundamentalt skifte i hur vetenskaplig forskning kan bedrivas i framtiden.

Historisk prestation

En artikel producerad av The AI-forskare-v2 godkände peer review-processen vid en workshop på en internationell toppkonferens inom AI. Forskningen lämnades in till en ICLR 2025 workshopen, som är en av de mest prestigefyllda platserna inom maskininlärning. Artikeln genererades med hjälp av en förbättrad version av originalet AI-forskare, kallad AI-forskaren-v2.

Det accepterade dokumentet, med titeln ”Kompositionell regularisering: Oväntade hinder för att förbättra generaliseringen av neurala nätverk”, fick imponerande betyg från mänskliga granskare. Av de tre artiklar som skickades in för granskning fick en betyg som placerade den över acceptansgränsen. Detta genombrott är ett betydande framsteg eftersom AI nu kan delta i den grundläggande processen för vetenskapliga upptäckter som har varit uteslutande mänsklig i århundraden.

Forskargruppen från Sakana AI, i samarbete med medarbetare från University of British Columbia och University of Oxford, genomförde detta experiment. De fick godkännande från den institutionella granskningsnämnden och arbetade direkt med ICLR-konferensarrangörerna för att säkerställa att experimentet följde korrekta vetenskapliga protokoll.

Så fungerar AI-forskaren-v2

AI Scientist-v2 har uppnått denna framgång tack vare flera stora framsteg jämfört med dess företrädareTill skillnad från sin föregångare eliminerar AI Scientist-v2 behovet av mänskligt skapade kodmallar, kan fungera över olika maskininlärningsdomäner och använder en trädsökmetod för att utforska flera forskningsvägar samtidigt.

Systemet fungerar genom en heltäckande process som speglar hur mänskliga forskare arbetar. Det börjar med att formulera vetenskapliga hypoteser baserade på det forskningsområde det har tilldelats att utforska. AI:n utformar sedan experiment för att testa dessa hypoteser, skriver den nödvändiga koden för att genomföra experimenten och kör dem automatiskt.

Det som gör det här systemet särskilt avancerat är dess användning av agentisk trädsökningsmetodik. Denna metod gör det möjligt för AI:n att utforska flera forskningsriktningar samtidigt, ungefär som hur mänskliga forskare kan överväga olika metoder för att lösa ett problem. Detta innebär att köra experiment via agentisk trädsökning, analysera resultat och generera ett utkast. En dedikerad experimentansvarig agent koordinerar hela processen för att säkerställa att forskningen förblir fokuserad och produktiv.

Systemet inkluderar också en förbättrad AI-granskare som använder vision-språk modeller att ge feedback på både innehållet och den visuella presentationen av forskningsresultat. Detta skapar en iterativ förfiningsprocess där AI:n kan förbättra sitt eget arbete baserat på feedback, liknande hur mänskliga forskare förfinar sina manuskript baserat på kollegors input.

Vad gjorde denna forskningsartikel speciell

Den accepterade artikeln fokuserade på ett utmanande problem inom maskininlärning som kallas kompositionell generaliseringDetta hänvisar till neurala nätverks förmåga att förstå och tillämpa inlärda koncept i nya kombinationer som de aldrig sett förut. AI Scientist-v2 undersökte nya regulariseringsmetoder som kan förbättra denna förmåga.

Intressant nog rapporterade artikeln även negativa resultat. AI:n upptäckte att vissa tillvägagångssätt som den antog skulle förbättra neurala nätverks prestanda faktiskt skapade oväntade hinder. Inom vetenskapen är negativa resultat värdefulla eftersom de hindrar andra forskare från att följa improduktiva vägar och bidrar till vår förståelse av vad som inte fungerar.

Forskningen följde rigorösa vetenskapliga standarder genom hela processen. AI Scientist-v2 genomförde flera experiment för att säkerställa statistisk validitet, skapade tydliga visualiseringar av sina resultat och citerade korrekt relevant tidigare arbete. Hela manuskriptet formaterades enligt akademiska standarder och skrev omfattande diskussioner om sin metod och sina resultat.

De mänskliga forskarna som övervakade projektet genomförde sin egen grundliga granskning av alla tre genererade artiklar. De fann att även om den accepterade artikeln var av workshopkvalitet, innehöll den vissa tekniska problem som skulle förhindra godkännande vid huvudkonferensens spår. Denna ärliga bedömning visar de nuvarande begränsningarna samtidigt som den erkänner de betydande framsteg som gjorts.

Tekniska funktioner och förbättringar

AI Scientist-v2 uppvisar flera anmärkningsvärda tekniska funktioner som skiljer den från tidigare automatiserade forskningssystem. Systemet kan fungera inom olika maskininlärningsområden utan att kräva förskrivna kodmallar. Denna flexibilitet innebär att den kan anpassa sig till nya forskningsområden och generera originella experimentella metoder snarare än att följa förutbestämda mönster.

Trädsökningsmetoden är en betydande innovation inom automatisering av AI-forskning. Istället för att följa en enda forskningsriktning kan systemet upprätthålla flera hypoteser samtidigt och allokera beräkningsresurser baserat på vad varje riktning lovar. Denna metod speglar hur erfarna mänskliga forskare ofta upprätthåller flera forskningstrådar samtidigt som de fokuserar mest på de mest lovande vägarna.

En annan avgörande förbättring är integrationen av visionsspråksmodeller för att granska och förfina de visuella elementen i forskningsartiklar. Vetenskapliga figurer och visualiseringar är avgörande för att effektivt kommunicera forskningsresultat. AI:n kan nu utvärdera och förbättra sina egna datavisualiseringar iterativt.

Systemet visar också förståelse för vetenskapliga skrivkonventioner. Det strukturerar artiklar korrekt med lämpliga avsnitt, upprätthåller konsekvent terminologi genom hela manuskriptet och skapar ett logiskt flöde mellan olika delar av forskningsberättelsen. AI:n visar medvetenhet om hur man presenterar metodologi, diskuterar begränsningar och kontextualiserar resultat inom befintlig litteratur.

Aktuella begränsningar och utmaningar

Trots denna historiska prestation begränsar flera viktiga begränsningar den nuvarande kapaciteten för AI-genererad forskning. Företaget uppgav att ingen av deras AI-genererade studier klarade deras interna standard för ICLR:s konferenspublikationsstandarder. Detta indikerar att även om AI kan producera forskning av workshopkvalitet, är det fortfarande svårt att nå de högsta nivåerna av vetenskaplig publicering.

Antagningsgraden ger ett viktigt sammanhang för att utvärdera denna prestation. Artikeln accepterades vid ett workshopspår, vilket vanligtvis har mindre strikta krav än huvudkonferensen (60–70 % antagningsgrad jämfört med de 20–30 % som är typiska för huvudkonferensspår). Även om detta inte minskar betydelsen av prestationen, tyder det på att det fortfarande är möjligt att producera verkligt banbrytande forskning inom AI:s nuvarande möjligheter.

AI Scientist-v2 uppvisade också vissa svagheter som mänskliga forskare identifierat under sin granskningsprocess. Systemet gjorde ibland citeringsfel, vilket tillskrev forskningsresultat till felaktiga författare eller publikationer. Det hade också problem med vissa aspekter av experimentell design som mänskliga experter skulle ha hanterat annorlunda.

Kanske viktigast av allt fokuserade den AI-genererade forskningen på stegvisa förbättringar snarare än paradigmskiftande upptäckter. Systemet verkar mer kapabelt att genomföra grundliga undersökningar inom etablerade forskningsramar än att föreslå helt nya sätt att tänka kring vetenskapliga problem.

Vägen framför

Den framgångsrika expertgranskningen av AI-genererad forskning är början på en ny era inom vetenskaplig forskning. I takt med att grundmodellerna fortsätter att förbättras kan vi förvänta oss att The AI ​​Scientist och liknande system kommer att producera alltmer sofistikerad forskning som närmar sig och potentiellt överträffar mänskliga förmågor inom många områden.

Forskargruppen förväntar sig att framtida versioner kommer att kunna producera artiklar värda att accepteras vid konferenser och tidskrifter i toppklass. Den logiska utvecklingen tyder på att AI-system så småningom kan bidra till banbrytande upptäckter inom områden som sträcker sig från medicin till fysik och kemi.

Denna utveckling väcker också viktiga frågor om forskningsetik och publikationsstandarder. Vetenskapssamhället måste utveckla nya normer för att hantera AI-genererad forskning, inklusive när och hur man ska redovisa AI-inblandning och hur man ska utvärdera sådant arbete tillsammans med mänskligt genererad forskning.

Den transparens som forskargruppen visat i detta experiment ger en värdefull modell för framtida utvärdering av AI-forskning. Genom att arbeta öppet med konferensarrangörer och utsätta deras AI-genererade arbete för samma standarder som mänsklig forskning har de skapat viktiga prejudikat för ansvarsfull utveckling av automatiserade forskningsfunktioner.

The Bottom Line

Att en artikel skriven om AI har tagits emot vid en ledande workshop om maskininlärning är ett betydande framsteg inom AI-kapacitet. Även om arbetet ännu inte har nått en toppkonferens, visar det en tydlig riktning mot att AI-system ska bli seriösa bidragsgivare till vetenskapliga upptäckter. Utmaningen ligger nu inte bara i att utveckla tekniken utan också i att forma de etiska och akademiska ramverk som kommer att styra denna nya forskningsfront.