Agent Laboratory: Et Virtuelt Forskningshold af AMD og Johns Hopkins

Mens alle har snakket om AI-agenter og automatisering, har AMD og Johns Hopkins University arbejdet på at forbedre, hvordan mennesker og AI samarbejder i forskning. Deres nye open-source-ramme, Agent Laboratory, er en komplet genopfindelse af, hvordan videnskabelig forskning kan accelereres gennem menneske-AI-samarbejde.

Efter at have set på flere AI-forskningsrammer, står Agent Laboratory ud for sin praktiske tilgang. I stedet for at forsøge at erstatte menneskelige forskere (som mange eksisterende løsninger), fokuserer den på at udvide deres kapaciteter ved at håndtere de tidskrævende aspekter af forskningen, mens menneskerne bliver i førersædet.

Kernenovation her er simpel, men kraftfuld: I stedet for at forfølge fuldt automatiseret forskning (hvilket ofte fører til tvivlsomme resultater), skaber Agent Laboratory et virtuelt laboratorium, hvor flere specialiserede AI-agenter arbejder sammen, hver håndterer forskellige aspekter af forskningsprocessen, mens de bliver forankret til menneskelig vejledning.

Nedbrydning af det Virtuelle Laboratorium

Tænk på Agent Laboratory som et velkoordineret forskningshold, men med AI-agenter, der spiller specialiserede roller. Ligesom et rigtigt forskningslaboratorium, har hver agent specifikke ansvar og ekspertise:

• En PhD-agent tackler litteraturgennemgang og forskningsplanlægning
• Postdoc-agenter hjælper med at finpudse eksperimentelle tilgange
• ML-ingeniør-agenter håndterer den tekniske implementering
• Professor-agenter vurderer og scorer forskningsresultater

Det, der gør dette system særligt interessant, er dets arbejdsgang. I modsætning til traditionelle AI-værktøjer, der opererer i isolation, skaber Agent Laboratory et samarbejdsmiljø, hvor disse agenter interagerer og bygger på hinandens arbejde.

Processen følger en naturlig forskningsfremgang:

1. Litteraturgennemgang: PhD-agenten gennemgår akademiske artikler ved hjælp af arXiv API, samler og organiserer relevant forskning
2. Planlægning: PhD- og postdoc-agenter samarbejder om at oprette detaljerede forskningsplaner
3. Implementering: ML-ingeniør-agenter skriver og tester kode
4. Analyse & Dokumentation: Holdet arbejder sammen om at fortolke resultater og generere omfattende rapporter

Men her er, hvor det bliver rigtig praktisk: Rammen er beregningsflexibel, hvilket betyder, at forskere kan allokerer ressourcer baseret på deres adgang til beregningskraft og budgetbegrænsninger. Dette gør det til et værktøj, der er designet til rigtige forskningsmiljøer.

Schmidgall et al.

Det Menneskelige Element: Hvor AI Møder Ekspertise

Selv om Agent Laboratory har imponerende automatiseringsfunktioner, sker den virkelige magi i, hvad de kalder “co-pilot-mode”. I denne opsætning kan forskere give feedback på hvert stadium af processen, og skabe en ægte samarbejdende proces mellem menneskelig ekspertise og AI-assistance.

Co-pilot feedback-data afslører nogle interessante indsighter. I den autonome tilstand, scorede Agent Laboratory-genererede artikler i gennemsnit 3,8/10 i menneskelige vurderinger. Men når forskere deltog i co-pilot-mode, steg scoren til 4,38/10. Det, der er særligt interessant, er, hvor disse forbedringer dukkede op – artiklerne scorede betydeligt højere i klarhed (+0,23) og præsentation (+0,33).

Men her er virkelighedschecken: selv med menneskelig indblanding, scorede disse artikler stadig omkring 1,45 point under den gennemsnitlige accepterede NeurIPS-artikel (som ligger på 5,85). Dette er ikke et nederlag, men det er en væsentlig læring om, hvordan AI og menneskelig ekspertise skal supplere hinanden.

Vurderingen afslørede noget andet fascinerende: AI-vurderinger scorede konsekvent artikler om 2,3 point højere end menneskelige vurderinger. Denne forskel understreger, hvorfor menneskelig oversigt er afgørende i forskningsvurdering.

Schmidgall et al.

Nedbrydning af Tallene

Hvad betyder noget i et forskningsmiljø? Omkostningerne og ydelsen. Agent Laboratorys tilgang til model-sammenligning afslører nogle overraskende efficiensgevinster på dette område.

GPT-4o opstod som hastigheds-mester, og gennemførte hele arbejdsgangen på kun 1.165,4 sekunder – det er 3,2 gange hurtigere end o1-mini og 5,3 gange hurtigere end o1-preview. Men det, der er endnu mere vigtigt, er, at det kun koster 2,33 $ per artikel. I sammenligning med tidligere autonome forskningsmetoder, der kostede omkring 15 $, ser vi en reduktion på 84 %.

Settende på model-ydelse:

• o1-preview scorede højest i nyttighed og klarhed
• o1-mini opnåede de bedste eksperimentelle kvalitets-score
• GPT-4o lå efter i metrikker, men ledte i omkostningseffektivitet

De virkelige implikationer her er betydelige.

Forskere kan nu vælge deres tilgang baseret på deres specifikke behov:

• Behøver hurtig prototypering? GPT-4o tilbyder hastighed og omkostningseffektivitet
• Prioriterer eksperimentel kvalitet? o1-mini kan være det bedste valg
• Søger efter den mest polerede output? o1-preview viser løfte

Denne fleksibilitet betyder, at forskningshold kan tilpasse rammen til deres ressourcer og krav, i stedet for at være låst til en en-size-fits-all-løsning.

Et Nyt Kapitel i Forskning

Efter at have set på Agent Laboratorys kapaciteter og resultater, er jeg overbevist om, at vi ser på en betydelig ændring i, hvordan forskning vil blive udført. Men det er ikke erstatningsnarrativen, der ofte dominerer overskrifterne – det er noget langt mere nuanceret og kraftfuldt.

Selv om Agent Laboratorys artikler ikke endnu rammer topkonferencens standarder på egen hånd, skaber de en ny paradigm for forskningsacceleration. Tænk på det som at have et hold af AI-forskningsassistenter, der aldrig sover, hver specialiseret i forskellige aspekter af den videnskabelige proces.

Implikationerne for forskere er dybe:

• Tid, der bruges på litteraturgennemgang og grundlæggende kodning, kan omdirigeres til kreativ ideation
• Forskningsidéer, der måske ville være blevet lagt på hylden på grund af ressourcebegrænsninger, bliver nu mulige
• Evnen til at hurtigt prototypere og teste hypoteser kan føre til hurtigere gennembrud

Nuværende begrænsninger, som f.eks. forskellen mellem AI- og menneskelige vurderingsscore, er muligheder. Hver iteration af disse systemer bringer os tættere på mere sofistikeret forskningssamarbejde mellem mennesker og AI.

Settende fremad, ser jeg tre nøgleudviklinger, der kan forme videnskabelig opdagelse:

1. Mere sofistikeret menneske-AI-samarbejdsmønstre vil opstå, da forskere lærer at udnytte disse værktøjer effektivt
2. Omkostnings- og tidsbesparelser kan demokratisere forskning, så mindre laboratorier og institutioner kan forfølge mere ambitiøse projekter
3. Hurtig prototyperingskapaciteten kan føre til mere eksperimentelle tilgange i forskning

Nøglen til at maksimere denne potentiale? At forstå, at Agent Laboratory og lignende rammer er værktøjer til udvidelse, ikke automatisering. Fremtiden for forskning handler ikke om at vælge mellem menneskelig ekspertise og AI-kapaciteter – det handler om at finde innovative måder at kombinere dem på.