Hvor gode er AI-agenter til ekte forskning? Innside Deep Research Bench-rapporten

Ettersom store språkmodeller (LLM) raskt utvikler seg, øker også deres potensiale som kraftfulle forskningsassistenter. Mer og mer tar de ikke bare imot enkle faktiske spørsmål – de takler “dypt forsknings” oppgaver, som innebærer flertrinns resonnering, evaluering av motstridende informasjon, kilde til data fra hele nettet og syntetisering av dem til en sammenhengende utgang.

Denne nye evnen markedsføres nå under forskjellige varemerker av store laboratorier – OpenAI kaller det “Dyp forskning”, Anthropic refererer til det som “Utvidet tenkning”, Google’s Gemini tilbyr “Søk + Pro”-funksjoner, og Perplexity merker det som “Pro Søk” eller “Dyp forskning”. Men hvor effektive er disse tilbudene i praksis? En ny rapport fra FutureSearch, med tittelen Deep Research Bench (DRB): Evaluering av webbaserte forskningsagenter, tilbyr den mest omfattende evalueringen hittil – og resultatene avslører både imponerende evner og kritiske mangler.

Hva er Deep Research Bench?

Skapt av FutureSearch-teamet, er Deep Research Bench en nøye konstruert benchmark designet for å vurdere AI-agenter sin ytelse på flertrinns, webbaserte forskningsoppgaver. Disse er ikke enkle spørsmål med rett fremhåndsgripelige svar – de reflekterer de urene, åpne utfordringer som møter analytikere, beslutningstakere og forskere i virkelige verdenssettinger.

Benchmarken inkluderer 89 distinkte oppgaver over 8 kategorier som:

• Finn tall: f.eks. “Hvor mange FDA-klassifiserte medisinske apparat-tilbaketrekninger fant sted?”
• Valider påstand: f.eks. “Er ChatGPT 10 ganger mer energikrevende enn Google Søk?”
• Sammenstilling av datasett: f.eks. “Trend for jobb i USAs programvareutvikling fra 2019–2023”

Hver oppgavetype er nøye strukturert med menneske-verifiserte svar og evaluert ved hjelp av en frosset datasett av skrapede nettsider, kjent som RetroSearch. Dette sikrer konsistens over modell-evalueringer, og unngår den fluktuerte tilstanden til det levende nettet.

Agent-arkitekturen: ReAct og RetroSearch

I hjertet av Deep Research Bench ligger ReAct-arkitekturen, forkortet for “Reason + Act.” Denne metoden ligner på hvordan en menneskelig forsker kan takle et problem – ved å tenke gjennom oppgaven, utføre en handling som å utføre en nett-søk, observere resultater og deretter bestemme om å iterere eller konkludere.

Mens tidligere modeller følger denne løkken eksplisitt, strømlinjeformer nyere “tenkende” modeller ofte prosessen, og integrerer resonnering mer flytende i sine handlinger. For å sikre konsistens over evalueringer, introduserer DRB RetroSearch – en tilpasset, statisk versjon av nettet. I stedet for å stole på det levende internettet, som konstant endrer seg, trekker agenter på en kurert arkiv av nettsider skrapet med verktøy som Serper, Playwright, og ScraperAPI. Skalene er imponerende: for høy-kompleksitetsoppgaver som “Samle bevis”, kan RetroSearch gi tilgang til over 189 000 sider, alle frosset i tid, og sikre en rettferdig og reproduserbar testmiljø.

Hvilke AI-agenter utfører best?

Blant alle deltakerne, kom OpenAI’s o3 ut som den beste utføreren, med en score på 0,51 av en mulig 1,0 på Deep Research Bench. Selv om dette kan høres beskjedent ut, er det viktig å forstå benchmarkets vanskelighetsgrad: på grunn av tvetydighet i oppgave-definisjoner og scoring, ville selv en feilfri agent sannsynligvis toppes ut rundt 0,8 – det som forskerne kaller “støy-taket.” Med andre ord, selv de beste modellene i dag faller kort av velinformerte, metodiske menneskelige forskere.

Likevel tilbyr ledertavlen avslørende innsikt. o3 ledet ikke bare pakken, men gjorde det med hastighet og konsistens, og viste sterk ytelse over nesten alle oppgavetyper. Claude 3.7 Sonnet fra Anthropic fulgte tett, og viste fleksibilitet i både “tenkende” og “ikke-tenkende” moduser. Gemini 2.5 Pro, Google’s flaggskip-modell, sto ut for sin evne til å håndtere oppgaver som krever strukturert planlegging og steg-for-steg resonnering. I mellomtiden leverte den åpne vekt-DeepSeek-R1 en behagelig overraskelse – den holdt tritt med GPT-4 Turbo og reduserte ytelsesgapet mellom åpne og lukkede modeller.

Over hele tavlen, oppstod et tydelig mønster: nyere, “tenkende-aktiverede” modeller utførte konsekvent bedre enn deres tidligere motparter, og lukkede modeller opprettholdt en merkbart fordel over åpne vekt-alternativer.

Hvor strugler agenter?

Å lese gjennom feil-mønsterene som er fremhevet i Deep Research Bench-rapporten, føltes overraskende bekjent. En av de mest frustrerende aspektene jeg personlig har møtt – spesielt under lange forsknings- eller innholdsskapselsesessioner – er når en AI-agent bare glemmer hva vi gjorde. Etterhvert som kontekst-vinduet strekkes, begynner modellen ofte å tape tråden: nøkkel-detaljer forsvinner, mål blir uklare, og plutselig føles svarene ukoordinerte eller mål-løse. På et visst tidspunkt har jeg lært at det ofte er bedre å kutte tapene og starte på nytt, selv om det betyr å kaste bort alt som er generert så langt.

Denne glemmingen er ikke bare anekdotisk – det er den viktigste forutsigeren for feil i Deep Research Bench-evalueringen. Men det er ikke det eneste gjentakende problemet. Rapporten fremhever også hvordan noen modeller faller inn i gjentakende verktøy-bruk, kjører samme søk om og om igjen som om de er fanget i en løkke. Andre viser dårlig spørsmåls-konstruksjon, og matcher nøkkelord i stedet for å tenke kritisk om hvordan å søke effektivt. Og for ofte faller agenter ofre for forhastede konklusjoner – leverer et halv-ferdig svar som teknisk sett sjekker boksen, men faller kort av ekte innsikt.

Selv blant de beste modellene, er forskjellene markante. GPT-4 Turbo, for eksempel, viste en merkbart tendens til å glemme tidligere trinn, mens DeepSeek-R1 var mer sannsynlig til å hallusinere eller oppfinne plausibelt-lydende – men feilaktige – informasjon. Over hele tavlen, feilet modellene ofte å kryss-sjekke kilder eller validere funn før de finaliserte sine utgang. For alle som har avhengig av AI for alvorlig arbeid, vil disse problemene føles alt for kjente – og de understreker hvor langt vi ennå har å gå i å bygge agenter som kan virkelig tenke og forskere som mennesker.

Hva med minne-basert ytelse?

Interessant nok, evaluerte Deep Research Bench også hva de kalte “verktøy-løse” agenter – språkmodeller som opererte uten noen tilgang til eksterne verktøy, som nett-søk eller dokument-gjenkalling. Disse agentene baserer seg fullstendig på deres interne treningsdata og minne, og genererer svar basert bare på hva de tidligere har lært under trening. I praksis betyr dette at de ikke kan se noe opp eller verifisere informasjon – de gjettar basert på hva de “husker”.

Overraskende, utførte disse verktøy-løse agentene nesten like godt som fullstendige forskningsagenter på visse oppgaver. For eksempel, på Validate Claim-oppgaven – hvor målet er å vurdere plausibiliteten av en uttalelse – scoret de 0,61, nesten like godt som 0,62-gjennomsnittet for verktøy-aktiverede agenter. Dette antyder at modeller som o3 og Claude har sterke interne prioriteringer og kan ofte gjenkjenne sannheten i vanlige påstander uten å måtte søke på nettet.

Men på mer krevende oppgaver – som Derive Number, som krever å sette sammen flere verdier fra forskjellige kilder, eller Gather Evidence, som avhenger av å finne og evaluere diverse fakta i kontekst – feilet disse verktøy-løse modellene fullstendig. Uten fersk informasjon eller sanntids-søke-egenskaper, manglet de bare midlene til å produsere nøyaktige eller omfattende svar.

Denne kontrasten understreker en viktig nuanse: mens dagens LLM-er kan simulere “å vite” mye, avhenger dyp forskning ikke bare på gjenkalling, men på resonnering med oppdatert, verifiserbar informasjon – noe bare verktøy-forbedrede agenter kan virkelig levere.

Slutt tanker

DRB-rapporten gjør en ting klar: mens dagens beste AI-agenter kan overgå gjennomsnittlige mennesker på snevert definerte oppgaver, ligger de ennå bak dyktige generalist-forskere – spesielt når det kommer til å planlegge strategisk, tilpasse seg midt i prosessen og resonere med nyanser.

Denne gapet blir spesielt tydelig under lange eller komplekse sesjoner – noe jeg har erfart personlig, hvor en agent gradvis mister spor av oppgavens formål, og fører til en frustrerende sammenbrudd i kohesjon og nytte.

Hva gjør Deep Research Bench så verdifullt, er at den ikke bare tester overflatenivå-kunnskap – den tester skjæringspunktet mellom verktøy-bruk, minne, resonnering og tilpasning, og tilbyr en nærmere analog til virkelige forskningsmiljøer enn benchmarkene MMLU eller GSM8k.

Ettersom LLM-er fortsetter å integrere i alvorlig kunnskapsarbeid, vil FutureSearch-verktøy som DRB være essensielle for å vurdere ikke bare hva disse systemene vet, men hvordan de faktisk fungerer.

Dette er slutten på artikkelen.