Hur bra är AI-agenter på riktigt forskning? Inuti Deep Research Bench-rapporten

Medan stora språkmodeller (LLM) utvecklas snabbt, ökar också deras potential som kraftfulla forskningsassistenter. Alltmer så tar de sig an “djupgående forskning” -uppgifter, som innefattar flerstegs resonemang, utvärdering av motsägelsefull information, datainsamling från hela webben och syntes av den till en sammanhängande utdata.

Denna framväxande förmåga marknadsförs nu under olika varumärkesnamn av stora laboratorier – OpenAI kallar det “Deep Research”, Anthropic hänvisar till det som “Extended Thinking”, Googles Gemini erbjuder “Sök + Pro”-funktioner och Perplexity märker sitt som “Pro Search” eller “Deep Research”. Men hur effektiva är dessa erbjudanden i praktiken? En ny rapport från FutureSearch, med titeln Deep Research Bench (DRB): Utvärdering av webbforskningsagenter, erbjuder den mest rigorösa utvärderingen hittills – och resultaten visar både imponerande förmågor och kritiska brister.

Vad är Deep Research Bench?

Skapad av FutureSearch-teamet är Deep Research Bench en noggrant konstruerad benchmark för att utvärdera AI-agenter för prestation på flerstegs webbaserade forskningsuppgifter. Dessa är inte enkla frågor med raka svar – de återspeglar de smutsiga, öppna utmaningar som analytiker, beslutsfattare och forskare står inför i verkliga miljöer.

Benchmarken innehåller 89 distinkta uppgifter i 8 kategorier, såsom:

• Hitta nummer: t.ex. “Hur många FDA-klass II-medical enhetsåterkallanden inträffade?”
• Validera påstående: t.ex. “Är ChatGPT 10 gånger mer energikrävande än Google (GOOGL ) Sök?”
• Sammanställ dataset: t.ex. “Jobbtrender för amerikanska mjukvaruutvecklare från 2019-2023”

Varje uppgiftstyp är noggrant strukturerad med mänskligt validerade svar och utvärderas med en frusen dataset av skrapade webbsidor, känd som RetroSearch. Detta säkerställer konsekvens över modellutvärderingar, undviker den fluktuerande tillståndet på den levande webben.

Agentarkitekturen: ReAct och RetroSearch

I hjärtat av Deep Research Bench ligger ReAct-arkitekturen, en förkortning för “Reason + Act.” Denna metod imiterar hur en mänsklig forskare kan tackla ett problem – genom att tänka igenom uppgiften, utföra en åtgärd som att utföra en webbsökning, observera resultaten och sedan bestämma om att iterera eller slutföra.

Medan tidigare modeller följer denna loop explicit, strömmar nyare “tänkande” modeller ofta processen, inbäddar resonemang mer flytande i deras handlingar. För att säkerställa konsekvens över utvärderingar introducerar DRB RetroSearch – en anpassad, statisk version av webben. Istället för att förlita sig på den levande internet, som ständigt förändras, använder agenter en kuraterad arkiv av webbsidor som skrapats med hjälp av verktyg som Serper, Playwright och ScraperAPI. Skalan är imponerande: för högkomplexa uppgifter som “Samla bevis” kan RetroSearch tillhandahålla tillgång till över 189 000 sidor, alla frusna i tiden, vilket säkerställer en rättvis och replikerbar testmiljö.

Vilka AI-agenter presterar bäst?

Bland alla deltagare framträdde OpenAI:s o3 som den bästa presteraren, med en poäng på 0,51 av en möjlig 1,0 på Deep Research Bench. Även om det kan låta blygsamt är det viktigt att förstå benchmarkens svårighetsgrad: på grund av oklarhet i uppgiftsdefinitioner och poängsättning skulle till och med en perfekt agent sannolikt nå en topp på 0,8 – vad forskare kallar “brus taket.” Med andra ord är även de bästa modellerna idag fortfarande långt ifrån välinformerade, metodiska mänskliga forskare.

Ändå erbjuder ledartavlan avslöjande insikter. o3 ledde inte bara paketen utan gjorde det med hastighet och konsekvens, visade stark prestanda över nästan alla uppgiftstyper. Claude 3.7 Sonnet från Anthropic följde nära, visade flexibilitet i både “tänkande” och “icke-tänkande” lägen. Gemini 2.5 Pro, Googles flaggskeppmodell, stack ut för sin förmåga att hantera uppgifter som kräver strukturerad planering och steg-för-steg resonemang. Medan den öppna vikt-DeepSeek-R1 levererade en trevlig överraskning – höll jämna steg med GPT-4 Turbo och minskade prestandagapet mellan öppna och stängda modeller.

Över hela tavlan framträdde ett tydligt mönster: nyare, “tänkande-aktiverade” modeller presterade konsekvent bättre än sina tidigare motsvarigheter, och stängda modeller upprätthöll en anmärkningsvärd fördel gentemot öppna alternativ.

Där kämpar agenter?

Att läsa igenom misslyckandemönstren som framhävs i Deep Research Bench-rapporten kändes förvånansvärt bekant. En av de mest frustrerande aspekterna jag personligen har stött på – särskilt under långa forsknings- eller innehållsskapande sessioner – är när en AI-agent helt enkelt glömmer vad vi gjorde. När kontextfönstret sträcks, börjar modellen ofta förlora tråden: viktiga detaljer bleknar, mål blir otydliga och plötsligt känns svaren ojämnt eller syfteslöst. Vid någon punkt har jag lärt mig att det ofta är bättre att skära förlusterna och börja om från scratch, även om det innebär att kasta bort allt som har genererats hittills.

Den glömskan är inte bara anekdotisk – det är den mest signifikanta prediktorn för misslyckande i Deep Research Bench-utvärderingen. Men det är inte den enda återkommande frågan. Rapporten betonar också hur vissa modeller faller i upprepad verktygsanvändning, kör samma sökning om och om igen som om de är fast i en loop. Andra visar dålig frågekonstruktion, lata keyword-matcher istället för att tänka kritiskt om hur man ska söka effektivt. Och alltför ofta faller agenter offer för för tidiga slutsatser – levererar ett halvfärdigt svar som tekniskt sett kryssar i rutan men saknar verklig insikt.

Även bland de bästa modellerna är skillnaderna slående. GPT-4 Turbo visade till exempel en påtaglig tendens att glömma tidigare steg, medan DeepSeek-R1 var mer benägen att hallucinera eller uppfinna trovärdiga, men felaktiga, uppgifter. Över hela tavlan misslyckades modeller ofta med att kontrollera källor eller validera resultat innan de slutförde sin utdata. För alla som har förlitat sig på AI för allvarligt arbete kommer dessa problem att kännas alltför bekanta – och de understryker hur långt vi fortfarande har att gå för att bygga agenter som kan tänka och forska som människor.

Vad gäller minnesbaserad prestanda?

Intressant nog utvärderade Deep Research Bench också vad de kallar “verktygsfria” agenter – språkmodeller som fungerar utan tillgång till externa verktyg, såsom webbsökning eller dokumentåterställning. Dessa agenter förlitar sig helt på sin interna träningsdata och minne, genererar svar baserat enbart på vad de tidigare har lärt sig under träningsprocessen. I praktiken betyder det att de inte kan leta upp någonting eller verifiera information – de gissar baserat på vad de “minns”.

Förvånansvärt nog presterade dessa verktygsfria agenter nästan lika bra som fullständiga forskningsagenter på vissa uppgifter. Till exempel på uppgiften Validera påstående – där målet är att bedöma trovärdigheten hos ett påstående – fick de en poäng på 0,61, nästan matchande den genomsnittliga poängen på 0,62 för verktygsaktiverade agenter. Detta tyder på att modeller som o3 och Claude har starka interna prioriteringar och ofta kan känna igen sanningen i vanliga påståenden utan att behöva söka på webben.

Men på mer krävande uppgifter – som Att härleda nummer, som kräver att man sätter samman flera värden från olika källor, eller Samla bevis, som beror på att hitta och utvärdera diversifierade fakta i kontext – kollapsade dessa verktygsfria modeller helt. Utan färsk information eller realtidsuppslagsmöjligheter saknade de helt enkelt medlen att producera precisa eller omfattande svar.

Denna kontrast betonar en viktig nyans: medan dagens LLM kan simulera “att veta” mycket, beror djupgående forskning inte bara på återkallande, utan på resonemang med uppdaterad, verifierbar information – något som endast verktygsförstärkta agenter kan leverera.

Slutliga tankar

DRB-rapporten gör en sak tydlig: medan dagens bästa AI-agenter kan överträffa genomsnittliga människor på snävt definierade uppgifter, ligger de fortfarande efter skickliga allmänna forskare – särskilt när det gäller att planera strategiskt, anpassa sig under processen och resonera med nyans.

Detta gap blir särskilt uppenbart under långa eller komplexa sessioner – något jag har upplevt personligen, där en agent gradvis förlorar uppgiftens syfte, vilket leder till en frustrerande sammanbrott i sammanhang och nytta.

Vad som gör Deep Research Bench så värdefullt är att den inte bara testar ytnivåkunskap – den provar korsningen av verktygsanvändning, minne, resonemang och anpassning, och erbjuder en närmare analog till verklig forskning än benchmark som MMLU eller GSM8k.

Medan LLM fortsätter att integreras i allvarligt kunskapsarbete kommer FutureSearch-verktyg som DRB att vara avgörande för att bedöma inte bara vad dessa system vet, utan hur väl de faktiskt fungerar.

Med tanke på verktygsanvändning, minne, resonemang och anpassning, erbjuder den en närmare analog till verklig forskning än benchmark som MMLU eller GSM8k. Medan LLM fortsätter att integreras i allvarligt kunskapsarbete, kommer FutureSearch-verktyg som DRB att vara avgörande för att bedöma inte bara vad dessa system vet, utan hur väl de faktiskt fungerar.