Jak dobré jsou AI agenti v reálném výzkumu? Uvnitř zprávy Deep Research Bench

Jak se velké jazykové modely (LLM) rychle vyvíjejí, tak se také zvyšuje jejich potenciál jako mocných výzkumných asistentů. Často již nejsou pouze odpovědi na jednoduché faktické otázky, ale také zpracovávají „hluboké výzkumné“ úkoly, které zahrnují vícekrokové uvažování, hodnocení rozporuplných informací, získávání dat z celého webu a syntézu do koherentního výstupu.

Tato rostoucí schopnost je nyní uváděna na trh pod různými názvy hlavními laboratořemi – OpenAI ji nazývá „Deep Research“, Anthropic ji označuje jako „Extended Thinking“, Google Gemini nabízí „Search + Pro“ funkce a Perplexity ji označuje jako „Pro Search“ nebo „Deep Research“. Ale jak efektivní jsou tyto nabídky v praxi? Nová zpráva od FutureSearch, nazvaná Deep Research Bench (DRB): Evaluating Web Research Agents, nabízí nejpřísnější hodnocení dosud – a výsledky ukazují jak působivé schopnosti, tak kritické nedostatky.

Co je Deep Research Bench?

Vytvořený týmem FutureSearch, Deep Research Bench je pečlivě konstruovaná referenční hodnota navržená pro hodnocení výkonu AI agentů při vícekrokových, webových výzkumných úkolech. Tyto nejsou jednoduché otázky se přímými odpověďmi – odrážejí složitosti, otevřené výzvy, kterým čelí analytici, tvůrci politik a výzkumníci v reálných prostředích.

Referenční hodnota zahrnuje 89 různých úkolů v 8 kategoriích, jako jsou:

• Najít číslo: např. „Kolik bylo FDA Class II lékařských zařízení odvoláno?“
• Ověřit tvrzení: např. „Je ChatGPT 10x více energeticky náročné než Google Search?“
• Sestavit datovou sadu: např. „Trendy práce pro americké softwarové vývojáře z let 2019–2023“

Každý typ úkolu je pečlivě strukturován s lidsky ověřenými odpověďmi a hodnocen pomocí zmrazené datové sady webových stránek, známé jako RetroSearch. To zajišťuje konzistenci napříč modelovými hodnoceními, vyhýbaje se proměnlivému stavu živého webu.

Architektura agenta: ReAct a RetroSearch

V srdci Deep Research Bench leží architektura ReAct, zkratka pro „Reason + Act“. Tato metoda napodobuje, jak by lidský výzkumník mohl řešit problém – přemýšlením o úkolu, provedením akce, jako je provedení webového vyhledávání, pozorováním výsledků a rozhodnutím, zda pokračovat nebo ukončit.

Zatímco dříve modely následovaly tuto smyčku explicitně, novější „thinking“ modely často zjednodušují proces, zabudovávají uvažování více fluidně do svých akcí. Pro zajištění konzistence napříč hodnoceními, DRB zavádí RetroSearch – vlastní statickou verzi webu. Místo spoléhání se na živý internet, který se neustále mění, agenti využívají kurátorský archiv webových stránek získaných pomocí nástrojů, jako je Serper, Playwright a ScraperAPI. Rozsah je působivý – pro úkoly s vysokou složitostí, jako je „Shromáždit důkazy“, RetroSearch může poskytnout přístup k více než 189 000 stránek, všechny zmrazené v čase, zajišťující spravedlivé a reprodukovatelné testovací prostředí.

Které AI agenti fungují nejlépe?

Mezi všemi uchazeči se OpenAI’s o3 ukázal jako nejlepší výkonný, s výsledkem 0,51 z možných 1,0 na Deep Research Bench. Ačkoli to může znít skromně, je důležité pochopit obtížnost referenční hodnoty – kvůli nejasnostem v definicích úkolů a hodnocení, i dokonalý agent by pravděpodobně dosáhl maximálně 0,8 – to, co výzkumníci nazývají „hlukovým stropem“. Jinými slovy, i nejlepší modely dnes stále zaostávají za dobře informovanými, metodickými lidskými výzkumníky.

Přesto, žebříček nabízí odhalující vhledy. o3 neonly vedl skupinu, ale také to udělal s rychlostí a konzistencí, ukazující silný výkon napříč téměř všemi typy úkolů. Claude 3.7 Sonnet od Anthropic následoval blízko, demonstrující všestrannost v obou „thinking“ a „non-thinking“ režimech. Gemini 2.5 Pro, vlajkový model Google, vynikl svou schopností zvládat úkoly vyžadující strukturované plánování a krok za krokem uvažování. Zatímco open-weight DeepSeek-R1 přinesl příjemné překvapení – držel krok s GPT-4 Turbo a zúžil výkonnostní rozdíl mezi otevřenými a uzavřeným modely.

V celém žebříčku se objevil jasný vzorec – novější, „thinking-enabled“ modely konzistentně překonávaly své předchozí protějšky a uzavřené modely udržovaly znatelnou výhodu nad otevřenými alternativami.

Kde agenti selhávají?

Čtení selhání vzorců zdůrazněných v Deep Research Bench zprávě se cítilo překvapivě známým. Jednou z nejfrustrujících aspektů, se kterými jsem se osobně setkal – zejména během dlouhých výzkumných nebo obsahových tvůrčích sezení – je, když AI agent jednoduše zapomene, co jsme dělali. Jak se kontextová okna prodlužuje, model často začíná ztrácet nit – klíčové detaily mizí, cíle se stávají nejasnými a odpovědi se cítí nesouvislé nebo bezcílné. V某 okamžiku jsem se naučil, že je často lepší ukončit ztráty a začít znova, i když to znamená zahodit vše, co bylo vygenerováno dosud.

Taková zapomnětlivost není pouze anekdotická – je to nejvýznamnější předpověď selhání v Deep Research Bench hodnocení. Ale není to jediný opakující se problém. Zpráva také zdůrazňuje, jak některé modely spadají do opakovaného použití nástrojů, běhající stejný vyhledávací dotaz znovu a znovu, jako by byly uvězněny v smyčce. Jiní ukazují špatné vytváření dotazů, lenivě klíčovým slovem odpovídající místo kritického uvažování o tom, jak efektivně vyhledávat. A příliš často, agenti padají za oběť předčasnému závěru – dodávají polozformované odpovědi, které technicky splňují kritéria, ale postrádají skutečný vhled.

I mezi nejlepšími modely jsou rozdíly znatelné. GPT-4 Turbo, například, ukázal znatelnou tendenci zapomenout předchozí kroky, zatímco DeepSeek-R1 byl více náchylný k halucinacím nebo vynálezům pravděpodobně znějících – ale nesprávných – informací. V celém žebříčku, modely často selhávaly při křížovém ověřování zdrojů nebo ověřování zjištění před finalizací svého výstupu. Pro každého, kdo spoléhal na AI pro vážnou práci, tyto problémy budou cítit bolestivě známé – a zdůrazňují, jak daleko jsme ještě od budování agentů, kteří mohou skutečně uvažovat a výzkumně pracovat jako lidé.

Co se týče výkonu založeného na paměti?

Zajímavě, Deep Research Bench také hodnotil, co nazývá „toolless“ agenty – jazykové modely fungující bez přístupu k externím nástrojům, jako je webové vyhledávání nebo získávání dokumentů. Tyto agenty se zcela spoléhají na svá interní tréninková data a paměť, generují odpovědi založené pouze na tom, co se naučily během tréninku. V praxi to znamená, že nemohou nic vyhledat nebo ověřit informace – hádají se na základě toho, co „pamatují“.

Překvapivě, tyto toolless agenty fungovaly téměř stejně dobře jako plnohodnotní výzkumníci na určitých úkolech. Například, na úkolu „Ověřit tvrzení“ – kde je cílem posoudit pravdivost prohlášení – dosáhli skóre 0,61, téměř se rovnajícího 0,62 průměru tool-enabled agentů. To naznačuje, že modely, jako o3 a Claude, mají silné vnitřní předpoklady a mohou často rozpoznat pravdivost běžných tvrzení bez nutnosti prohledávat web.

Ale na náročnějších úkolech – jako je „Vypsat číslo“, které vyžaduje složení více hodnot z různých zdrojů, nebo „Shromáždit důkazy“, které závisí na nalezení a vyhodnocení různých faktů v kontextu – tyto toolless modely zcela selhaly. Bez čerstvých informací nebo možností reálného vyhledávání, prostě postrádaly prostředky k produkci přesných nebo komplexních odpovědí.

Tento kontrast zdůrazňuje důležitou nuanci – zatímco dnešní LLM mohou simulovat „znalosti“, hluboký výzkum závisí nejen na vzpomínání, ale také na uvažování s aktuálními, ověřitelnými informacemi – něco, co pouze tool-augmentovaní agenti mohou skutečně dodat.

Závěrečné myšlenky

Zpráva DRB činí jednu věc jasnou – zatímco dnešní nejlepší AI agenti mohou předčit průměrné lidi na úzce definovaných úkolech, stále zaostávají za zkušenými výzkumníky – zejména pokud jde o strategické plánování, přizpůsobení se během procesu a uvažování s nuancí.

Tento rozdíl se stává zvláště zjevným během dlouhých nebo složitých sezení – něco, co jsem osobně zažil, kde agent postupně ztrácí přehled o účelu úkolu, vedoucí k frustrujícímu rozpadu koherence a užitku.

To, co činí Deep Research Bench tak cenným, je to, že netestuje pouze povrchové znalosti – zkoumá průsečík použití nástrojů, paměti, uvažování a adaptace, nabízející bližší analogii k reálnému výzkumu než referenční hodnoty, jako je MMLU nebo GSM8k.

Jak LLM budou pokračovat v integraci do vážné znalostní práce, FutureSearch nástroje, jako je DRB, budou nezbytné pro hodnocení nejen toho, co tyto systémy znají, ale také toho, jak dobře skutečně fungují.

on of tool use, memory, reasoning, and adaptation, offering a closer analog to real-world research than benchmarks like MMLU or GSM8k. As LLMs continue to integrate into serious knowledge work, FutureSearch tools like DRB will be essential for assessing not just what these systems know, but how well they actually work.