Jak dobre są agenci AI w prawdziwych badaniach? Wnętrze raportu Deep Research Bench

Podczas gdy duże modele językowe (LLM) ewoluują w szybkim tempie, rośnie również ich potencjał jako potężnych asystentów badawczych. Coraz częściej nie tylko odpowiadają na proste pytania faktograficzne, ale także podejmują się „głębokich badań”, które wymagają wieloetapowego rozumowania, oceny sprzecznych informacji, wyszukiwania danych z całego internetu i syntezowania ich w spójną odpowiedź.

Ta pojawiająca się możliwość jest obecnie promowana pod różnymi nazwami markowymi przez główne laboratoria – OpenAI nazywa ją „Deep Research”, Anthropic odnosi się do niej jako „Extended Thinking”, Gemini Google (GOOGL ) oferuje funkcje „Search + Pro”, a Perplexity nazywa ją „Pro Search” lub „Deep Research”. Ale jak skuteczne są te oferty w praktyce? Nowy raport FutureSearch, zatytułowany Deep Research Bench (DRB): Ocena agentów badawczych internetowych, oferuje najbardziej rygorystyczną ocenę do tej pory – a wyniki ujawniają zarówno imponujące możliwości, jak i krytyczne braki.

Co to jest Deep Research Bench?

Stworzony przez zespół FutureSearch, Deep Research Bench to starannie skonstruowany benchmark, który ocenia wydajność agentów AI w zadaniach badawczych opartych na sieci. Nie są to proste pytania z prostymi odpowiedziami – odzwierciedlają one brudne, otwarte wyzwania, z którymi spotykają się analitycy, decydenci i badacze w prawdziwych środowiskach.

Benchmark obejmuje 89 odrębnych zadań w 8 kategoriach, takich jak:

• Znajdź liczbę: np. „Ile wycofań urządzeń medycznych klasy II FDA miało miejsce?”
• Weryfikuj oświadczenie: np. „Czy ChatGPT jest 10 razy bardziej energochłonne niż Google Search?”
• Skompiluj zestaw danych: np. „Trendy zatrudnienia dla amerykańskich deweloperów oprogramowania z 2019-2023”

Każdy typ zadania jest starannie opracowany z ludzkimi, zweryfikowanymi odpowiedziami i oceniany przy użyciu zamrożonego zestawu danych stron internetowych, znanego jako RetroSearch. Zapewnia to spójność w całej ocenie modelu, unikając zmieniającego się stanu żywej sieci.

Architektura agenta: ReAct i RetroSearch

W sercu Deep Research Bench leży architektura ReAct, czyli „Reason + Act”. Metoda ta naśladuje sposób, w jaki ludzki badacz może podejść do problemu – myśląc przez zadanie, podejmując działanie, takie jak przeprowadzenie wyszukiwania w sieci, obserwowanie wyników i decydując, czy ziterować czy zakończyć.

Podczas gdy wcześniejsze modele podążają za tą pętlą wyraźnie, nowsze „myślące” modele często upraszczają proces, osadzając bardziej płynnie rozumowanie w swoich działaniach. Aby zapewnić spójność w całej ocenie, DRB wprowadza RetroSearch – niestandardową, statyczną wersję sieci. Zamiast polegać na żywej sieci, która ciągle się zmienia, agenci korzystają z opracowanego archiwum stron internetowych, pobranych przy użyciu narzędzi takich jak Serper, Playwright i ScraperAPI. Skala jest imponująca – dla zadań o wysokiej złożoności, takich jak „Zbierz dowody”, RetroSearch może zapewnić dostęp do ponad 189 000 stron, wszystkich zamrożonych w czasie, co zapewnia uczciwe i powtarzalne środowisko testowe.

Którzy agenci AI wykonują najlepiej?

Wśród wszystkich kandydatów o3 od OpenAI okazał się najlepszym wykonawcą, uzyskując 0,51 na 1,0 możliwych punktów w Deep Research Bench. Chociaż może to brzmieć skromnie, ważne jest zrozumienie trudności tego benchmarku – ze względu na niejasność w definicjach zadań i ocenianiu, nawet idealny agent prawdopodobnie osiągnąłby maksymalnie 0,8 – co nazywa się „sufitem szumu”. Innymi słowy, nawet najlepsze modele dzisiaj wciąż mają braki w porównaniu z dobrze poinformowanymi, metodycznymi badaczami ludzkimi.

Jednak tabela liderów oferuje ujawniające spostrzeżenia. o3 nie tylko prowadził stado, ale robił to z prędkością i spójnością, pokazując silną wydajność w niemal wszystkich typach zadań. Claude 3.7 Sonnet od Anthropic był blisko, demonstrując wszechstronność w trybach „myślących” i „niemyślących”. Gemini 2.5 Pro, flagowy model Google, wyróżniał się zdolnością do radzenia sobie z zadaniami wymagającymi ustrukturyzowanego planowania i krok po kroku rozumowania. Tymczasem otwarty DeepSeek-R1 zaskoczył przyjemnie – utrzymując tempo z GPT-4 Turbo i zmniejszając lukę wydajności między modelem otwartym a zamkniętym.

Na całej planszy wyłonił się wyraźny wzorzec – nowsze, „myślące” modele konsekwentnie przewyższały swoich poprzedników, a modele zamknięte utrzymywały znaczną przewagę nad alternatywami o otwartym weight.

Gdzie agenci mają trudności?

Czytanie wzorców niepowodzeń przedstawionych w raporcie Deep Research Bench czuło się niesamowicie znajomo. Jednym z najbardziej frustrujących aspektów, z którymi spotkałem się osobiście – zwłaszcza podczas długich sesji badawczych lub tworzenia treści – jest to, kiedy agent AI po prostu zapomina, co robimy. Gdy okno kontekstowe się rozciąga, model często zaczyna tracić wątek – kluczowe szczegóły znikają, cele stają się niejasne, a odpowiedzi zaczynają się czuć niezwiązane lub bezcelowe. W pewnym momencie nauczyłem się, że często lepiej jest odpuścić i zacząć od nowa, nawet jeśli oznacza to wyrzucenie wszystkiego, co zostało wygenerowane do tej pory.

Tego rodzaju zapomnienie nie jest tylko anegdotyczne – jest to największy wskaźnik niepowodzenia w ocenie Deep Research Bench. Ale nie jest to jedyny powtarzający się problem. Raport podkreśla również, jak niektóre modele wpadają w nawykowe użycie narzędzi, uruchamiając to samo wyszukiwanie wielokrotnie, jakby utknęły w pętli. Inne pokazują słabą konstrukcję zapytań, leniwie dopasowując słowa kluczowe zamiast myśleć krytycznie o tym, jak skutecznie wyszukiwać. I zbyt często agenci padają ofiarą przedwczesnych wniosków – dostarczając półuformowaną odpowiedź, która technicznie spełnia wymóg, ale nie osiąga prawdziwej wglądu.

Nawet wśród najlepszych modeli różnice są wyraźne. GPT-4 Turbo, na przykład, wykazał wyraźną tendencję do zapominania poprzednich kroków, podczas gdy DeepSeek-R1 był bardziej skłonny do halucynacji lub wymyślania brzmiących prawdopodobnie – lecz błędnych – informacji. W całej planszy modele często niepowiodły się w weryfikacji źródeł lub potwierdzeniu ustaleń przed ostatecznym sfinalizowaniem swojej odpowiedzi. Dla każdego, kto polegał na AI w poważnej pracy, te problemy będą czuć się zbyt znajomo – i podkreślają, jak daleko jeszcze musimy iść, aby zbudować agenty, które mogą naprawdę myśleć i badać jak ludzie.

Co z wydajnością opartą na pamięci?

Co ciekawe, Deep Research Bench ocenił również to, co nazywa „bez narzędzi” agentami – modelami językowymi, które działają bez dostępu do zewnętrznych narzędzi, takich jak wyszukiwanie w sieci lub pobieranie dokumentów. Agenci ci polegają wyłącznie na swoich wewnętrznych danych szkoleniowych i pamięci, generując odpowiedzi wyłącznie na podstawie tego, czego się wcześniej nauczyli podczas szkolenia. W praktyce oznacza to, że nie mogą sprawdzić niczego ani zweryfikować informacji – sądzą na podstawie tego, co „pamiętają”.

Zaskakująco, agenci ci wykonali prawie tak dobrze, jak pełni agenci badawczy w niektórych zadaniach. Na przykład w zadaniu Weryfikuj oświadczenie – gdzie celem jest ocena prawdopodobieństwa oświadczenia – uzyskali wynik 0,61, niemal dopasowując się do średniej 0,62 agentów z narzędziami. Sugeruje to, że modele takie jak o3 i Claude mają silne wewnętrzne założenia i mogą często rozpoznać prawdziwość powszechnych oświadczeń bez potrzeby wyszukiwania w sieci.

Ale w bardziej wymagających zadaniach – takich jak Wyprowadź liczbę, które wymagają łączenia wielu wartości z różnych źródeł, lub Zbierz dowody, które polegają na znalezieniu i ocenianiu różnorodnych faktów w kontekście – te modele bez narzędzi zupełnie się rozpadły. Bez świeżych informacji lub możliwości wyszukiwania w czasie rzeczywistym po prostu nie mieli środków do produkcji dokładnych lub kompletnych odpowiedzi.

Ten kontrast podkreśla ważną nuansę – podczas gdy dzisiejsze LLM mogą symulować „wiedzę”, głębokie badania zależą nie tylko od przypomnienia, ale także od rozumowania z najnowszymi, weryfikowalnymi informacjami – czego tylko agenci z narzędziami mogą naprawdę dostarczyć.

Końcowe myśli

Raport DRB czyni jedno rzecz jasną – podczas gdy najlepsi agenci AI dzisiaj mogą wyprzedzić przeciętnych ludzi w wąsko określonych zadaniach, wciąż pozostają w tyle za wykwalifikowanymi, ogólnymi badaczami – zwłaszcza gdy chodzi o planowanie strategiczne, adaptację w trakcie procesu i rozumowanie z nuansami.

Ta luka staje się szczególnie oczywista podczas długich lub złożonych sesji – co doświadczyłem osobiście, kiedy agent stopniowo traci ślad zadania, prowadząc do frustrującego rozpadu spójności i użyteczności.

To, co sprawia, że Deep Research Bench jest tak cenne, polega na tym, że nie testuje tylko powierzchniowej wiedzy – sonduje przecięcie użycia narzędzi, pamięci, rozumowania i adaptacji, oferując bliższy analog do prawdziwych badań niż benchmarki takie jak MMLU lub GSM8k.

Podczas gdy LLM są coraz bardziej integrowane z poważną pracą wiedzy, narzędzia FutureSearch, takie jak DRB, będą niezbędne do oceny nie tylko tego, co te systemy wiedzą, ale jak dobrze one naprawdę działają.

on of tool use, memory, reasoning, and adaptation, offering a closer analog to real-world research than benchmarks like MMLU or GSM8k. As LLMs continue to integrate into serious knowledge work, FutureSearch tools like DRB will be essential for assessing not just what these systems know, but how well they actually work.