Cât de buni sunt agenții AI la cercetarea reală? În interiorul raportului Deep Research Bench

Pe măsură ce modelele de limbaj mari (LLM) evoluează rapid, se dezvoltă și promisiunea lor ca asistenți de cercetare puternici. În mod din ce în ce mai frecvent, acestea nu mai răspund doar la întrebări simple și factuale – ele abordează “cercetări profunde”, care implică raționament multi-etapă, evaluarea informațiilor contradictorii, sursa de date de pe întregul web și sintetizarea lor într-un output coerent.

Această capacitate emergentă este acum comercializată sub diferite nume de marcă de către laboratoarele majore – OpenAI o numește “Cercetare profundă”, Anthropic se referă la ea ca “Gândire extinsă”, Gemini de la Google (GOOGL ) oferă funcții “Căutare + Pro” și Perplexity etichetează ale sale “Căutare Pro” sau “Cercetare profundă”. Dar cât de eficiente sunt aceste oferte în practică? Un raport nou de la FutureSearch, intitulat Deep Research Bench (DRB): Evaluarea agenților de cercetare web, oferă cea mai riguroasă evaluare până în prezent – și rezultatele arată atât capacități impresionante, cât și lipsuri critice.

Ce este Deep Research Bench?

Creat de echipa FutureSearch, Deep Research Bench este o bază de referință construită cu atenție pentru a evalua performanța agenților AI la sarcini de cercetare pe web cu mai multe etape. Acestea nu sunt întrebări simple cu răspunsuri directe – ele reflectă provocările deschise și complexe cu care se confruntă analiștii, factorii de decizie și cercetătorii în mediile reale.

Baza de referință include 89 de sarcini distincte în 8 categorii, cum ar fi:

• Găsește numărul: de exemplu, “Câte rechemări de dispozitive medicale de clasă II ale FDA au avut loc?”
• Verifică afirmația: de exemplu, “Este ChatGPT de 10 ori mai intensiv din punct de vedere energetic decât Google Search?”
• Compilă setul de date: de exemplu, “Tendințe de locuri de muncă pentru dezvoltatorii de software din SUA din 2019-2023”

Fiecare tip de sarcină este structurat cu atenție, cu răspunsuri verificate de către oameni și evaluate utilizând un set de date înghețat de pagini web, cunoscut sub numele de RetroSearch. Acest lucru asigură coerența în evaluarea modelelor, evitând starea în schimbare a web-ului live.

Arhitectura agentului: ReAct și RetroSearch

La baza Deep Research Bench se află arhitectura ReAct, prescurtată de la “Reason + Act”. Această metodă imită modul în care un cercetător uman ar aborda o problemă – prin gândirea sarcinii, efectuarea unei acțiuni, cum ar fi efectuarea unei căutări pe web, observarea rezultatelor și apoi decizia de a continua sau de a încheia.

În timp ce modelele anterioare urmează acest ciclu în mod explicit, noile modele “de gândire” îl simplifică adesea, integrând mai fluid raționamentul în acțiunile lor. Pentru a asigura coerența în evaluări, DRB introduce RetroSearch – o versiune statică, personalizată a web-ului. În loc de a se baza pe internetul live, care se schimbă în mod constant, agenții accesează un arhivă curată de pagini web, extrasă utilizând unelte cum ar fi Serper, Playwright și ScraperAPI. Scara este impresionantă: pentru sarcini complexe, cum ar fi “Adună dovezi”, RetroSearch poate oferi acces la peste 189.000 de pagini, toate înghețate în timp, asigurând un mediu de testare echitabil și reproductibil.

Care agenți AI performează cel mai bine?

Printre toți concurenții, OpenAI o3 a ieșit ca lider, obținând 0,51 dintr-un total posibil de 1,0 la Deep Research Bench. Deși acest lucru poate părea modest, este important să înțelegem dificultatea bazei de referință: din cauza ambiguității în definițiile sarcinilor și a scorurilor, chiar și un agent perfect ar putea obține cel mult 0,8 – ceea ce cercetătorii numesc “plafonul zgomotului”. Cu alte cuvinte, chiar și cele mai bune modele de astăzi încă se situează sub cercetătorii umani bine informați și meticuloși.

Totuși, clasamentul oferă perspective revelatoare. o3 nu numai că a condus grupul, dar a făcut-o cu viteză și coerență, arătând o performanță puternică în aproape toate tipurile de sarcini. Claude 3.7 Sonnet de la Anthropic a urmat îndeaproape, demonstrând versatilitate atât în “modul de gândire”, cât și în “modul non-gândire”. Gemini 2.5 Pro, modelul emblematic al Google, s-a remarcat prin capacitatea de a gestiona sarcini care necesită planificare structurată și raționament pas cu pas. Între timp, DeepSeek-R1 a oferit o surpriză plăcută – menținându-se la nivelul lui GPT-4 Turbo și reducând decalajul de performanță între modelele deschise și cele închise.

Pe tot parcursul, a apărut un model clar: noile modele “de gândire” au performant mai bine decât predecesorii lor, iar modelele cu sursă închisă au menținut un avantaj semnificativ față de alternativele deschise.

Unde se luptă agenții?

Citind modelele de eșec prezentate în raportul Deep Research Bench mi-a fost surprinzător de familiar. Unul dintre aspectele cele mai frustrante pe care le-am întâlnit personal – în special în timpul sesiunilor lungi de cercetare sau creare de conținut – este atunci când un agent AI pur și simplu uită ce făceam. Pe măsură ce fereastra de context se extinde, modelul începe să piardă firul: detalii cheie se estompează, obiectivele se încurcă și, brusc, răspunsurile par dezlegate sau lipsite de direcție. La un moment dat, am învățat că este adesea mai bine să renunț și să încep de la zero, chiar dacă asta înseamnă abandonarea tot ceea ce a fost generat până atunci.

Această uitare nu este doar anecdotă – este cel mai important predictor de eșec în evaluarea Deep Research Bench. Dar nu este singurul problemă recurentă. Raportul subliniază, de asemenea, cum unele modele cad în utilizarea repetitivă a uneltelor, rulând aceeași căutare de mai multe ori, ca și cum ar fi blocate într-un ciclu. Altele arată o slabă construire a interogărilor, efectuând o potrivire leneșă a cuvintelor cheie în loc de a gândi critic despre cum să caute eficient. Și, prea des, agenții cad victime unor concluzii premature – livrând un răspuns parțial format care, tehnic, îndeplinește cerințele, dar lipsește de adevărată perspicacitate.

Chiar și printre cele mai bune modele, diferențele sunt izbitoare. GPT-4 Turbo, de exemplu, a arătat o tendință notabilă de a uita pașii anteriori, în timp ce DeepSeek-R1 a fost mai probabil să halucineze sau să inventeze informații plauzibile, dar incorecte. Pe tot parcursul, modelele au eșuat frecvent în a verifica sursele sau a valida rezultatele înainte de a-și finaliza output-ul. Pentru oricine s-a bazat pe AI pentru munca serioasă, aceste probleme vor fi prea familiare – și subliniază cât de departe mai avem de a merge în construirea unor agenți care să poată cu adevărat gândi și cerceta ca oamenii.

Ce despre performanța bazată pe memorie?

Interesant, Deep Research Bench a evaluat și ceea ce numește “agenți fără unelte” – modele de limbaj care funcționează fără acces la unelte externe, cum ar fi căutarea pe web sau recuperarea documentelor. Acești agenți se bazează în întregime pe datele lor de antrenament interne și pe memoria lor, generând răspunsuri bazate numai pe ceea ce au învățat în timpul antrenamentului. În practică, acest lucru înseamnă că nu pot căuta nimic sau verifica informații – ei ghicesc pe baza a ceea ce “și-au amintit”.

Surprinzător, acești agenți fără unelte au performant aproape la fel de bine ca agenții de cercetare completați pe anumite sarcini. De exemplu, la sarcina de Validare a afirmației – unde scopul este de a evalua plauzibilitatea unei afirmații – au obținut 0,61, aproape egal cu media de 0,62 a agenților cu unelte. Acest lucru sugerează că modele precum o3 și Claude au puternice presupuneri interne și pot adesea recunoaște adevărul afirmațiilor comune fără a necesita să caute pe web.

Dar la sarcini mai solicitante – cum ar fi Derivă numărul, care necesită asamblarea mai multor valori din surse diverse, sau Adună dovezi, care depinde de găsirea și evaluarea faptelor diverse în context – acești agenți fără unelte au eșuat complet. Fără informații proaspete sau capacități de căutare în timp real, ei pur și simplu nu aveau mijloacele de a produce răspunsuri exacte sau comprehensive.

Acest contrast subliniază o nuanță importantă: în timp ce LLM-urile de astăzi pot simula “a ști” multe lucruri, cercetarea profundă depinde nu numai de recunoaștere, ci și de raționament cu informații verificabile și actualizate – ceea ce doar agenții cu unelte pot oferi cu adevărat.

Gânduri finale

Raportul DRB face un lucru clar: în timp ce cei mai buni agenți AI de astăzi pot depăși oamenii obișnuiți la sarcini înguste, ei încă se situează sub cercetătorii pricepuți și generaliști – în special atunci când vine vorba de planificare strategică, adaptare în timpul procesului și raționament nuanțat.

Acest decalaj devine deosebit de evident în timpul sesiunilor lungi sau complexe – ceea ce am experimentat personal, unde un agent treptat își pierde țelul sarcinii, ducând la o întrerupere frustrantă a coerenței și utilității.

Ceea ce face Deep Research Bench atât de valoros este că nu doar testează cunoștințele de suprafață – ci sondează intersecția dintre utilizarea uneltelor, memorie, raționament și adaptare, oferind un analog mai apropiat de cercetarea din lumea reală decât benchmark-urile precum MMLU sau GSM8k.

Pe măsură ce LLM-urile continuă să se integreze în munca serioasă de cunoaștere, unelte FutureSearch precum DRB vor fi esențiale pentru evaluarea nu numai a ceea ce știu aceste sisteme, ci și a modului în care funcționează cu adevărat.