Quanto sono bravi gli agenti AI nella ricerca reale? All’interno del rapporto Deep Research Bench

Mentre i modelli linguistici di grandi dimensioni (LLM) evolvono rapidamente, anche la loro promessa come potenti assistenti di ricerca aumenta. Sempre più spesso, non rispondono solo a semplici domande fattuali, ma affrontano anche compiti di “ricerca approfondita”, che richiedono ragionamento multistep, valutazione di informazioni contraddittorie, ricerca di dati su tutto il web e sintesi in un output coerente.

Questa capacità emergente è ora commercializzata con nomi di marche diversi da importanti laboratori: OpenAI la chiama “Deep Research”, Anthropic la definisce “Extended Thinking”, Google Gemini offre funzionalità “Search + Pro” e Perplexity etichetta la propria come “Pro Search” o “Deep Research”. Ma quanto sono efficaci queste offerte nella pratica? Un nuovo rapporto di FutureSearch, intitolato Deep Research Bench (DRB): Valutazione degli agenti di ricerca web, offre la valutazione più rigorosa a oggi e i risultati rivelano sia capacità impressionanti che carenze critiche.

Cosa è Deep Research Bench?

Creato dal team di FutureSearch, Deep Research Bench è un benchmark costruito meticolosamente per valutare le prestazioni degli agenti AI su compiti di ricerca basati sul web e multistep. Questi non sono semplici domande con risposte dirette: riflettono le sfide aperte e complesse affrontate da analisti, responsabili delle politiche e ricercatori in ambienti reali.

Il benchmark include 89 compiti distinti in 8 categorie, come ad esempio:

• Trova numero: ad esempio, “Quanti richiami di dispositivi medici di classe II della FDA sono stati effettuati?”
• Convalida affermazione: ad esempio, “ChatGPT è 10 volte più energivoro di Google Search?”
• Compila dataset: ad esempio, “Tendenze lavorative per sviluppatori di software negli Stati Uniti dal 2019 al 2023”

Ogni tipo di compito è strutturato con risposte verificate umanamente e valutato utilizzando un set di dati congelato di pagine web scansionate, noto come RetroSearch. Ciò garantisce la coerenza tra le valutazioni dei modelli, evitando lo stato in continua evoluzione del web live.

L’architettura dell’agente: ReAct e RetroSearch

Al cuore di Deep Research Bench si trova l’architettura ReAct, abbreviazione di “Reason + Act”. Questo metodo imita il modo in cui un ricercatore umano potrebbe affrontare un problema: pensando al compito, eseguendo un’azione come una ricerca web, osservando i risultati e decidendo se iterare o concludere.

Mentre i modelli precedenti seguono questo ciclo in modo esplicito, i modelli “pensanti” più recenti spesso semplificano il processo, incorporando il ragionamento in modo più fluido nelle loro azioni. Per garantire la coerenza tra le valutazioni, DRB introduce RetroSearch: una versione statica personalizzata del web. Invece di affidarsi a Internet live, che cambia costantemente, gli agenti attingono a un archivio curato di pagine web scansionate utilizzando strumenti come Serper, Playwright e ScraperAPI. La scala è impressionante: per compiti ad alta complessità come “Raccogli prove”, RetroSearch può fornire l’accesso a oltre 189.000 pagine, tutte congelate nel tempo, garantendo un ambiente di test equo e ripetibile.

Quali agenti AI si eseguono meglio?

Tra tutti i concorrenti, o3 di OpenAI è emerso come il miglior eseguente, con un punteggio di 0,51 su un massimo di 1,0 nel Deep Research Bench. Sebbene possa sembrare modesto, è importante capire la difficoltà del benchmark: a causa dell’ambiguità nelle definizioni dei compiti e nella valutazione, anche un agente impeccabile probabilmente si fermerebbe intorno a 0,8, ciò che i ricercatori chiamano il “soffitto del rumore”. In altre parole, anche i migliori modelli di oggi sono ancora lontani da ricercatori umani ben informati e metodici.

Tuttavia, la classifica offre intuizioni rivelatrici. o3 non solo ha guidato il gruppo, ma lo ha fatto con velocità e coerenza, mostrando una forte performance in quasi tutti i tipi di compiti. Claude 3.7 Sonnet di Anthropic ha seguito da vicino, dimostrando versatilità sia nella modalità “pensante” che in quella “non pensante”. Gemini 2.5 Pro, il modello di punta di Google, si è distinto per la sua capacità di gestire compiti che richiedono pianificazione strutturata e ragionamento passo dopo passo. Nel frattempo, il DeepSeek-R1 open-weight ha offerto una piacevole sorpresa, tenendo il passo con GPT-4 Turbo e riducendo il divario di prestazioni tra modelli aperti e chiusi.

In generale, è emerso un modello chiaro: i modelli “pensanti” più recenti hanno superato costantemente i loro predecessori, e i modelli con codice chiuso hanno mantenuto un vantaggio significativo rispetto alle alternative open-weight.

Dove gli agenti lottano?

Leggere i modelli di fallimento evidenziati nel rapporto Deep Research Bench mi ha fatto sentire sorprendentemente familiare. Uno degli aspetti più frustranti che ho incontrato personalmente, soprattutto durante lunghe sessioni di ricerca o creazione di contenuti, è quando un agente AI semplicemente dimentica cosa stavamo facendo. Man mano che la finestra di contesto si allunga, il modello spesso inizia a perdere il filo: i dettagli chiave svaniscono, gli obiettivi si confondono e le risposte sembrano disgiunte o senza scopo. A un certo punto, ho imparato che è spesso meglio tagliare le perdite e ricominciare da capo, anche se significa gettare via tutto ciò che è stato generato finora.

Quel tipo di dimenticanza non è solo aneddotico: è il principale predittore di fallimento nella valutazione di Deep Research Bench. Ma non è l’unico problema ricorrente. Il rapporto sottolinea anche come alcuni modelli cadano in un uso ripetitivo degli strumenti, eseguendo la stessa ricerca più e più volte come se fossero bloccati in un ciclo. Altri mostrano una scarsa capacità di creare query, utilizzando la corrispondenza delle parole chiave invece di pensare criticamente a come cercare efficacemente. E, troppo spesso, gli agenti sono vittime di conclusioni premature: forniscono una risposta a metà, che tecnicamente spunta la casella, ma si ferma prima di una vera e propria comprensione.

Anche tra i migliori modelli, le differenze sono nette. GPT-4 Turbo, ad esempio, ha mostrato una tendenza significativa a dimenticare i passaggi precedenti, mentre DeepSeek-R1 era più propenso a allucinare o inventare informazioni plausibili ma errate. In generale, i modelli fallivano frequentemente nel verificare le fonti o convalidare i risultati prima di finalizzare l’output. Per chiunque abbia fatto affidamento sull’AI per lavori seri, questi problemi saranno fin troppo familiari e sottolineano quanto dobbiamo ancora percorere per costruire agenti che possano veramente pensare e ricercare come gli esseri umani.

Cosa riguarda le prestazioni basate sulla memoria?

In modo interessante, Deep Research Bench ha anche valutato gli agenti “senza strumenti”, ovvero modelli linguistici che operano senza accesso a strumenti esterni come la ricerca web o il recupero di documenti. Questi agenti si affidano interamente ai loro dati di training interni e alla memoria, generando risposte basate solo su ciò che hanno imparato durante il training. In pratica, ciò significa che non possono cercare nulla o verificare le informazioni: stanno indovinando in base a ciò che “ricordano”.

Sorprendentemente, questi agenti “senza strumenti” hanno ottenuto prestazioni quasi pari a quelle degli agenti di ricerca completa su determinati compiti. Ad esempio, nel compito “Convalida affermazione”, dove l’obiettivo è valutare la plausibilità di una dichiarazione, hanno ottenuto un punteggio di 0,61, quasi uguale alla media di 0,62 degli agenti abilitati per la ricerca. Ciò suggerisce che modelli come o3 e Claude hanno forti priori interni e possono spesso riconoscere la veridicità di affermazioni comuni senza dover cercare sul web.

Tuttavia, su compiti più impegnativi, come “Deriva numero”, che richiede di combinare più valori da diverse fonti, o “Raccogli prove”, che dipende dal trovare e valutare fatti diversi nel contesto, questi modelli “senza strumenti” sono completamente crollati. Senza informazioni fresche o capacità di ricerca in tempo reale, semplicemente non avevano i mezzi per produrre risposte accurate o complete.

Questo contrasto sottolinea una sfumatura importante: mentre i LLM odierni possono simulare “conoscenze”, la ricerca approfondita dipende non solo dal ricordo, ma anche dal ragionamento con informazioni verificabili e aggiornate, qualcosa che solo gli agenti abilitati per gli strumenti possono veramente fornire.

Considerazioni finali

Il rapporto DRB rende chiaro un punto: mentre gli agenti AI migliori di oggi possono superare gli esseri umani medi in compiti definiti in modo ristretto, sono ancora indietro rispetto a ricercatori generalisti esperti, soprattutto quando si tratta di pianificazione strategica, adattamento durante il processo e ragionamento con sfumature.

Questo divario diventa particolarmente evidente durante sessioni lunghe o complesse, qualcosa che ho sperimentato personalmente, dove un agente gradualmente perde traccia dello scopo del compito, portando a un frustrante crollo della coerenza e dell’utilità.

Ciò che rende Deep Research Bench così prezioso è che non testa solo la conoscenza a livello superficiale, ma esplora l’intersezione dell’uso degli strumenti, della memoria, del ragionamento e dell’adattamento, offrendo un analogo più vicino alla ricerca nel mondo reale rispetto a benchmark come MMLU o GSM8k.

Mentre i LLM continuano a integrarsi nel lavoro della conoscenza seria, gli strumenti FutureSearch come DRB saranno essenziali per valutare non solo cosa conoscono questi sistemi, ma anche come funzionano effettivamente.

on di utilizzo degli strumenti, memoria, ragionamento e adattamento, offrendo un analogo più vicino alla ricerca nel mondo reale rispetto a benchmark come MMLU o GSM8k. Mentre i LLM continuano a integrarsi nel lavoro della conoscenza seria, gli strumenti FutureSearch come DRB saranno essenziali per valutare non solo cosa conoscono questi sistemi, ma anche come funzionano effettivamente.