Quelle est la qualité des agents IA pour la recherche réelle ? À l’intérieur du rapport Deep Research Bench

Alors que les grands modèles de langage (LLM) évoluent rapidement, leur promesse en tant qu’assistants de recherche puissants évolue également. De plus en plus, ils ne répondent pas seulement à des questions factuelles simples – ils traitent des tâches de “recherche approfondie” qui impliquent une raisonnement multi-étapes, l’évaluation d’informations contradictoires, la recherche de données à travers le web et la synthèse en une sortie cohérente.

Cette capacité émergente est maintenant commercialisée sous différents noms de marque par des laboratoires majeurs – OpenAI l’appelle “Deep Research”, Anthropic la désigne comme “Extended Thinking”, Google’s Gemini propose des fonctionnalités “Search + Pro” et Perplexity étiquette la sienne “Pro Search” ou “Deep Research”. Mais à quel point ces offres sont-elles efficaces dans la pratique ? Un nouveau rapport de FutureSearch, intitulé Deep Research Bench (DRB) : Évaluation des agents de recherche web, offre l’évaluation la plus rigoureuse à ce jour – et les résultats révèlent à la fois des capacités impressionnantes et des lacunes critiques.

Qu’est-ce que Deep Research Bench ?

Créé par l’équipe FutureSearch, Deep Research Bench est une référence méticuleusement construite conçue pour évaluer les performances des agents IA sur des tâches de recherche web à plusieurs étapes. Ce ne sont pas des questions simples avec des réponses directes – elles reflètent les défis ouverts et complexes auxquels sont confrontés les analystes, les décideurs politiques et les chercheurs dans des contextes réels.

La référence comprend 89 tâches distinctes dans 8 catégories telles que :

• Trouver un nombre : par exemple, “Combien de rappels de dispositifs médicaux de classe II de la FDA ont eu lieu ?”
• Valider une affirmation : par exemple, “ChatGPT est-il 10 fois plus gourmand en énergie que Google Search ?”
• Compiler un ensemble de données : par exemple, “Tendances de l’emploi pour les développeurs de logiciels américains de 2019 à 2023”

Chaque type de tâche est soigneusement structuré avec des réponses vérifiées par des humains et évalué en utilisant un ensemble de données figé de pages web scrapées, appelé RetroSearch. Cela garantit la cohérence à travers les évaluations de modèles, en évitant l’état fluctuant du web en direct.

L’architecture de l’agent : ReAct et RetroSearch

Au cœur de Deep Research Bench se trouve l’architecture ReAct, abréviation de “Reason + Act”. Cette méthode imite la façon dont un chercheur humain pourrait aborder un problème – en réfléchissant à la tâche, en effectuant une action comme une recherche web, en observant les résultats et en décidant ensuite s’il faut itérer ou conclure.

Alors que les modèles plus anciens suivent explicitement cette boucle, les modèles “pensants” plus récents simplifient souvent le processus, en intégrant la raison de manière plus fluide dans leurs actions. Pour garantir la cohérence à travers les évaluations, DRB introduit RetroSearch – une version statique personnalisée du web. Plutôt que de s’appuyer sur Internet en direct, qui change constamment, les agents puisent dans un archive curatée de pages web scrapées à l’aide d’outils tels que Serper, Playwright et ScraperAPI. L’échelle est impressionnante : pour des tâches de haute complexité telles que “Rassembler des preuves”, RetroSearch peut fournir l’accès à plus de 189 000 pages, toutes figées dans le temps, garantissant un environnement de test équitable et reproductible.

Quels agents IA performants ?

Parmi tous les concurrents, o3 d’OpenAI est apparu comme le meilleur performant, obtenant un score de 0,51 sur 1,0 possible sur le Deep Research Bench. Même si cela peut sembler modeste, il est important de comprendre la difficulté de la référence : en raison de l’ambiguïté des définitions de tâches et de la notation, même un agent sans faille obtiendrait probablement un score d’environ 0,8 – ce que les chercheurs appellent le “plafond de bruit”. En d’autres termes, même les meilleurs modèles d’aujourd’hui sont encore loin des chercheurs humains bien informés et méthodiques.

Cependant, le classement offre des informations révélatrices. o3 non seulement a mené le peloton mais l’a fait avec rapidité et cohérence, montrant de solides performances dans presque tous les types de tâches. Claude 3.7 Sonnet d’Anthropic a suivi de près, démontrant une polyvalence à la fois dans ses modes “pensants” et “non pensants”. Gemini 2.5 Pro, le modèle phare de Google, s’est distingué par sa capacité à gérer des tâches nécessitant une planification structurée et un raisonnement étape par étape. Pendant ce temps, le DeepSeek-R1 à poids ouvert a offert une agréable surprise – gardant le rythme avec GPT-4 Turbo et réduisant l’écart de performance entre les modèles ouverts et fermés.

Dans l’ensemble, un schéma clair est apparu : les modèles “pensants” plus récents ont constamment surpassé leurs prédécesseurs, et les modèles à code fermé ont maintenu un avantage notable sur les alternatives à poids ouvert.

Où les agents ont-ils des difficultés ?

Lire les modèles d’échec mis en évidence dans le rapport Deep Research Bench m’a semblé étonnamment familier. L’un des aspects les plus frustrants que j’ai personnellement rencontrés – en particulier lors de longues sessions de recherche ou de création de contenu – est lorsque un agent IA oublie simplement ce que nous faisions. À mesure que la fenêtre contextuelle s’étend, le modèle commence souvent à perdre le fil : les détails clés s’estompent, les objectifs se brouillent et les réponses finissent par sembler disjointes ou sans but. À un moment donné, j’ai appris qu’il est souvent préférable de couper les pertes et de recommencer à zéro, même si cela signifie jeter tout ce qui a été généré jusqu’à présent.

Cette oublie n’est pas seulement anecdotique – c’est le plus important prédicteur d’échec dans l’évaluation Deep Research Bench. Mais ce n’est pas le seul problème récurrent. Le rapport met également en évidence la façon dont certains modèles tombent dans une utilisation répétitive d’outils, en exécutant la même recherche encore et encore comme s’ils étaient coincés dans une boucle. D’autres montrent une mauvaise formulation de requêtes, en faisant correspondre les mots clés de manière paresseuse au lieu de réfléchir de manière critique à la façon de rechercher efficacement. Et bien trop souvent, les agents tombent victimes de conclusions prématurées – en fournissant une réponse à moitié formée qui vérifie techniquement la case mais manque de véritable perspicacité.

Même parmi les meilleurs modèles, les différences sont frappantes. GPT-4 Turbo, par exemple, a montré une tendance notable à oublier les étapes précédentes, tandis que DeepSeek-R1 était plus susceptible de halluciner ou d’inventer des informations plausibles mais incorrectes. Dans l’ensemble, les modèles ont souvent échoué à vérifier les sources ou à valider les résultats avant de finaliser leur sortie. Pour quiconque a compté sur l’IA pour un travail sérieux, ces problèmes seront trop familiers – et ils soulignent à quel point nous devons encore progresser pour construire des agents qui peuvent vraiment penser et rechercher comme des humains.

Qu’en est-il des performances basées sur la mémoire ?

Intéressant, Deep Research Bench a également évalué ce qu’il appelle des agents “sans outils” – des modèles de langage fonctionnant sans accès à des outils externes, tels que la recherche web ou la récupération de documents. Ces agents s’appuient entièrement sur leurs données de formation internes et leur mémoire, en générant des réponses basées uniquement sur ce qu’ils ont appris pendant la formation. En pratique, cela signifie qu’ils ne peuvent pas consulter ou vérifier des informations – ils devinent en fonction de ce qu’ils “se souviennent”.

Étonnamment, ces agents sans outils ont performé presque aussi bien que les agents de recherche complets sur certaines tâches. Par exemple, sur la tâche de validation d’une affirmation – où l’objectif est d’évaluer la plausibilité d’une déclaration – ils ont obtenu un score de 0,61, presque égal au score moyen de 0,62 des agents avec outils. Cela suggère que des modèles comme o3 et Claude ont de solides a priori internes et peuvent souvent reconnaître la véracité des affirmations courantes sans avoir besoin de rechercher sur le web.

Mais sur des tâches plus exigeantes – comme la dérivation d’un nombre, qui nécessite de rassembler plusieurs valeurs de différentes sources, ou la collecte de preuves, qui dépend de la recherche et de l’évaluation de faits divers dans leur contexte – ces modèles sans outils se sont complètement effondrés. Sans informations fraîches ou capacités de recherche en temps réel, ils leur manquait simplement les moyens de produire des réponses précises ou complètes.

Ce contraste met en évidence une nuance importante : même si les LLM d’aujourd’hui peuvent simuler “savoir” beaucoup, la recherche approfondie dépend non seulement de la mémoire, mais également du raisonnement avec des informations vérifiables et à jour – quelque chose que seuls les agents avec outils peuvent vraiment offrir.

Pensées finales

Le rapport DRB rend une chose claire : même si les meilleurs agents IA d’aujourd’hui peuvent dépasser les humains moyens sur des tâches étroitement définies, ils sont encore en retard par rapport aux chercheurs généralistes qualifiés – en particulier lorsqu’il s’agit de planification stratégique, d’adaptation en cours de processus et de raisonnement nuancé.

Cet écart devient particulièrement évident lors de sessions longues ou complexes – quelque chose que j’ai vécu personnellement, où un agent se dégrade progressivement de la finalité de la tâche, conduisant à une rupture frustrante de la cohérence et de l’utilité.

Ce qui rend Deep Research Bench si précieux, c’est qu’il ne teste pas seulement les connaissances de surface – il sonde l’intersection de l’utilisation d’outils, de la mémoire, du raisonnement et de l’adaptation, offrant un analogue plus proche de la recherche dans le monde réel que des références telles que MMLU ou GSM8k.

Alors que les LLM continuent d’intégrer le travail du savoir sérieux, les outils FutureSearch comme DRB seront essentiels pour évaluer non seulement ce que ces systèmes savent, mais aussi comment ils fonctionnent réellement.

on de l’utilisation d’outils, de la mémoire, du raisonnement et de l’adaptation, offrant un analogue plus proche de la recherche dans le monde réel que des références telles que MMLU ou GSM8k. Alors que les LLM continuent d’intégrer le travail du savoir sérieux, les outils FutureSearch comme DRB seront essentiels pour évaluer non seulement ce que ces systèmes savent, mais aussi comment ils fonctionnent réellement.