¿Cuán buenos son los agentes de IA en la investigación real? Dentro del informe de Deep Research Bench

A medida que los grandes modelos de lenguaje (LLM) evolucionan rápidamente, también lo hace su promesa como asistentes de investigación poderosos. Cada vez más, no solo responden preguntas fácticas simples, sino que también abordan tareas de “investigación profunda”, que involucran razonamiento multi-paso, evaluación de información contradictoria, búsqueda de datos en toda la web y síntesis en una salida coherente.

Esta capacidad emergente ahora se comercializa bajo diferentes nombres de marca por laboratorios importantes: OpenAI la llama “Deep Research”, Anthropic se refiere a ella como “Pensamiento Extendido”, Gemini de Google (GOOGL ) ofrece características “Buscar + Pro” y Perplexity etiqueta la suya como “Búsqueda Pro” o “Investigación Profunda”. Pero, ¿cuán efectivas son estas ofertas en la práctica? Un nuevo informe de FutureSearch, titulado Deep Research Bench (DRB): Evaluación de agentes de investigación web, ofrece la evaluación más rigurosa hasta la fecha, y los resultados revelan tanto capacidades impresionantes como limitaciones críticas.

¿Qué es Deep Research Bench?

Creado por el equipo de FutureSearch, Deep Research Bench es una referencia meticulosamente construida diseñada para evaluar el rendimiento de los agentes de IA en tareas de investigación web multi-paso. Estas no son preguntas simples con respuestas directas, sino que reflejan los desafíos abiertos y complejos que enfrentan los analistas, formuladores de políticas y investigadores en entornos del mundo real.

La referencia incluye 89 tareas distintas en 8 categorías, como:

• Encontrar número: por ejemplo, “¿Cuántas retiradas de dispositivos médicos de clase II de la FDA ocurrieron!”
• Validar afirmación: por ejemplo, “¿Es ChatGPT 10 veces más intensivo en energía que la búsqueda de Google?”
• Compilar conjunto de datos: por ejemplo, “Tendencias laborales para desarrolladores de software de EE. UU. desde 2019 hasta 2023”

Cada tipo de tarea está cuidadosamente estructurado con respuestas verificadas por humanos y evaluado utilizando un conjunto de datos congelado de páginas web raspadas, conocido como RetroSearch. Esto garantiza la consistencia en las evaluaciones de los modelos, evitando el estado fluctuante de la web en vivo.

La arquitectura del agente: ReAct y RetroSearch

En el corazón de Deep Research Bench se encuentra la arquitectura ReAct, abreviatura de “Razonar + Actuar”. Este método imita cómo un investigador humano podría abordar un problema: pensando en la tarea, realizando una acción como una búsqueda en la web, observando los resultados y decidiendo si iterar o concluir.

Mientras que los modelos anteriores siguen este bucle explícitamente, los modelos “pensantes” más nuevos a menudo simplifican el proceso, incorporando el razonamiento de manera más fluida en sus acciones. Para garantizar la consistencia en las evaluaciones, DRB introduce RetroSearch, una versión estática personalizada de la web. En lugar de confiar en Internet en vivo, que cambia constantemente, los agentes acceden a un archivo curado de páginas web raspadas utilizando herramientas como Serper, Playwright y ScraperAPI. La escala es impresionante: para tareas de alta complejidad como “Recopilar evidencia”, RetroSearch puede proporcionar acceso a más de 189.000 páginas, todas congeladas en el tiempo, garantizando un entorno de prueba justo y replicable.

¿Qué agentes de IA funcionan mejor?

Entre todos los contendientes, o3 de OpenAI emergió como el mejor rendimiento, obteniendo 0,51 de un posible 1,0 en Deep Research Bench. Aunque eso puede sonar modesto, es importante entender la dificultad de la referencia: debido a la ambigüedad en las definiciones de las tareas y la puntuación, incluso un agente perfecto probablemente se quedaría corto alrededor de 0,8, lo que los investigadores llaman el “techo de ruido”. En otras palabras, incluso los mejores modelos de hoy en día todavía no alcanzan a los investigadores humanos bien informados y metódicos.

Sin embargo, la clasificación ofrece perspectivas reveladoras. o3 no solo lideró el paquete, sino que lo hizo con velocidad y consistencia, mostrando un rendimiento sólido en casi todos los tipos de tareas. Claude 3.7 Sonnet de Anthropic siguió de cerca, demostrando versatilidad en ambos modos “pensantes” y “no pensantes”. Gemini 2.5 Pro, el modelo insignia de Google, se destacó por su capacidad para manejar tareas que requieren planificación estructurada y razonamiento paso a paso. Mientras que DeepSeek-R1, de peso abierto, entregó una agradable sorpresa, manteniendo el ritmo de GPT-4 Turbo y reduciendo la brecha de rendimiento entre modelos de peso abierto y cerrado.

En todo el tablero, surgió un patrón claro: los modelos “pensantes” más nuevos consistentemente superaron a sus contrapartes anteriores, y los modelos de código cerrado mantuvieron una ventaja notable sobre las alternativas de peso abierto.

¿Dónde luchan los agentes?

Leer los patrones de falla resaltados en el informe de Deep Research Bench se sintió sorprendentemente familiar. Uno de los aspectos más frustrantes que he encontrado personalmente, especialmente durante largas sesiones de investigación o creación de contenido, es cuando un agente de IA simplemente se olvida de lo que estábamos haciendo. A medida que la ventana de contexto se estira, el modelo a menudo comienza a perder el hilo: los detalles clave se desvanecen, los objetivos se confunden y, de repente, las respuestas se sienten desconectadas o sin rumbo. En algún punto, he aprendido que a menudo es mejor cortar pérdidas y empezar de nuevo, incluso si eso significa tirar todo lo que se ha generado hasta ahora.

Ese tipo de olvido no es solo anecdótico, es el predictor más significativo de falla en la evaluación de Deep Research Bench. Pero no es el único problema recurrente. El informe también destaca cómo algunos modelos caen en un uso repetitivo de herramientas, ejecutando la misma búsqueda una y otra vez como si estuvieran atrapados en un bucle. Otros muestran una mala elaboración de consultas, coincidiendo perezosamente con palabras clave en lugar de pensar críticamente sobre cómo buscar de manera efectiva. Y, con demasiada frecuencia, los agentes sucumben a conclusiones prematuras, entregando una respuesta a medias que técnicamente marca la casilla pero se queda corta de una verdadera perspicacia.

Incluso entre los mejores modelos, las diferencias son marcadas. GPT-4 Turbo, por ejemplo, mostró una tendencia notable a olvidar los pasos anteriores, mientras que DeepSeek-R1 era más propenso a alucinar o inventar información plausible pero incorrecta. En todo el tablero, los modelos fallaron con frecuencia al verificar fuentes o validar hallazgos antes de finalizar su salida. Para cualquiera que haya confiado en la IA para trabajo serio, estos problemas serán dolorosamente familiares y subrayan cuánto camino nos queda por recorrer en la construcción de agentes que puedan verdaderamente pensar y investigar como humanos.

¿Qué pasa con el rendimiento basado en la memoria?

Curiosamente, Deep Research Bench también evaluó lo que llama “agentes sin herramientas”, modelos de lenguaje que operan sin acceso a herramientas externas como la búsqueda en la web o la recuperación de documentos. Estos agentes dependen enteramente de sus datos de entrenamiento internos y memoria, generando respuestas basadas únicamente en lo que han aprendido durante el entrenamiento. En la práctica, esto significa que no pueden buscar nada ni verificar información, están adivinando basándose en lo que “recuerdan”.

Sorprendentemente, estos agentes sin herramientas funcionaron casi tan bien como los agentes de investigación completos en ciertas tareas. Por ejemplo, en la tarea de Validar afirmación, donde el objetivo es evaluar la plausibilidad de una declaración, obtuvieron 0,61, casi empatando con el promedio de 0,62 de los agentes habilitados para herramientas. Esto sugiere que modelos como o3 y Claude tienen fuertes priores internos y pueden a menudo reconocer la veracidad de afirmaciones comunes sin necesidad de buscar en la web.

Pero en tareas más exigentes, como Derivar número, que requiere ensamblar múltiples valores de diversas fuentes, o Recopilar evidencia, que depende de encontrar y evaluar hechos diversos en contexto, estos modelos sin herramientas se desmoronaron por completo. Sin información fresca ni capacidades de búsqueda en tiempo real, simplemente carecían de los medios para producir respuestas precisas o completas.

Este contraste destaca una importante sutileza: mientras que los LLM actuales pueden simular “saber” mucho, la investigación profunda depende no solo de la memoria, sino de razonar con información verificable y actualizada, algo que solo los agentes con herramientas pueden verdaderamente ofrecer.

Pensamientos finales

El informe de DRB deja claro que, aunque los mejores agentes de IA de hoy en día pueden superar a los humanos promedio en tareas estrechamente definidas, todavía se quedan atrás de los investigadores generales habilidosos, especialmente cuando se trata de planificar estratégicamente, adaptarse en el proceso y razonar con nuance.

Esta brecha se vuelve especialmente obvia durante sesiones largas o complejas, algo que he experimentado en primera persona, donde un agente gradualmente pierde la pista del propósito de la tarea, lo que lleva a un frustrante colapso en la coherencia y utilidad.

Lo que hace que Deep Research Bench sea tan valioso es que no solo prueba el conocimiento de superficie, sino que también explora la intersección de herramientas, memoria, razonamiento y adaptación, ofreciendo un análogo más cercano a la investigación del mundo real que referencias como MMLU o GSM8k.

A medida que los LLM continúan integrándose en el trabajo de conocimiento serio, herramientas de FutureSearch como DRB serán esenciales para evaluar no solo lo que estos sistemas saben, sino cómo funcionan en realidad.

El informe de DRB también destaca la importancia de desarrollar agentes de IA que puedan pensar y razonar como humanos, y no solo proporcionar respuestas basadas en patrones y asociaciones. Esto requiere un enfoque más integral en la investigación y el desarrollo de la IA, que tenga en cuenta no solo la precisión y la eficiencia, sino también la capacidad de los agentes para adaptarse y aprender en contextos complejos.