Quão bons são os agentes de IA na pesquisa real? Dentro do relatório do Deep Research Bench

À medida que os grandes modelos de linguagem (LLMs) evoluem rapidamente, também evolui sua promessa como poderosos assistentes de pesquisa. Cada vez mais, eles não estão apenas respondendo a perguntas factuais simples – estão lidando com tarefas de “pesquisa profunda”, que envolvem raciocínio multi-etapas, avaliação de informações conflitantes, busca de dados em toda a web e síntese em uma saída coerente.

Essa capacidade emergente agora está sendo comercializada sob diferentes nomes de marca por laboratórios importantes – a OpenAI chama de “Deep Research”, a Anthropic se refere a ela como “Extended Thinking”, o Gemini da Google (GOOGL ) oferece recursos “Search + Pro” e a Perplexity rotula a sua como “Pro Search” ou “Deep Research”. Mas quão eficazes são essas ofertas na prática? Um novo relatório da FutureSearch, intitulado Deep Research Bench (DRB): Avaliando agentes de pesquisa da web, oferece a avaliação mais rigorosa até o momento – e os resultados revelam tanto capacidades impressionantes quanto limitações críticas.

O que é o Deep Research Bench?

Criado pela equipe da FutureSearch, o Deep Research Bench é um benchmark meticulosamente construído para avaliar o desempenho dos agentes de IA em tarefas de pesquisa baseadas na web e multi-etapas. Essas não são perguntas simples com respostas diretas – refletem os desafios abertos e complexos enfrentados por analistas, formuladores de políticas e pesquisadores em cenários do mundo real.

O benchmark inclui 89 tarefas distintas em 8 categorias, como:

• Encontrar Número: por exemplo, “Quantos recalls de dispositivos médicos de classe II da FDA ocorreram?”
• Validar Alegação: por exemplo, “O ChatGPT é 10 vezes mais intensivo em energia do que a busca do Google?”
• Compilar Conjunto de Dados: por exemplo, “Tendências de emprego para desenvolvedores de software nos EUA de 2019 a 2023”

Cada tipo de tarefa é cuidadosamente estruturado com respostas verificadas por humanos e avaliado usando um conjunto de dados congelado de páginas da web raspadas, conhecido como RetroSearch. Isso garante consistência em todo o modelo de avaliação, evitando o estado flutuante da web ao vivo.

A Arquitetura do Agente: ReAct e RetroSearch

No coração do Deep Research Bench está a arquitetura ReAct, abreviação de “Reason + Act”. Esse método imita como um pesquisador humano poderia abordar um problema – pensando no problema, realizando uma ação como uma busca na web, observando os resultados e decidindo se deve iterar ou concluir.

Enquanto modelos anteriores seguem esse loop explicitamente, modelos “pensantes” mais novos frequentemente simplificam o processo, incorporando o raciocínio de forma mais fluida às suas ações. Para garantir consistência em todo o modelo de avaliação, o DRB introduz o RetroSearch – uma versão estática personalizada da web. Em vez de confiar na internet ao vivo, que muda constantemente, os agentes acessam um arquivo curado de páginas da web raspadas usando ferramentas como Serper, Playwright e ScraperAPI. A escala é impressionante: para tarefas de alta complexidade, como “Coletar Evidências”, o RetroSearch pode fornecer acesso a mais de 189.000 páginas, todas congeladas no tempo, garantindo um ambiente de teste justo e reprodutível.

Quais agentes de IA performam melhor?

Entre todos os concorrentes, o o3 da OpenAI emergiu como o melhor desempenho, marcando 0,51 em uma escala de 1,0 no Deep Research Bench. Embora isso possa parecer modesto, é importante entender a dificuldade do benchmark: devido à ambiguidade nas definições de tarefas e pontuação, mesmo um agente perfeito provavelmente atingiria cerca de 0,8 – o que os pesquisadores chamam de “teto de ruído”. Em outras palavras, mesmo os melhores modelos de hoje ainda ficam aquém de pesquisadores humanos bem informados e metódicos.

Ainda assim, o ranking oferece insights reveladores. O o3 não apenas liderou o grupo, mas o fez com velocidade e consistência, mostrando um desempenho forte em quase todos os tipos de tarefas. O Claude 3.7 Sonnet da Anthropic seguiu de perto, demonstrando versatilidade tanto em seus modos “pensantes” quanto “não pensantes”. O Gemini 2.5 Pro, modelo de ponta da Google, se destacou por sua capacidade de lidar com tarefas que exigem planejamento estruturado e raciocínio passo a passo. Enquanto isso, o DeepSeek-R1 de peso aberto apresentou uma surpresa agradável – mantendo o ritmo com o GPT-4 Turbo e estreitando a lacuna de desempenho entre modelos de peso aberto e fechado.

Em todo o quadro, um padrão claro emergiu: modelos “pensantes” mais novos consistentemente superaram seus antecessores, e modelos de código fechado mantiveram uma vantagem notável sobre alternativas de peso aberto.

Onde os agentes lutam?

Ler os padrões de falha destacados no relatório do Deep Research Bench sentiu-se surpreendentemente familiar. Um dos aspectos mais frustrantes que eu pessoalmente encontrei – especialmente durante longas sessões de pesquisa ou criação de conteúdo – é quando um agente de IA simplesmente esquece o que estávamos fazendo. À medida que a janela de contexto se estende, o modelo frequentemente começa a perder o fio: detalhes importantes desaparecem, metas se confundem e, de repente, as respostas parecem desconexas ou sem direção. Em algum momento, aprendi que é frequentemente melhor cortar as perdas e começar de novo, mesmo que isso signifique jogar fora tudo o que foi gerado até então.

Esse tipo de esquecimento não é apenas anedótico – é o principal preditor de falha na avaliação do Deep Research Bench. Mas não é o único problema recorrente. O relatório também destaca como alguns modelos caem em uso repetitivo de ferramentas, executando a mesma busca repetidamente como se estivessem presos em um loop. Outros mostram má elaboração de consultas, fazendo correspondência de palavras-chave em vez de pensar criticamente sobre como buscar de forma eficaz. E, com muita frequência, os agentes sucumbem a conclusões prematuras – entregando uma resposta semi-formada que tecnicamente marca a caixa, mas falta de insight real.

Mesmo entre os melhores modelos, as diferenças são marcantes. O GPT-4 Turbo, por exemplo, mostrou uma tendência notável de esquecer etapas anteriores, enquanto o DeepSeek-R1 era mais propenso a alucinar ou inventar informações plausíveis, mas incorretas. Em todo o quadro, os modelos frequentemente falharam em verificar fontes ou validar descobertas antes de finalizar sua saída. Para qualquer pessoa que tenha confiado na IA para trabalhos sérios, esses problemas serão muito familiares – e eles sublinham quão longe ainda temos a ir na construção de agentes que possam realmente pensar e pesquisar como humanos.

E o desempenho baseado em memória?

Interessantemente, o Deep Research Bench também avaliou o que chama de “agentes sem ferramentas” – modelos de linguagem que operam sem acesso a ferramentas externas, como busca na web ou recuperação de documentos. Esses agentes confiam inteiramente em seus dados de treinamento internos e memória, gerando respostas com base apenas no que aprenderam durante o treinamento. Na prática, isso significa que não podem procurar nada ou verificar informações – estão adivinhando com base no que “lembram”.

Surpreendentemente, esses agentes sem ferramentas performaram quase tão bem quanto os agentes de pesquisa completa em certas tarefas. Por exemplo, na tarefa Validar Alegação – onde o objetivo é avaliar a plausibilidade de uma declaração – eles marcaram 0,61, quase igual à média de 0,62 dos agentes habilitados para ferramentas. Isso sugere que modelos como o3 e Claude têm fortes prioridades internas e podem frequentemente reconhecer a veracidade de alegações comuns sem precisar procurar na web.

Mas em tarefas mais exigentes – como Derivar Número, que requer juntar múltiplos valores de várias fontes, ou Coletar Evidências, que depende de encontrar e avaliar fatos diversos em contexto – esses modelos sem ferramentas completamente se desintegraram. Sem informações frescas ou capacidades de busca em tempo real, simplesmente careciam dos meios para produzir respostas precisas ou abrangentes.

Essa contraste destaca uma nuance importante: embora os LLMs de hoje possam simular “saber” muito, a pesquisa profunda depende não apenas da lembrança, mas do raciocínio com informações verificáveis e atualizadas – algo que apenas agentes aumentados por ferramentas podem realmente entregar.

Pensamentos Finais

O relatório do DRB deixa claro que, embora os melhores agentes de IA de hoje possam superar humanos médios em tarefas estreitamente definidas, eles ainda ficam atrás de pesquisadores gerais habilidosos – especialmente quando se trata de planejamento estratégico, adaptação no meio do processo e raciocínio com nuances.

Essa lacuna se torna especialmente óbvia durante sessões longas ou complexas – algo que eu experimentei pessoalmente, onde um agente gradualmente perde o propósito da tarefa, levando a um colapso frustrante na coerência e utilidade.

O que torna o Deep Research Bench tão valioso é que ele não testa apenas o conhecimento de superfície – ele investiga a interseção do uso de ferramentas, memória, raciocínio e adaptação, oferecendo um análogo mais próximo à pesquisa do mundo real do que benchmarks como MMLU ou GSM8k.

À medida que os LLMs continuam a se integrar ao trabalho de conhecimento sério, as ferramentas da FutureSearch, como o DRB, serão essenciais para avaliar não apenas o que esses sistemas sabem, mas como bem eles realmente funcionam.

on de uso de ferramentas, memória, raciocínio e adaptação, oferecendo um análogo mais próximo à pesquisa do mundo real do que benchmarks como MMLU ou GSM8k. À medida que os LLMs continuam a se integrar ao trabalho de conhecimento sério, as ferramentas da FutureSearch, como o DRB, serão essenciais para avaliar não apenas o que esses sistemas sabem, mas como bem eles realmente funcionam.