Menos é Mais: Por Que Recuperar Menos Documentos Pode Melhorar as Respostas da IA

Geração Aumentada por Recuperação (RAG) é uma abordagem para construir sistemas de IA que combina um modelo de linguagem com uma fonte de conhecimento externa. Em termos simples, a IA primeiro procura por documentos relevantes (como artigos ou páginas da web) relacionados à consulta do usuário e, em seguida, usa esses documentos para gerar uma resposta mais precisa. Esse método tem sido celebrado por ajudar modelos de linguagem grandes (LLMs) a permanecerem factuais e reduzir alucinações, fundamentando suas respostas em dados reais.

Intuitivamente, alguém pode pensar que, quanto mais documentos a IA recuperar, melhor informada será sua resposta. No entanto, pesquisas recentes sugerem uma reviravolta surpreendente: quando se trata de fornecer informações para uma IA, às vezes menos é mais.

Menos Documentos, Melhores Respostas

Um novo estudo realizado por pesquisadores da Universidade Hebraica de Jerusalém explorou como o número de documentos fornecidos a um sistema RAG afeta seu desempenho. Crucialmente, eles mantiveram a quantidade total de texto constante – significando que, se menos documentos fossem fornecidos, esses documentos eram ligeiramente expandidos para preencher o mesmo comprimento que muitos documentos teriam. Dessa forma, quaisquer diferenças de desempenho poderiam ser atribuídas à quantidade de documentos, e não simplesmente por ter uma entrada mais curta.

Os pesquisadores usaram um conjunto de dados de resposta a perguntas (MuSiQue) com perguntas de trivia, cada uma originalmente emparelhada com 20 parágrafos do Wikipedia (apenas alguns dos quais realmente contêm a resposta, com o resto sendo distratores). Ao reduzir o número de documentos de 20 para apenas 2-4 realmente relevantes – e preenchendo esses com um pouco de contexto extra para manter um comprimento consistente –, eles criaram cenários nos quais a IA tinha menos materiais para considerar, mas ainda assim aproximadamente as mesmas palavras para ler.

Os resultados foram surpreendentes. Na maioria dos casos, os modelos de IA responderam com mais precisão quando lhes foram fornecidos menos documentos em vez do conjunto completo. O desempenho melhorou significativamente – em alguns casos, até 10% em precisão (pontuação F1) quando o sistema usou apenas os poucos documentos de apoio em vez de uma grande coleção. Esse aumento contraintuitivo foi observado em vários modelos de linguagem de código aberto diferentes, incluindo variantes do Llama da Meta e outros, indicando que o fenômeno não está ligado a um único modelo de IA.

Um modelo (Qwen-2) foi uma exceção notável que lidou com vários documentos sem perda de pontuação, mas quase todos os modelos testados se saíram melhor com menos documentos no geral. Em outras palavras, adicionar mais material de referência além das peças realmente relevantes na verdade prejudicou seu desempenho mais frequentemente do que o ajudou.

Fonte: Levy et al.

Por que isso é tão surpreendente? Tipicamente, os sistemas RAG são projetados sob a suposição de que recuperar uma faixa mais ampla de informações pode apenas ajudar a IA – afinal, se a resposta não estiver nos primeiros documentos, pode estar no décimo ou vigésimo.

Este estudo inverte esse roteiro, demonstrando que empilhar indiscriminadamente documentos extras pode ter efeitos colaterais. Mesmo quando o comprimento total do texto foi mantido constante, a mera presença de muitos documentos diferentes (cada um com seu próprio contexto e peculiaridades) tornou a tarefa de resposta a perguntas mais desafiadora para a IA. Parece que, além de um certo ponto, cada documento adicional introduziu mais ruído do que sinal, confundindo o modelo e prejudicando sua capacidade de extrair a resposta correta.

Por Que Menos Pode Ser Mais em RAG

Esse resultado de “menos é mais” faz sentido assim que consideramos como os modelos de linguagem de IA processam informações. Quando uma IA é fornecida apenas com os documentos mais relevantes, o contexto que ela vê é focado e livre de distrações, muito como um estudante que recebeu apenas as páginas certas para estudar.

Nos estudos, os modelos se saíram significativamente melhor quando lhes foram fornecidos apenas os documentos de apoio, com material irrelevante removido. O contexto restante não era apenas mais curto, mas também mais limpo – continha fatos que apontavam diretamente para a resposta e nada mais. Com menos documentos para manipular, o modelo podia dedicar sua atenção total às informações pertinentes, tornando-o menos provável que se desviasse ou se confundisse.

Por outro lado, quando muitos documentos foram recuperados, a IA teve que vasculhar uma mistura de conteúdo relevante e irrelevante. Muitas vezes esses documentos extras eram “semelhantes, mas não relacionados” – compartilhavam um tópico ou palavras-chave com a consulta, mas não continham a resposta. Tal conteúdo pode enganar o modelo. A IA pode gastar esforço tentando conectar pontos entre documentos que não levam a uma resposta correta ou, pior, pode mesclar informações de múltiplas fontes de forma incorreta. Isso aumenta o risco de alucinações – instâncias em que a IA gera uma resposta que soa plausível, mas não está fundamentada em nenhuma fonte única.

Em essência, fornecer muitos documentos para o modelo pode diluir as informações úteis e introduzir detalhes conflitantes, tornando mais difícil para a IA decidir o que é verdade.

Interessantemente, os pesquisadores descobriram que, se os documentos extras fossem obviamente irrelevantes (por exemplo, texto aleatório não relacionado), os modelos eram melhores em ignorá-los. O problema real vem de dados distraídos que parecem relevantes: quando todos os textos recuperados são sobre tópicos semelhantes, a IA assume que deve usá-los todos, e pode lutar para dizer quais detalhes são realmente importantes. Isso está alinhado com a observação do estudo de que distratores aleatórios causaram menos confusão do que distratores realistas na entrada. A IA pode filtrar besteiras óbvias, mas informações ligeiramente fora do tópico são uma armadilha traiçoeira – elas se infiltram sob a aparência de relevância e descarrilham a resposta. Ao reduzir o número de documentos para apenas os necessários, evitamos armadilhas como essas desde o início.

Há também um benefício prático: recuperar e processar menos documentos reduz a sobrecarga computacional para um sistema RAG. Cada documento que é puxado tem que ser analisado (incorporado, lido e atendido pelo modelo), o que usa tempo e recursos computacionais. Eliminar documentos supérfluos torna o sistema mais eficiente – ele pode encontrar respostas mais rapidamente e a um custo mais baixo. Em cenários onde a precisão melhorou ao se concentrar em menos fontes, obtemos uma vitória dupla: respostas melhores e um processo mais magro e eficiente.

Fonte: Levy et al.

Repensando RAG: Direções Futuras

Essa nova evidência de que a qualidade muitas vezes supera a quantidade na recuperação tem implicações importantes para o futuro dos sistemas de IA que dependem de conhecimento externo. Isso sugere que os designers de sistemas RAG devem priorizar a filtragem inteligente e o ranqueamento de documentos sobre a mera quantidade. Em vez de buscar 100 passagens possíveis e esperar que a resposta esteja enterrada em algum lugar, pode ser mais sábio buscar apenas as poucas passagens altamente relevantes.

Os autores do estudo enfatizam a necessidade de métodos de recuperação “equilibrarem relevância e diversidade” nas informações que fornecem a um modelo. Em outras palavras, queremos fornecer cobertura suficiente do tópico para responder à pergunta, mas não tanto que os fatos centrais sejam afogados em um mar de texto extrínseco.

À medida que avançamos, os pesquisadores provavelmente explorarão técnicas que ajudem os modelos de IA a lidar com múltiplos documentos de forma mais graciosa. Uma abordagem é desenvolver sistemas de recuperação ou reclassificadores melhores que possam identificar quais documentos realmente adicionam valor e quais apenas introduzem conflito. Outro ângulo é melhorar os próprios modelos de linguagem: se um modelo (como o Qwen-2) conseguiu lidar com muitos documentos sem perder precisão, examinar como ele foi treinado ou estruturado pode oferecer pistas para tornar outros modelos mais robustos. Talvez os futuros modelos de linguagem grandes incorporem mecanismos para reconhecer quando duas fontes estão dizendo a mesma coisa (ou se contradizendo) e se concentrar de acordo. O objetivo seria permitir que os modelos utilizem uma rica variedade de fontes sem cair na confusão – efetivamente obtendo o melhor de ambos os mundos (amplitude de informações e clareza de foco).

É também digno de nota que, à medida que os sistemas de IA ganham janelas de contexto maiores (a capacidade de ler mais texto de uma vez), simplesmente despejar mais dados no prompt não é uma bala de prata. Um contexto maior não significa automaticamente melhor compreensão. Este estudo mostra que, mesmo que uma IA possa tecnicamente ler 50 páginas de uma vez, fornecer 50 páginas de informações de qualidade mista pode não produzir um bom resultado. O modelo ainda se beneficia de ter conteúdo curado e relevante para trabalhar, em vez de um despejo indiscriminado. Na verdade, a recuperação inteligente pode se tornar ainda mais crucial na era de janelas de contexto gigantes – para garantir que a capacidade extra seja usada para conhecimento valioso em vez de ruído.

As descobertas de “Mais Documentos, Mesmo Comprimento” (o estudo apropriadamente intitulado) incentivam uma reexaminação de nossas suposições na pesquisa de IA. Às vezes, fornecer à IA todos os dados que temos não é tão eficaz quanto pensamos. Ao nos concentrarmos nas peças mais relevantes de informação, não apenas melhoramos a precisão das respostas geradas pela IA, mas também tornamos os sistemas mais eficientes e fáceis de confiar. É uma lição contraintuitiva, mas com ramificações emocionais: os futuros sistemas RAG podem ser tanto mais inteligentes quanto mais magros, escolhendo cuidadosamente menos, melhores documentos para recuperar.