Nova Pesquisa Encontra Dezesseis Problemas Principais Com Sistemas RAG, Incluindo Perplexidade

Um estudo recente nos EUA descobriu que o desempenho no mundo real de sistemas de geração aumentada de recuperação (RAG) populares, como Perplexity e Bing Copilot, está muito aquém do marketing e da adoção popular que tem gerado manchetes nos últimos 12 meses.

O projeto, que envolveu uma participação extensiva de 21 especialistas, encontrou nada menos que 16 áreas em que os sistemas RAG estudados (You Chat, Bing Copilot e Perplexity) produziram causa para preocupação:

1: Falta de detalhe objetivo nas respostas geradas, com resumos genéricos e pouca profundidade contextual ou nuances.

2. Reforço de vieses de usuário percebidos, onde um motor RAG frequentemente falha em apresentar uma variedade de pontos de vista, mas sim infere e reforça o viés do usuário, com base na forma como o usuário formula uma pergunta.

3. Linguagem excessivamente confiante, particularmente em respostas subjetivas que não podem ser estabelecidas empiricamente, o que pode levar os usuários a confiar mais na resposta do que ela merece.

4: Linguagem simplista e falta de pensamento crítico e criatividade, onde as respostas efetivamente patrocinam o usuário com informações “dumbed-down” e “concordantes”, em vez de cogitação e análise pensadas.

5: Atribuição errada e citação de fontes, onde o motor de respostas usa fontes citadas que não suportam sua resposta, criando a ilusão de credibilidade.

6: Seleção de informações do contexto inferido, onde o agente RAG parece estar procurando respostas que suportem sua afirmação gerada e sua estimativa do que o usuário quer ouvir, em vez de basear suas respostas em análise objetiva de fontes confiáveis (possivelmente indicando um conflito entre os dados “baked” do LLM e os dados que ele obtém em tempo real da internet em resposta a uma consulta).

7: Omissão de citações que suportam afirmações, onde o material de fonte para respostas está ausente.

8: Fornecimento de nenhum esquema lógico para suas respostas, onde os usuários não podem questionar por que o sistema priorizou certas fontes sobre outras.

9: Número limitado de fontes, onde a maioria dos sistemas RAG normalmente fornece cerca de três fontes de suporte para uma afirmação, mesmo quando uma maior diversidade de fontes seria aplicável.

10: Fontes órfãs, onde os dados de todas ou algumas das citações de suporte do sistema não estão incluídos na resposta.

11: Uso de fontes não confiáveis, onde o sistema parece ter preferido uma fonte que é popular (ou seja, em termos de SEO) em vez de factualmente correta.

12: Fontes redundantes, onde o sistema apresenta múltiplas citações em que os artigos de fonte são essencialmente os mesmos em conteúdo.

13: Fontes não filtradas, onde o sistema oferece ao usuário nenhuma forma de avaliar ou filtrar as citações oferecidas, forçando os usuários a confiar nos critérios de seleção.

14: Falta de interatividade ou explorabilidade, onde vários participantes do estudo de usuário se frustraram porque os sistemas RAG não fizeram perguntas esclarecedoras, mas sim assumiram a intenção do usuário a partir da primeira consulta.

15: Necessidade de verificação externa, onde os usuários se sentem compelidos a realizar verificação independente das respostas fornecidas, removendo em grande parte a suposta conveniência do RAG como “substituto para a busca”.

16: Uso de métodos de citação acadêmica, como [1] ou [34]; isso é prática padrão em círculos acadêmicos, mas pode ser inintuitivo para muitos usuários.

Para o trabalho, os pesquisadores reuniram 21 especialistas em inteligência artificial, saúde e medicina, ciências aplicadas e educação e ciências sociais, todos pós-doutorandos ou candidatos a doutorado. Os participantes interagiram com os sistemas RAG testados enquanto falavam seus processos de pensamento em voz alta, para esclarecer (para os pesquisadores) seu próprio esquema racional.

O artigo cita extensivamente as dúvidas e preocupações dos participantes sobre o desempenho dos três sistemas estudados.

A metodologia do estudo de usuário foi então sistematizada em um estudo automatizado dos sistemas RAG, usando conjuntos de controle de navegador:

‘Uma avaliação automatizada em larga escala de sistemas como You.com, Perplexity.ai e BingChat mostrou que nenhum atendeu ao desempenho aceitável em maioria dos métricas, incluindo aspectos críticos relacionados ao tratamento de alucinações, afirmações não suportadas e precisão de citação.’

Os autores argumentam longamente (e assiduamente, no artigo abrangente de 27 páginas) que tanto novos quanto experientes usuários devem exercer cautela ao usar a classe de sistemas RAG estudados. Eles propõem ainda um novo sistema de métricas, baseado nas deficiências encontradas no estudo, que poderia formar a base de uma maior supervisão técnica no futuro.

No entanto, o crescente uso público de sistemas RAG leva os autores a também defender a legislação apropriada e um maior nível de política governamental aplicável em relação a interfaces de busca de IA auxiliada por agentes.

O estudo vem de cinco pesquisadores da Universidade Estadual da Pensilvânia e Salesforce, e é intitulado Buscadores em uma Era de IA: A Falsa Promessa de Respostas com Fontes Fatos e Verificáveis. O trabalho cobre sistemas RAG até o estado da arte em agosto de 2024

A Troca de RAG

Os autores prefaciam seu trabalho reiterando quatro deficiências conhecidas de Modelos de Linguagem Grande (LLM) onde são usados dentro de Motores de Respostas.

Primeiramente, eles são propensos a alucinar informações, e carecem da capacidade de detectar inconsistências factuais. Em segundo lugar, eles têm dificuldade em avaliar a precisão de uma citação no contexto de uma resposta gerada. Em terceiro lugar, eles tendem a favorecer dados de seus próprios pesos pré-treinados, e podem resistir a dados de documentação externamente recuperados, mesmo que esses dados sejam mais recentes ou mais precisos.

Finalmente, os sistemas RAG tendem a agradar as pessoas, comportamento sycophântico, frequentemente às custas da precisão das informações em suas respostas.

Todas essas tendências foram confirmadas em ambos os aspectos do estudo, entre muitas observações novas sobre as armadilhas do RAG.

O artigo vê o produto RAG SearchGPT da OpenAI (lançado para assinantes na semana passada, após o novo artigo ter sido submetido) como provável para encorajar a adoção de sistemas de busca baseados em RAG, apesar das deficiências fundamentais que os resultados da pesquisa sugerem*:

‘O lançamento do “SearchGPT” da OpenAI, comercializado como um “matador do Google Search”, exacerbam ainda mais as preocupações. À medida que a dependência dessas ferramentas cresce, também cresce a urgência de entender seu impacto. Lindemann introduz o conceito de Conhecimento Selado, que critica como esses sistemas limitam o acesso a respostas diversificadas, condensando consultas de busca em respostas singulares e autoritárias, efetivamente descontextualizando as informações e restringindo perspectivas do usuário.

‘Essa “selagem” do conhecimento perpetua vieses de seleção e restringe pontos de vista marginalizados.’

O Estudo

Os autores primeiro testaram seu procedimento de estudo em três dos 24 participantes selecionados, todos convidados por meio de LinkedIn ou e-mail.

A primeira etapa, para os 21 restantes, envolveu Recuperação de Informações de Especialidade, onde os participantes fizeram em média cerca de seis consultas de busca durante uma sessão de 40 minutos. Esta seção se concentrou na coleta e verificação de perguntas e respostas baseadas em fatos, com soluções empíricas potenciais.

A segunda fase tratou da Recuperação de Informações de Debate, que lidou com questões subjetivas, incluindo ecologia, vegetarianismo e política.

Respostas de estudo geradas por Perplexity (esquerda) e You Chat (direita). Fonte: https://arxiv.org/pdf/2410.22349

Como todos os sistemas permitiam pelo menos algum nível de interatividade com as citações fornecidas como suporte para as respostas geradas, os sujeitos do estudo foram encorajados a interagir com a interface tanto quanto possível.

Em ambos os casos, os participantes foram solicitados a formular suas consultas tanto por meio de um sistema RAG quanto por meio de um mecanismo de busca convencional (neste caso, Google).

Os três Motores de Respostas – You Chat, Bing Copilot e Perplexity – foram escolhidos porque são acessíveis publicamente.

A maioria dos participantes já eram usuários de sistemas RAG, em frequências variadas.

Devido a limitações de espaço, não podemos detalhar cada uma das 16 deficiências-chave encontradas no estudo, mas aqui apresentamos uma seleção de alguns dos exemplos mais interessantes e esclarecedores.

Falta de Detalhe Objetivo

O artigo observa que os usuários encontraram respostas frequentemente sem detalhe objetivo, tanto em respostas factuais quanto subjetivas. Um comentou:

‘Era apenas para responder sem realmente me dar uma resposta sólida ou uma resposta mais pensada, que eu consigo obter com várias buscas no Google.’

Outro observou:

‘É muito curto e resume tudo muito. [O modelo] precisa me dar mais dados para a afirmação, mas é muito resumido.’

Falta de Visão Holística

Os autores expressam preocupação com essa falta de nuances e especificidade, e afirmam que os Motores de Respostas frequentemente falharam em apresentar múltiplas perspectivas em qualquer argumento, tendendo a concordar com um viés percebido inferido da própria formulação da pergunta pelo usuário.

Um participante disse:

‘Quero descobrir mais sobre o lado oposto do argumento… isso é com um grão de sal, porque não sabemos o outro lado e as evidências e fatos.’

Outro comentou:

‘Não está me dando os dois lados do argumento; não está discutindo comigo. Em vez disso, [o modelo] está apenas me dizendo que “você está certo… e aqui estão os motivos pelos quais”.’

Linguagem Confiante

Os autores observam que todos os três sistemas testados exibiram o uso de linguagem excessivamente confiante, mesmo para respostas que abordam questões subjetivas. Eles argumentam que esse tom tenderá a inspirar confiança injustificada na resposta.

Um participante notou:

‘Escreve com tanta confiança que sinto-me convencido sem sequer olhar para a fonte. Mas quando você olha para a fonte, é ruim e isso me faz questionar novamente.’

Outro comentou:

‘Se alguém não sabe exatamente a resposta certa, confiará nisso mesmo quando está errado.’

Citações Incorretas

Outro problema frequente foi a atribuição errada de fontes citadas como autoridade para as respostas dos sistemas RAG, com um dos sujeitos do estudo afirmando:

‘[Essa] afirmação não parece estar na fonte. Quero dizer que a afirmação é verdadeira; é válida… mas não sei de onde está obtendo essa informação.’

Os autores do novo artigo comentam ^†:

‘Os participantes sentiram que os sistemas estavam usando citações para legitimar suas respostas, criando uma ilusão de credibilidade. Essa fachada foi revelada apenas para alguns usuários que procederam a examinar as fontes.’

Seleção de Informações para Agradar a Consulta

Voltando à noção de comportamento sycophântico e agradável em respostas RAG, o estudo encontrou que muitas respostas destacaram um ponto de vista particular em vez de resumir de forma abrangente o tópico, como um participante observou:

‘Sinto que [o sistema] é manipulador. Ele pega apenas algumas informações e sinto que sou manipulado para ver apenas um lado das coisas.’

Outro opinou:

‘[A fonte] tem tanto prós quanto contras, e escolheu pegar apenas os argumentos necessários desse link sem a visão geral.’

Para mais exemplos aprofundados (e várias citações críticas dos participantes do estudo), remetemos o leitor ao artigo de origem.

RAG Automatizado

Na segunda fase do estudo mais amplo, os pesquisadores usaram scripts baseados em navegador para solicitar sistematicamente consultas aos três motores RAG estudados. Em seguida, usaram um sistema LLM (GPT-4o) para analisar as respostas dos sistemas.

As afirmações foram analisadas para relevância da consulta e Afirmações Pró e Contra (ou seja, se a resposta é a favor, contra ou neutra em relação ao viés implícito da consulta.

Um Pontuação de Confiança da Resposta também foi avaliado nessa fase automatizada, com base no método de teste psicométrico de escala Likert. Aqui, o juiz LLM foi complementado por dois annotadores humanos.

Uma terceira operação envolveu o uso de raspagem de web para obter o conteúdo de texto completo de páginas da web citadas, por meio da ferramenta Jina.ai Reader. No entanto, como observado em outras partes do artigo, a maioria das ferramentas de raspagem de web não consegue acessar sites com paywall mais do que a maioria das pessoas (embora os autores observem que Perplexity.ai já conseguiu contornar essa barreira).

Considerações adicionais incluíam se as respostas citavam uma fonte (computada como uma ‘matriz de citação’), bem como uma ‘matriz de suporte factual’ – uma métrica verificada com a ajuda de quatro annotadores humanos.

Assim, 8 métricas abrangentes foram obtidas: resposta unilateral; resposta excessivamente confiante; afirmação relevante; fontes não citadas; afirmações não suportadas; necessidade de fonte; precisão de citação; e exaustividade de citação.

O material contra o qual essas métricas foram testadas consistiu em 303 perguntas curadas da fase do estudo de usuário, resultando em 909 respostas nos três sistemas RAG testados.

Avaliação quantitativa nos três sistemas RAG testados, com base em oito métricas.

Quanto aos resultados, o artigo afirma:

‘Olhando para as três métricas relacionadas ao texto da resposta, encontramos que todos os motores de respostas avaliados frequentemente (50-80%) geram respostas unilaterais, favorecendo a concordância com uma formulação carregada de uma pergunta de debate sobre a apresentação de múltiplas perspectivas na resposta, com Perplexity apresentando um desempenho pior do que os outros dois motores.

‘Essa descoberta está de acordo com [as descobertas] de nossos resultados qualitativos. Surpreendentemente, embora Perplexity seja mais provável de gerar uma resposta unilateral, também gera as respostas mais longas (18,8 afirmações por resposta em média), indicando que a falta de diversidade de respostas não se deve à brevidade da resposta.

‘Em outras palavras, aumentar o comprimento da resposta não melhora necessariamente a diversidade da resposta.’

Os autores também observam que Perplexity é mais provável de usar linguagem confiante (90% das respostas), e que, em contraste, os outros dois sistemas tendem a usar linguagem mais cautelosa e menos confiante quando o conteúdo é subjetivo.

You Chat foi o único quadro RAG a alcançar zero fontes não citadas para uma resposta, com Perplexity em 8% e Bing Chat em 36%.

Todos os modelos mostraram uma ‘proporção significativa’ de afirmações não suportadas, e o artigo declara^†:

‘O quadro RAG é anunciado para resolver o comportamento alucinatório dos LLMs, forçando um LLM a gerar uma resposta baseada em documentos de fonte, no entanto, os resultados mostram que os motores de respostas baseados em RAG ainda geram respostas que contêm uma grande proporção de afirmações não suportadas pelas fontes que fornecem.‘

Além disso, todos os sistemas testados tiveram dificuldade em apoiar suas afirmações com citações:

‘You.Com e [Bing Chat] desempenham ligeiramente melhor do que Perplexity, com cerca de dois terços das citações apontando para uma fonte que suporta a afirmação citada, e Perplexity desempenha pior, com mais da metade de suas citações sendo imprecisas.

‘Esse resultado é surpreendente: a citação não é apenas incorreta para afirmações que não são suportadas por nenhuma fonte, mas também encontramos que, mesmo quando existe uma fonte que suporta uma afirmação, todos os motores ainda frequentemente citam uma fonte incorreta diferente, perdendo a oportunidade de fornecer informações de fonte corretas ao usuário.

‘Em outras palavras, o comportamento alucinatório não é apenas exibido em afirmações que não são suportadas pelas fontes, mas também em citações imprecisas que impedem que os usuários verifiquem a validade das informações.‘

Os autores concluem:

‘Nenhum dos motores de respostas atinge um desempenho bom na maioria das métricas, destacando o grande espaço para melhoria nos motores de respostas.’

* Minha conversão das citações em linha dos autores para hiperlinks. Onde necessário, escolhi a primeira de múltiplas citações para o hiperlink, devido a questões práticas de formatação.

^† Ênfase dos autores, não minha.

Publicado pela primeira vez na segunda-feira, 4 de novembro de 2024