Por que o seu RAG biomédico está escondendo contradições de você

O RAG biomédico padrão resolve evidências conflitantes silenciosamente em cerca de três de cada quatro consultas. A solução é estrutural, não informativa — e a maioria da complexidade upstream que as equipes adicionam não ajuda.

Faça uma pergunta simples a um assistente clínico de recuperação aumentada — o melatonina ajuda com o jet lag? — e a literatura que ele recupera não concordará consigo mesma.

A revisão da Cochrane concluiu que a melatonina é remarcadamente eficaz, com oito de dez estudos incluídos mostrando redução do jet lag em voos que cruzam cinco ou mais fusos horários. Um estudo randomizado e duplo-cego de 257 médicos noruegueses na Revista Americana de Psiquiatria encontrou nenhum benefício de qualquer um dos três regimes de melatonina.

Ambos os documentos são reais. Ambos são metodologicamente sérios. Qualquer clínico que decide o que recomendar precisa saber que eles discordam.

Em testes controlados, a síntese geralmente não disse isso. Ela produziu um parágrafo fluente e corretamente citado que se inclinou para um lado e nunca sinalizou que o outro lado existia.

Isso é cegueira para contradições. Em um benchmark de contradições emparelhadas biomédicas, isso ocorreu em 72,6 por cento das consultas (IC 95% 0,697-0,755). A saída foi normal. As citações foram resolvidas corretamente. Os controles de qualidade padrão passaram. A discordância simplesmente desapareceu.

O modo de falha que parece sucesso

Enquanto não há convergência direta em evidências relacionadas à biomedicina, estudos mostram resultados conflitantes entre o uso de estudos observacionais versus ensaios clínicos randomizados (ECR) e também métodos variados usados para diferentes populações de pacientes; no entanto, um estudo também pode incluir tanto metodologia forte quanto fraca, o que pareceria ter o mesmo peso.

Isso não é um caso único. A análise de Ioannidis sobre pesquisa clínica altamente citada encontrou que 16 por cento dos estudos mais citados foram posteriormente contraditos, e que estudos observacionais eram muito mais propensos a ser contraditos ou ter seus efeitos revisados para baixo — cinco de seis, contra nove de trinta e nove. Portanto, a questão não é apenas a discordância entre estudos, mas sim uma parte estrutural da literatura em si.

Portanto, como uma função crítica de qualquer sistema de geração aumentada de recuperação biomédica, gerar evidências sobre discordâncias entre estudos deve ser um objetivo principal. No entanto, a maioria dos sistemas falha em realizar essa tarefa. Usando o benchmark HealthContradict com 920 exemplos emparelhados de contradições, demonstrou-se que um RAG padrão falhou em gerar as discordâncias em aproximadamente 73 por cento dos pares testados. O problema não é a recuperação. O sistema recupera ambos os lados. Em seguida, resolve o conflito silenciosamente, a favor de um deles.

Um exame manual de 50 casos de falha estratificados produziu um padrão que eu chamo de aplanamento epistemológico. Ambos os documentos são citados individualmente pelo modelo, e sua representação do conflito é descrita em termos de gradientes de confiança (“evidência anedótica … estudos científicos indicam…”) como se nenhum conflito existisse. Menos de 5 por cento desses casos de falha usaram as palavras “contradição”, “conflito” ou “discordância” em absoluto. A saída gerada teve uma taxa de precisão de citação de 0,99. Esse é exatamente o ponto: a precisão da citação não implica conscientização sobre contradições. Um sistema pode atribuir cada sentença perfeitamente e ainda dizer a um clínico algo que a base de evidências não suporta.

Três recursos da “síntese” do RAG criam um ambiente clínico perigoso.

Invertendo o valor da proposta. O propósito do RAG é exibir evidências relevantes para os clínicos. Portanto, ao remover o aspecto(s) daquela evidência que são mais importantes para os clínicos revisarem, ele efetivamente realiza o oposto.

Criando invisibilidade. Como não há nenhuma ressalva, ou truncamento, ou artefato de formato; uma síntese “aplanada” e uma síntese fiel parecem indistinguíveis na tela.

Compensando silenciosamente em escala. Nada em um conjunto de avaliação padrão sinaliza isso, então um sistema pode executar em produção por meses enquanto cada consulta conflitante é resolvida silenciosamente em uma direção.

Informação não é a alavanca

Uma solução óbvia para esse problema seria informar o modelo. Claramente, se o modo de falha era que o modelo não identificava que dois documentos estavam em conflito, você poderia simplesmente adicionar uma etiqueta de posição “SUPPORT” ou “CONTRADICT” a cada um dos documentos recuperados. Isso deveria obviamente melhorar o desempenho do modelo. Não foi isso que aconteceu.

Em um experimento em que adicionamos etiquetas de posição (por meio de anotação) para dar explicitamente ao modelo a informação de que dois documentos estavam em conflito, encontramos que a anotação explícita de posição moveu a cegueira para contradições de 93,8 por cento no braço de controle não anotado para 91,4 por cento — uma diferença com intervalos de confiança sobrepostos e sem significado prático. Embora o modelo tenha recebido a informação de que dois documentos estavam em conflito, sua distribuição de resposta padrão permaneceu inalterada.

Entender o mecanismo é útil aqui. Informações adicionadas passivamente a um prompt não mudam a distribuição de resposta padrão do modelo. Para questões biomédicas carregadas de contradições, essa distribuição favorece fortemente uma posição consolidada. Etiquetas de posição se tornam tokens extras — frequentemente reciclados em títulos de seção — enquanto a prosa reverte ao tipo.

Estrutura é a alavanca

O que funcionou foi estrutural, em vez de ser informativo; em vez de fornecer ao modelo todas as informações factuais ou corretas sobre os documentos, a estrutura exigia que a síntese fosse construída em termos de possíveis discordâncias (Acordo, Discordância, Qualidade da Evidência, Conclusão). O prompt estruturado fornece ao modelo nenhuma informação mais do que o controle não anotado. A única diferença é o que o modelo tem que fazer.

Houve reduções de aproximadamente dezenove vezes — de 93,8 por cento para 4,9 por cento — na cegueira para contradições sem retreinamento, sem modificações no pipeline, sem aumento na latência e sem aumentos nos custos por consulta.

Isso não é raciocínio aprimorado. Isso é simplesmente alocação forçada. Uma vez que o modelo deve fornecer uma seção de Discordância, ele volta aos documentos que inicialmente recuperou procurando algo para incluir nessa seção.

Cegueira para contradições sob três condições de síntese em ablação controlada. Adicionar informações de posição moveu a taxa em 2,4 pontos; mudar a estrutura de saída exigida moveu em 86,5.

O estímulo estruturado é menos sobre melhorar a capacidade do modelo de raciocinar e mais sobre fornecer uma governança leve sobre como o comportamento de geração do modelo aloca o espaço de saída. Ele força o modelo a gastar algum tempo do seu espaço de saída em discordância (a diferença entre as informações disponíveis e as informações que precisam aparecer para atender aos requisitos).

Isso muda uma suposição arquitetônica comum. A maioria das melhorias propostas para RAG adiciona informações ao contexto: mais documentos, pontuações de recuperação, etiquetas de posição, metadados de grau de evidência. A menos que o prompt de síntese tenha requisitos específicos para que essas informações moldem a estrutura de saída, a maioria não mudará o comportamento do modelo. Mudar a entrada desloca a massa nas margens; mudar as estruturas de saída exigidas muda as distribuições diretamente

Por que os ajudantes esperados não ajudam

Dois elementos comumente vistos como essenciais para RAG biomédico consciente de contradições forneceram muito pouco quando testados com ablação controlada.

1) Decomposição PICO. PICO (População, Intervenção, Comparação, Resultado) é uma maneira organizada de quebrar perguntas clínicas em partes componentes para uso em medicina baseada em evidências. A hipótese era que decompor afirmações em campos PICO restringiria a deriva de escopo e melhoraria a detecção de contradições em evidências heterogêneas. A remoção desse nível resultou em saída quase indistinguível daquela gerada pelo sistema completo. Embora PICO possa ser útil para organizar seus pensamentos durante a tomada de decisões clínicas; como uma inferência na época da análise para apoiar a detecção de contradições, ela não tem contribuição mensurável.

2) Classificação explícita de posição. Em contraste com a remoção de PICO, a classificação explícita de posição funcionou mal, mas de maneira diferente. Em corpora acadêmicos limpos, ela produziu pequenos ganhos em algumas métricas. No entanto, ao analisar texto da web barulhento — que é normalmente como os aplicativos de saúde voltados para o consumidor terão acesso às informações — o classificador retornou NÃO_SUFICIENTE_INFORMAÇÃO para a maioria dos documentos, principalmente porque os autores de conteúdo de saúde voltado para o consumidor não declaram normalmente sua posição usando linguagem declarativa esperada pelo classificador. Consequentemente, essas etiquetas, como não informativas, foram propagadas no contexto de síntese como ruído. A remoção da etapa para corpora barulhentos melhorou marginalmente a detecção de contradições.

A verdadeira gargalo é a qualidade do sinal upstream

A conclusão mais importante deste estudo é que a capacidade de reconhecer contradições em fontes é limitada por quão precisa é a informação (dados) sobre essas fontes, mais do que como elas foram construídas ou estruturadas.

A utilização da qualidade da evidência — a proporção de casos em que a síntese cita preferencialmente a fonte de maior qualidade quando ambas estão disponíveis — foi 0,83 em resumos científicos limpos e caiu abaixo de 0,15 em recuperação da web barulhenta. A fidelidade de citação semântica seguiu o mesmo padrão, de 0,66 em resumos para 0,45 em conteúdo de saúde do consumidor.

Identical pipelines, different corpora. Contradiction handling is capped by the explicitness of the signals in the source documents.

Há uma razão estrutural para isso. Documentos recuperados do mundo real frequentemente carecem dos sinais que qualquer classificador ou mecanismo de ponderação depende: metadados de tipo de publicação, declarações de posição explícitas, descrições de metodologia. Resumos de artigos de revisão por pares fazem afirmações declarativamente sobre populações, metodologias e resultados específicos. As mesmas afirmações são feitas dentro de linguagem anedótica, persuasiva e hesitante em artigos de saúde do consumidor. Portanto, sistemas idênticos produzem comportamentos drasticamente diferentes downstream com base no que recebem como entrada.

Isso também é apoiado pela maior avaliação de especialistas de RAG médica já publicada, na qual dezoito especialistas médicos contribuíram com 80.502 anotações em 800 saídas do modelo. Apenas 22 por cento das passagens recuperadas no top-16 foram relevantes. O RAG padrão degradou a factualidade e a completude em relação às linhas de base não RAG. A recuperação e a seleção de evidências, e não a geração, foram os principais pontos de falha — um eco do que trabalho de benchmark em RAG médica tem relatado por dois anos.

Embora haja uma implicação relativamente limitada dessa descoberta em termos de aplicação, pode-se dizer conclusivamente que a capacidade do seu sistema de lidar com contradições quando recupera de resumos de PubMed não pode ser transferida para um site voltado para o consumidor, independentemente de quão avançado seja o resto do seu sistema.

O próprio ponto cego da avaliação

Medir o tratamento de contradições é mais difícil do que parece, e até mesmo uma abordagem padrão para medir o tratamento de contradições tem seu próprio conjunto de problemas.

Avaliação LLM-judge representa a forma mais comum como a saída RAG de aberto é pontuada para tratamento de conflito e também se desvia de verificações de reconhecimento estrutural em termos de como elas são desenvolvidas. Estratégias de prompt que organizam a síntese em campos PICO recebem altas pontuações dos juízes enquanto falham em testes de reconhecimento explícito. Isso é esperado: juízes LLM foram documentados como favorecendo respostas mais longas e elaboradas e também verão uma ressalva enterrada na seção de resultado como minuciosidade quando nada no nível da prosa referencia o conflito.

A estratégia de recuperação introduz um segundo obstáculo. A recuperação aleatória produz uma taxa de cegueira para contradições de zero — uma síntese não pode falhar em reconhecer uma contradição que seu conjunto recuperado não contém. A recuperação de relevância marginal máxima, por outro lado, reduziu a fidelidade de citação semântica para 0,11. Cada um parece aceitável sob uma única métrica de tratamento de contradições, mas ambos falham sob avaliação emparelhada.

Então emparelhe as métricas. Execute três verificações em cada síntese: uma verificação estrutural determinística para linguagem expressa que reconhece um conflito; um juiz LLM para profundidade e equilíbrio; e uma verificação de citação semântica que confirma que o conteúdo citado corresponde à sua fonte. Cada uma identifica o que as outras não identificam. Nenhuma pode ser confiável por si só como um benchmark para tratamento de contradições.

Quatro ações para este trimestre

1. Teste sua linha de base. Todo sistema RAG biomédico, clínico, regulatório em produção deve ser testado para cegueira para contradições antes de qualquer implantação adicional. Para realizar o teste, você precisa de um conjunto de teste emparelhado de contradições e uma verificação por consulta que a saída sinaliza discordância substantiva. Uma linha de base de 72,6 por cento não é um erro de arredondamento.
2. Implemente prompts de síntese estruturados. As quatro seções necessárias — acordo, discordância, qualidade da evidência, conclusão — forçam a largura de banda de saída nas discordâncias. Não há nova infraestrutura necessária; não há treinamento necessário; não há custo por consulta; uma mudança produziu uma redução de dezenove vezes!
3. Não use recuperação MMR para consultas sensíveis a contradições. Embora MMR use documentos diversificados para cobertura tópica, ela não otimiza para cobertura de posição — o que é incorreto quando o objetivo é recuperar ambos os lados de uma discordância. Portanto, a recuperação bm25 mais incorporação deve ser usada como um padrão mais seguro. No entanto, a diversificação consciente de posição seria a direção para este trabalho.
4. Emparelhe suas métricas de avaliação. Aposente a pontuação única do juiz LLM. Combine-a com uma verificação estrutural para conteúdo substantivo sob títulos de reconhecimento e uma verificação de citação semântica que verifica se a evidência citada suporta a afirmação declarada.

O ponto mais amplo

O instinto dominante no desenvolvimento de RAG é aditivo: melhores recuperadores, melhores reclassificadores, metadados mais ricos, janelas de contexto mais longas. A conversa da indústria sobre por que os pipelines RAG ainda falham em produção seguiu basicamente a mesma forma. Para o tratamento de contradições, a movimentação eficaz foi subtrativa — restringindo o que o sistema é permitido produzir, em vez de expandir o que é dado. Um único prompt de síntese de quatro partes superou um pipeline de cinco estágios. Ele fez isso mudando o que o modelo tinha que produzir, não o que o modelo podia ver.

Isso não torna a arquitetura irrelevante. A recuperação define um teto, a recuperação aleatória torna a síntese sem sentido e a baixa qualidade da evidência limita tudo downstream. É por isso que a questão de se os sistemas RAG resolvem o problema da confiabilidade continua a ressurgir. No entanto, o que determina se evidências conflitantes são representadas como conflitantes acaba sendo mais tarde no pipeline e mais barato para mudar do que muitos dos outros componentes, o que significa que as mudanças necessárias para melhorar a confiabilidade podem ocorrer mais cedo.

O trabalho caro — melhores conjuntos de dados de contradições, sinais de treinamento de discordância explícita, recuperação consciente de posição, benchmarks nativos de contradições — ainda precisa ser feito e levará consideravelmente mais tempo.

Portanto, se você quiser saber se o seu sistema apresenta evidências contraditórias como contraditórias, você deve fazer a si mesmo a questão desconfortável e encontrar a resposta esta semana: O seu sistema informa os usuários quando a evidência contradiz?