Pourquoi votre RAG biomédical cache les contradictions de vous

Le RAG biomédical standard résout silencieusement les preuves contradictoires dans environ trois cas sur quatre. Le remède est structurel, et non informationnel – et la plupart de la complexité que les équipes ajoutent en amont n’est pas utile.

Posez une question simple à un assistant clinique à base de récupération – le mélatonin aide-t-il contre le décalage horaire ? – et la littérature qu’il récupère ne sera pas d’accord avec elle-même.

La revue Cochrane a conclu que le mélatonin est remarquablement efficace, avec huit des dix essais inclus montrant une réduction du décalage horaire sur les vols traversant cinq fuseaux horaires ou plus. Un essai randomisé en double aveugle de 257 médecins norvégiens dans le Journal of Psychiatry américain n’a trouvé aucun bénéfice d’aucun des trois régimes de mélatonin.

Les deux documents sont réels. Les deux sont méthodologiquement sérieux. Tout clinicien qui décide de ce qu’il doit recommander doit savoir qu’ils ne sont pas d’accord.

Lors de tests contrôlés, la synthèse n’a généralement pas dit cela. Elle a produit un paragraphe fluide, correctement cité, qui a pris position pour l’un des deux côtés et n’a jamais signalé qu’un autre côté existait.

C’est la cécité aux contradictions. Sur un benchmark de contradictions appariées en biomédecine, cela s’est produit dans 72,6 pour cent des requêtes (IC 95 % 0,697-0,755). La sortie était lue normalement. Les citations ont été résolues correctement. Les vérifications de qualité standard ont été passées. Le désaccord a simplement disparu.

Le mode de défaillance qui ressemble au succès

Il n’y a pas de convergence directe dans les preuves liées à la biomédecine, les études montrent des résultats contradictoires entre l’utilisation d’études observationnelles et d’essais contrôlés randomisés (ECR) et également des méthodes différentes utilisées pour différentes populations de patients ; cependant, une étude peut également inclure à la fois une méthodologie forte et faible, ce qui semblerait avoir le même poids.

Ce n’est pas un cas unique. L’analyse d’Ioannidis sur la recherche clinique la plus citée a trouvé que 16 pour cent des études les plus citées ont été ultérieurement contredites, et que les études observationnelles étaient beaucoup plus susceptibles d’être contredites ou de voir leurs effets révisés à la baisse – cinq sur six, contre neuf sur 39. Ainsi, le problème n’est pas seulement le désaccord entre les études, mais plutôt une partie structurelle de la littérature elle-même.

Par conséquent, en tant que fonction critique de tout système de génération à base de récupération biomédical, générer des preuves sur les désaccords entre les études doit être un objectif principal. Cependant, la plupart des systèmes ne parviennent pas à accomplir cette tâche. En utilisant le benchmark HealthContradict de 920 exemples de contradictions appariées, on a démontré qu’un RAG standard à base de récupération a échoué à générer les désaccords dans environ 73 % des paires testées. Le problème n’est pas la récupération. Le système récupère les deux côtés. Il résout ensuite le conflit silencieusement, en faveur de l’un d’eux.

Un examen manuel de 50 cas d’échec stratifiés a produit un modèle que j’ai appelé aplatissement épistémologique. Les deux documents sont cités individuellement par le modèle, et sa représentation du conflit est décrite en termes de gradients de confiance (“preuves anecdotiques… études scientifiques indiquent…”) comme si aucun conflit n’existait. Moins de 5 % de ces cas d’échec ont utilisé les mots “contradiction”, “conflit” ou “désaccord” à tout moment. La sortie générée avait un taux d’exactitude des citations de 0,99. C’est précisément le point : l’exactitude des citations n’implique pas la conscience des contradictions. Un système peut attribuer chaque phrase parfaitement et dire à un clinicien quelque chose que la base de preuves ne soutient pas.

Trois caractéristiques de la “synthèse” RAG créent un environnement clinique dangereux.

Inversion de la valeur. Le but du RAG est d’afficher les preuves pertinentes pour les cliniciens. Par conséquent, en supprimant l’aspect des preuves qui est le plus important pour les cliniciens à examiner, il accomplit son contraire.

Création d’invisibilité. Puisqu’il n’y a pas de hedge, ou de troncature, ou d’artefact de format ; une synthèse “aplatie” et une synthèse fidèle apparaissent indiscernables sur l’écran.

Compensation silencieuse à grande échelle. Rien dans un ensemble d’évaluation standard ne le signale, donc un système peut fonctionner en production pendant des mois alors que chaque requête conflictuelle est résolue silencieusement dans une direction.

L’information n’est pas la levier

Une solution évidente à ce problème serait d’informer le modèle. Évidemment, si le mode de défaillance était que le modèle n’identifiait pas que deux documents étaient contradictoires, vous pourriez simplement ajouter une étiquette de position “SUPPORT” ou “CONTRADICT” à chacun des documents récupérés. Cela devrait améliorer les performances du modèle. Il ne l’a pas fait.

Dans une expérience où nous avons ajouté des étiquettes de position (en annotant) pour donner explicitement au modèle l’information que deux documents étaient contradictoires, nous avons constaté que l’annotation explicite de position a déplacé la cécité aux contradictions de 93,8 pour cent dans le bras de contrôle non annoté à 91,4 pour cent – une différence avec des intervalles de confiance chevauchants et aucune signification pratique. Bien que le modèle ait reçu l’information que deux documents étaient contradictoires, sa distribution de réponses par défaut est restée inchangée.

Comprendre le mécanisme est utile ici. L’information ajoutée passivement à une invite ne change pas la distribution de réponses par défaut d’un modèle. Pour les questions biomédicales contradictoires, cette distribution favorise fortement une position consolidée. Les étiquettes de position deviennent des jetons supplémentaires – souvent recyclés en en-têtes de section – tandis que la prose revient à la normale.

La structure est la levier

Ce qui a fonctionné était structurel, et non informationnel ; au lieu de fournir au modèle toutes les informations factuelles ou correctes sur les documents, la structure a exigé que la synthèse soit construite en termes de désaccords possibles (Accord, Désaccord, Qualité des preuves, Conclusion). L’invite structurée fournit au modèle aucune information supplémentaire que l’invite de contrôle non annotée. La seule différence est ce que le modèle a à faire.

Il y a eu des réductions d’environ dix-neuf fois – de 93,8 pour cent à 4,9 pour cent – de la cécité aux contradictions sans réentraînement, sans modification de pipeline, sans augmentation de latence et sans augmentation des coûts par requête.

Ce n’est pas une amélioration de la raison. C’est simplement une allocation forcée. Une fois que le modèle doit fournir une section de désaccord, il revient sur les documents qu’il a initialement récupérés pour trouver quelque chose à inclure dans cette section.

Cécité aux contradictions sous trois conditions de synthèse en ablation contrôlée. L’ajout d’informations de position a déplacé le taux de 2,4 points ; la modification de la structure de sortie requise l’a déplacé de 86,5.

La sollicitation structurée est moins liée à l’amélioration de la capacité du modèle à raisonner et plus à la fourniture d’une gouvernance légère sur la façon dont le comportement de génération du modèle alloue l’espace de sortie. Elle force le modèle à consacrer une certaine quantité de son espace de sortie au désaccord (la différence entre les informations disponibles et les informations qui doivent apparaître pour répondre aux exigences).

Cela change une hypothèse architecturale courante. La plupart des améliorations RAG proposées ajoutent des informations au contexte : plus de documents, des scores de récupération, des étiquettes de position, des métadonnées de qualité de preuves. À moins que l’invite de synthèse n’ait des exigences spécifiques pour que ces informations façonnent la structure de sortie, la plupart n’changeront pas le comportement du modèle. Changer l’entrée déplace la masse aux marges ; changer la structure de sortie requise déplace les distributions directement

Pourquoi les aides attendues ne sont pas utiles

Deux éléments considérés comme essentiels à la contradiction-aware RAG biomédicale n’ont fourni que peu d’aide lorsqu’ils ont été testés avec une ablation contrôlée.

1) Décomposition PICO. PICO (Population, Intervention, Comparaison, Résultat) est une façon organisée de décomposer les questions cliniques en parties constitutives pour une utilisation en médecine basée sur des preuves. L’hypothèse était que la décomposition des allégations en champs PICO contraindrait la dérive de portée et améliorerait la détection des contradictions sur des preuves hétérogènes. La suppression de ce niveau a donné une sortie presque indiscernable de celle générée par le système complet. Bien que PICO puisse être utile pour organiser vos pensées pendant la prise de décision clinique ; en tant qu’inférence au moment de l’analyse pour soutenir la détection des contradictions, elle n’a aucune contribution mesurable.

2) Classification explicite de position. Contrairement à la suppression de PICO, la classification explicite de position a performé faiblement mais différemment. Sur des corpus universitaires propres, elle a produit de petits gains sur certains indicateurs. Cependant, lors de l’analyse de texte web bruyant – qui est généralement la façon dont les applications de santé grand public ont accès à l’information – le classificateur a retourné NOT_ENOUGH_INFO pour la plupart des documents, principalement parce que les auteurs de contenu de santé grand public n’utilisent généralement pas de langage déclaratif pour déclarer leur position. Par conséquent, ces étiquettes ont été propagées dans le contexte de synthèse comme du bruit. La suppression de cette étape pour les corpus bruyants a légèrement amélioré la détection des contradictions.

Le véritable goulet d’étranglement est la qualité du signal en amont

La conclusion la plus importante de cette étude est que la capacité de reconnaître les contradictions dans les sources est limitée par la précision des informations (données) sur ces sources, plus que par la façon dont elles ont été construites ou structurées.

L’utilisation de la qualité des preuves – la proportion de cas où la synthèse cite la source de meilleure qualité lorsqu’elles sont toutes deux disponibles – était 0,83 sur des résumés scientifiques propres et est tombée en dessous de 0,15 sur des récupérations web bruyantes. La fidélité des citations sémantiques a suivi le même modèle, de 0,66 sur les résumés à 0,45 sur le contenu de santé grand public.

Identical pipelines, différents corpus. La gestion des contradictions est limitée par l’explicite des signaux dans les documents sources.

Il y a une raison structurelle à cela. Les documents récupérés dans le monde réel manquent fréquemment des indices sur lesquels tout classificateur ou mécanisme de pondération dépend : métadonnées de type de publication, déclarations de position explicites, descriptions de méthodologie. Les résumés d’articles de revues à comité de lecture font des assertions de manière déclarative concernant des populations, des méthodes et des résultats spécifiques. Les mêmes assertions sont faites dans un langage anecdotique, persuasif et hésitant dans les articles de santé grand public. Par conséquent, des systèmes identiques produisent un comportement en aval dramatiquement différent en fonction de ce qu’ils reçoivent en entrée.

Ceci est également soutenu par l’évaluation d’expertise médicale la plus importante jamais publiée, dans laquelle dix-huit experts médicaux ont contribué 80 502 annotations sur 800 sorties de modèle. Seuls 22 pour cent des passages récupérés dans les 16 premiers étaient pertinents. Le RAG standard a dégradé la factualité et l’exhaustivité par rapport aux références non RAG. La récupération et la sélection des preuves, et non la génération, étaient les principaux points de défaillance – un écho de ce que le travail de référence sur le RAG médical a rapporté pendant deux ans.

Bien qu’il y ait une implication relativement limitée de cette découverte en termes d’application, on peut dire de manière concluante que la capacité de votre système à gérer les contradictions lorsqu’il récupère à partir de résumés PubMed ne peut pas être transférée à un site Web grand public, quelle que soit l’avancée de votre système.

L’aveugle de l’évaluation

Mesurer la gestion des contradictions est plus difficile qu’il n’y paraît, et même une approche standard pour mesurer la gestion des contradictions a ses propres problèmes.

Le scoring LLM-juge représente la façon la plus courante dont la sortie RAG ouverte est notée pour la gestion des conflits et diverge également des vérifications d’acknowledgment structurel en termes de la façon dont ils sont développés. Les stratégies d’invite qui organisent la synthèse en champs PICO reçoivent des scores élevés des juges tandis que les tests d’acknowledgment explicite échouent purement et simplement. C’est prévu : les juges LLM ont été documentés comme favorisant des réponses plus longues et plus élaborées et considéreront également une réserve enterrée dans la section des résultats comme de la minutie lorsque rien dans le niveau de prose ne fait référence au conflit.

La stratégie de récupération introduit un second piège. La récupération aléatoire produit un taux de cécité aux contradictions de zéro – une synthèse ne peut pas ne pas reconnaître une contradiction que son ensemble récupéré ne contient pas. La récupération de pertinence marginale maximale, en revanche, a réduit la fidélité des citations sémantiques à 0,11. Chacun semble acceptable sous une seule métrique de gestion des contradictions, mais les deux sont insuffisants sous une évaluation appariée.

Appariez donc les métriques. Exécutez trois vérifications sur chaque synthèse : une vérification structurelle déterministe pour le langage exprimé qui reconnaît un conflit ; un juge LLM pour la profondeur et l’équilibre ; et une vérification de citation sémantique confirmant que le contenu cité correspond à sa source. Chacun identifie ce que les autres ne font pas. Aucun ne peut être digne de confiance par lui-même en tant que référence pour la gestion des contradictions.

Quatre actions pour ce trimestre

1. Testez votre référence. Chaque système RAG biomédical, clinique, réglementaire en production doit être testé pour la cécité aux contradictions avant tout déploiement ultérieur. Pour effectuer le test, vous avez besoin d’un ensemble de test apparié de contradictions et d’une vérification par requête que la sortie signale un désaccord substantiel. Un taux de référence de 72,6 pour cent n’est pas une erreur d’arrondi.
2. Mettez en œuvre des invites de synthèse structurées. Les quatre sections requises – accord, désaccord, qualité des preuves, conclusion – forcent la bande passante de sortie sur les désaccords. Il n’y a pas de nouvelle infrastructure requise ; pas de formation requise ; pas de coût par requête ; un changement a produit une réduction de dix-neuf fois !
3. N’utilisez pas la récupération MMR pour les requêtes sensibles aux contradictions. Bien que la MMR utilise des documents diversifiés pour la couverture thématique, elle n’optimise pas pour la couverture de position – ce qui est incorrect lorsque l’objectif est de récupérer les deux côtés d’un désaccord. Par conséquent, la récupération bm25 plus l’intégration doit être utilisée comme défaut plus sûr. Cependant, la diversification sensible à la position serait la direction vers laquelle ce travail pointe.
4. Appariez vos métriques d’évaluation. Abandonnez le score LLM-juge unique. Combinez-le avec une vérification structurelle pour le contenu substantiel sous les en-têtes d’acknowledgment et une vérification de citation sémantique vérifiant que les preuves citées soutiennent l’affirmation étayée.

Le point plus large

L’instinct dominant dans le développement RAG est additif : meilleurs récupérateurs, meilleurs réorganisateurs, métadonnées plus riches, fenêtres de contexte plus longues. La conversation de l’industrie sur pourquoi les pipelines RAG échouent encore en production a largement suivi la même forme. Pour la gestion des contradictions, le mouvement efficace était soustractif – en contrainant ce que le système est autorisé à sortir plutôt qu’en élargissant ce qui lui est donné. Une invite de synthèse à quatre parties a surpassé un pipeline à cinq étapes. Elle l’a fait en changeant ce que le modèle devait produire, et non ce que le modèle pouvait voir.

Cela ne rend pas l’architecture irrelevante. La récupération définit un plafond, la récupération aléatoire rend la synthèse sans signification et la mauvaise qualité des preuves limite tout en aval. C’est pourquoi la question de savoir si les systèmes RAG résolvent le problème de la fiabilité continue de ressurgir. Cependant, ce qui détermine si des preuves contradictoires sont représentées comme contradictoires se trouve plus tard dans le pipeline et est moins coûteux à modifier que de nombreux autres composants, ce qui signifie que les changements nécessaires pour améliorer la fiabilité peuvent survenir plus tôt.

Le travail coûteux – de meilleurs ensembles de données de contradictions, des signaux de formation de désaccord explicites, une récupération sensible à la position, des références natives aux contradictions – doit encore être fait et prendra considérablement plus de temps.

Par conséquent, si vous voulez savoir si votre système met en surface des preuves contradictoires comme contradictoires, vous devriez vous poser la question inconfortable et trouver la réponse cette semaine : Est-ce que votre système indique aux utilisateurs lorsque ses preuves se contredisent ?