Warum Ihr biomedizinisches RAG Kontradiktionen vor Ihnen versteckt

Das Standard-biomedizinische RAG löst widersprüchliche Beweise in etwa drei von vier Abfragen stillschweigend. Die Lösung ist strukturell, nicht informationsbezogen – und die meisten der Upstream-Komplexität, die Teams hinzufügen, hilft nicht.

Fragen Sie einen retrieval-augmented klinischen Assistenten eine einfache Frage – hilft Melatonin bei Jetlag? – und die Literatur, die es abruft, stimmt nicht mit sich selbst überein.

Die Cochrane-Übersicht kam zu dem Schluss, dass Melatonin bemerkenswert effektiv ist, mit acht von zehn eingeschlossenen Studien, die eine Verringerung des Jetlags bei Flügen über fünf oder mehr Zeitzonen zeigten. Eine randomisierte, doppelblinde Studie von 257 norwegischen Ärzten in der American Journal of Psychiatry fand keinen Nutzen von drei Melatonin-Regimen.

Beide Dokumente sind echt. Beide sind methodisch ernstzunehmen. Jeder Kliniker, der entscheiden muss, was er empfehlen soll, muss wissen, dass sie nicht übereinstimmen.

In kontrollierten Tests sagte die Synthese normalerweise nicht, dass es einen Widerspruch gab. Sie produzierte einen flüssigen, korrekt zitierten Absatz, der auf einer Seite stand und nie signalisierte, dass eine andere Seite existierte.

Das ist Kontradiktion-Blindheit. In einem Kontradiktion-paarigen biomedizinischen Benchmark trat es in 72,6 Prozent der Abfragen (95% CI 0,697-0,755) auf. Die Ausgabe las sich normal. Die Zitate wurden korrekt aufgelöst. Standard-Qualitätskontrollen wurden bestanden. Der Widerspruch verschwand einfach.

Der Ausfallmodus, der wie Erfolg aussieht

Während es keine direkte Konvergenz in biomedizinisch verwandten Beweisen gibt, zeigen Studien widersprüchliche Ergebnisse zwischen der Verwendung von Beobachtungsstudien und randomisierten kontrollierten Studien (RCTs) und auch verschiedene Methoden, die für unterschiedliche Patientenpopulationen verwendet werden; jedoch kann eine Studie auch starke und schwache Methodik enthalten, was den gleichen Stellenwert haben würde.

Dies ist kein einzigartiger Fall. Ioannidis’ Analyse hochzitierter klinischer Forschung fand heraus, dass 16 Prozent der meistzitierten Studien später direkt widersprochen wurden und dass Beobachtungsstudien eher als randomisierte Studien widersprochen oder ihre Effekte nach unten revidiert wurden – fünf von sechs gegen neun von 39. Somit ist das Problem nicht nur der Widerspruch zwischen Studien, sondern vielmehr ein struktureller Teil der Literatur selbst.

Daher ist es als kritische Funktion jedes biomedizinischen retrieval-augmented Generation-Systems, Beweise über Widersprüche zwischen Studien zu generieren, ein primäres Ziel. Die meisten Systeme schaffen es jedoch nicht, diese Aufgabe zu erfüllen. Mit dem HealthContradict-Benchmark, der 920 Kontradiktion-paarige Beispiele aufwies, zeigte sich, dass ein Standard-retrieval-augmented Generation (RAG) in etwa 73 Prozent der getesteten Paare nicht in der Lage war, die Widersprüche zu generieren. Das Problem liegt nicht im Retrieval. Das System ruft beide Seiten ab. Es löst dann den Konflikt stillschweigend, zugunsten einer von ihnen.

Eine manuelle Untersuchung von 50 stratifizierten Ausfallfällen ergab ein Muster, das ich als epistemologische Flachheit bezeichnet habe. Beide Dokumente werden vom Modell einzeln zitiert, und seine Darstellung des Konflikts wird in Form von Konfidenzgradienten (“anekdotische Beweise … wissenschaftliche Studien zeigen…”) beschrieben, als ob kein Konflikt existierte. Weniger als 5 Prozent dieser Ausfallfälle verwendeten die Wörter “Widerspruch”, “Konflikt” oder “Meinungsverschiedenheit” überhaupt. Die generierte Ausgabe hatte eine Zitationsgenauigkeit von 0,99. Das ist genau der Punkt: Zitationsgenauigkeit impliziert nicht unbedingt Widerspruchsbewusstsein. Ein System kann jeden Satz perfekt zuweisen und einem Kliniker dennoch etwas sagen, was die Beweisbasis nicht unterstützt.

Drei Merkmale von RAGs “Synthese” schaffen eine gefährliche klinische Umgebung.

Umkehrung des Wertangebots. Der Zweck von RAG ist es, relevante Beweise für Kliniker anzuzeigen. Durch die Entfernung der Aspekte dieser Beweise, die für Kliniker am wichtigsten sind, um zu überprüfen, erfüllt es tatsächlich das Gegenteil.

Erzeugung von Unsichtbarkeit. Da es keine Einschränkung, keine Kürzung, kein Format-Artefakt gibt; eine “flache” Synthese und eine treue Synthese erscheinen auf dem Bildschirm nicht zu unterscheiden.

Stille Verstärkung im großen Maßstab. Nichts in einem Standard-Evaluierungssatz flaggt es, so dass ein System monate lang in Produktion laufen kann, während jede widersprüchliche Abfrage stillschweigend in eine Richtung aufgelöst wird.

Information ist nicht der Hebel

Eine offensichtliche Lösung für dieses Problem wäre, das Modell zu informieren. Offensichtlich, wenn der Ausfallmodus darin bestand, dass das Modell nicht erkannte, dass zwei Dokumente widersprüchlich waren, könnten Sie einfach ein “SUPPORT” oder “CONTRADICT”-Stance-Label zu jedem der abgerufenen Dokumente hinzufügen. Dies sollte offensichtlich die Leistung des Modells verbessern. Es tat es nicht.

In einem Experiment, in dem wir Stance-Labels (durch Annotierung) hinzufügten, um dem Modell explizit die Information zu geben, dass zwei Dokumente widersprüchlich waren, fanden wir heraus, dass explizite Stance-Annotierung die Kontradiktion-Blindheit von 93,8 Prozent in der unannotierten Kontrollgruppe auf 91,4 Prozent reduzierte – ein Unterschied mit überlappenden Konfidenzintervallen und ohne praktische Bedeutung. Obwohl das Modell die Information erhielt, dass zwei Dokumente widersprüchlich waren, blieben seine Standard-Antwort-Verteilungen unverändert.

Das Verständnis des Mechanismus ist hier nützlich. Informationen, die passiv einem Prompt hinzugefügt werden, ändern die Standard-Antwort-Verteilung eines Modells nicht. Für widersprüchliche biomedizinische Fragen favorisiert diese Verteilung stark eine einzige konsolidierte Position. Stance-Labels werden zu zusätzlichen Token – oft in Überschriften recycelt – während die Prosa zur Norm zurückkehrt.

Struktur ist der Hebel

Was funktionierte, war strukturell, im Gegensatz zu informationsbezogen; anstatt dem Modell alle Fakten oder Korrekturen über die Dokumente zu geben, erforderte die Struktur, dass die Synthese in Form von möglichen Widersprüchen (Übereinstimmung, Widerspruch, Beweisqualität, Schlussfolgerung) konstruiert wurde. Der strukturierte Prompt gibt dem Modell keine mehr Informationen als der unannotierte Kontrollwert. Der einzige Unterschied besteht darin, was das Modell tun muss.

Es gab Reduzierungen von etwa neunzehn Mal – von 93,8 Prozent auf 4,9 Prozent – bei der Kontradiktion-Blindheit ohne erneutes Training, ohne Pipeline-Modifikationen, ohne erhöhte Latenz und ohne erhöhte Kosten pro Abfrage. Dies ist keine verbesserte Argumentation. Dies ist einfach erzwungene Zuweisung. Sobald das Modell eine Widerspruch-Sektion bereitstellen muss, geht es zurück durch die Dokumente, die es ursprünglich abgerufen hat, um nach etwas zu suchen, das es in diese Sektion aufnehmen kann.

Kontradiktion-Blindheit unter drei Synthesebedingungen in kontrollierter Ablation. Das Hinzufügen von Stance-Informationen änderte die Rate um 2,4 Punkte; die Änderung der erforderlichen Ausgabe-Struktur änderte sie um 86,5.

Strukturierte Prompting ist weniger daran interessiert, die Fähigkeit des Modells zu verbessern, zu argumentieren, und mehr daran, eine leichte Regierungsführung über die Generierungsverhaltensweise des Modells zu geben, wie es die Ausgabe-Allokation zuweist. Es zwingt das Modell, einen Teil seines Ausgabe-Raums für Widersprüche zu verwenden (der Unterschied zwischen verfügbarer Information und Information, die erscheinen muss, um die Anforderungen zu erfüllen).

Dies ändert eine gängige architektonische Annahme. Die meisten vorgeschlagenen RAG-Verbesserungen fügen Informationen zum Kontext hinzu: mehr Dokumente, Retrieval-Scores, Stance-Tags, Beweis-Grad-Metadaten. Es sei denn, der Synthese-Prompt hat spezifische Anforderungen an diese Informationen, um die Ausgabe-Struktur zu gestalten, ändert sich das Modell-Verhalten nicht. Das Ändern der Eingabe verschiebt die Masse am Rande; das Ändern der erforderlichen Ausgabe-Strukturen ändert Verteilungen direkt

Warum die erwarteten Helfer nicht helfen

Zwei Elemente, die normalerweise als essentiell für kontradiktion-bewusstes biomedizinisches RAG angesehen werden, haben bei Tests mit kontrollierter Ablation sehr wenig gebracht.

1) PICO-Zerlegung. PICO (Population, Intervention, Vergleich, Ergebnis) ist eine organisierte Art, klinische Fragen in ihre Bestandteile zu zerlegen, um sie in der evidenzbasierten Medizin zu verwenden. Die Hypothese war, dass die Zerlegung von Behauptungen in PICO-Felder den Umfangs-Drift einschränken und die Widerspruch-Erkennung über heterogene Beweise hinweg verbessern würde. Die Entfernung dieses Levels führte zu einer Ausgabe, die fast nicht von derjenigen zu unterscheiden war, die von dem vollständigen System generiert wurde. Obwohl PICO nützlich sein kann, um Ihre Gedanken während der klinischen Entscheidungsfindung zu organisieren; als inferierter Eingang zum Zeitpunkt der Analyse, um Widerspruch-Erkennung zu unterstützen, hat es keinen messbaren Beitrag.

2) Explizite Stance-Klassifizierung. Im Gegensatz zur Entfernung von PICO entfernte die explizite Stance-Klassifizierung schlecht, aber anders. Bei sauberen akademischen Corpora produzierte sie kleine Gewinne bei einigen Metriken. Wenn jedoch die Analyse von verrauschtem Web-Text – was normalerweise der Fall ist, wenn Consumer-Gesundheits-Apps auf Informationen zugreifen – durchgeführt wurde, gab der Klassifizierer für die meisten Dokumente NOT_ENOUGH_INFO zurück, hauptsächlich weil die Autoren von Consumer-Gesundheitsinhalten ihre Position normalerweise nicht mit deklarativer Sprache erklären, die vom Klassifizierer erwartet wird. Folglich wurden diese Labels als uninformativ betrachtet und dann in den Synthese-Kontext als Rauschen propagiert. Die Entfernung dieser Stufe verbesserte die Widerspruch-Erkennung bei verrauschten Corpora marginal.

Die eigentliche Flaschenhalsstelle ist die Qualität des Upstream-Signals

Die wichtigste Schlussfolgerung dieser Studie ist, dass die Fähigkeit, Widersprüche in Quellen zu erkennen, durch die Genauigkeit der Informationen (Daten) über diese Quellen begrenzt ist, mehr als durch die Art und Weise, wie sie aufgebaut oder strukturiert wurden.

Die Nutzung der Beweisqualität – der Anteil der Fälle, in denen die Synthese die höherwertige Quelle bevorzugt, wenn beide verfügbar sind – lag bei 0,83 auf sauberen wissenschaftlichen Abstracts und fiel auf weniger als 0,15 bei verrauschtem Web-Retrieval. Die semantische Zitations-Treue folgte dem gleichen Muster, von 0,66 auf Abstracts bis 0,45 auf Consumer-Gesundheitsinhalten.

Identische Pipelines, unterschiedliche Corpora. Kontradiktion-Handling ist durch die Explizitheit der Signale in den Quelldokumenten begrenzt.

Es gibt einen strukturellen Grund dafür. Echte abgerufene Dokumente enthalten häufig nicht die Hinweise, auf die sich jeder Klassifizierer oder Gewichtungsmechanismus verlässt: Publikationstyp-Metadaten, explizite Stance-Aussagen, Methodik-Beschreibungen. Abstracts von peer-reviewed Artikeln machen Aussagen deklarativ über spezifische Populationen, Methoden und Ergebnisse. Die gleichen Aussagen werden in anekdotischer, persuasiver und abschwächender Sprache in Consumer-Gesundheitsartikeln gemacht. Daher produzieren identische Systeme aufgrund der Eingabe dramatisch unterschiedliches Verhalten.

Dies wird auch durch die größte Expertenbewertung von medizinischem RAG unterstützt, die je veröffentlicht wurde, in der achtzehn medizinische Experten 80.502 Anmerkungen über 800 Modelausgaben beitrugen. Nur 22 Prozent der Top-16 abgerufenen Passagen waren relevant. Standard-RAG verschlechterte die Tatsächlichkeit und Vollständigkeit im Vergleich zu nicht-RAG-Baselines. Retrieval und Beweis-Auswahl, nicht Generierung, waren die dominanten Ausfallpunkte – ein Echo dessen, was Benchmark-Arbeit auf medizinischem RAG seit zwei Jahren berichtet.

Obwohl es eine relativ begrenzte Anwendung dieser Erkenntnis gibt, kann man schlussfolgern, dass die Fähigkeit Ihres Systems, Widersprüche zu erkennen, wenn es aus PubMed-Abstracts abruft, nicht auf eine Consumer-Website übertragen werden kann, unabhängig davon, wie fortschrittlich der Rest Ihres Systems ist.

Evaluations eigener Blindpunkt

Das Messen der Kontradiktion-Handhabung ist schwieriger, als es scheint, und selbst ein Standardansatz zur Messung der Kontradiktion-Handhabung hat seine eigenen Probleme.

LLM-Scoring stellt den gängigsten Weg dar, wie offene RAG-Ausgaben für Konflikt-Handhabung bewertet werden, und weicht von strukturellen Anerkennungs-Checks in Bezug auf ihre Entwicklung ab. Prompt-Strategien, die die Synthese in PICO-Felder organisieren, erhalten hohe Scores von Richtern, während sie explizite Anerkennungstests gänzlich scheitern. Dies ist erwartet: LLM-Richter bevorzugen längere, ausführlichere Antworten und werden auch eine vergrabene Einschränkung in der Ergebnis-Sektion als Gründlichkeit betrachten, wenn nichts in der Prosa-Ebene auf den Konflikt hinweist.

Die Retrieval-Strategie führt zu einem zweiten Hinterhalt. Zufälliges Retrieval produziert eine Kontradiktion-Blindheitsrate von Null – eine Synthese kann nicht versagen, einen Widerspruch zu erkennen, den ihre abgerufene Menge nicht enthält. Maximale marginale Relevanz-Retrieval hingegen reduzierte die semantische Zitations-Treue auf 0,11. Jedes sieht unter einer einzigen Kontradiktion-Handhabungs-Metrik akzeptabel aus, aber beide fallen unter einer gepaarten Bewertung kurz.

Paar also die Metriken. Führen Sie drei Checks auf jeder Synthese durch: einen deterministischen strukturellen Check für ausgedrückte Sprache, die einen Konflikt anerkennt; einen LLM-Richter für Tiefe und Balance; und einen semantischen Zitations-Check, der bestätigt, dass zitierte Inhalte ihrem Ursprung entsprechen. Jeder identifiziert, was die anderen nicht tun. Keiner kann allein als Benchmark für Kontradiktion-Handhabung vertrauenswürdig sein.

Vier Aktionen für dieses Quartal

1. Testen Sie Ihre Basislinie. Jedes biomedizinische, klinische, regulatorische RAG-System in Produktion muss auf Kontradiktion-Blindheit getestet werden, bevor es weiter eingesetzt wird. Um den Test durchzuführen, benötigen Sie ein Kontradiktion-paariges Testset und einen pro-Abfrage-Check, der die Ausgabe signifikante Meinungsverschiedenheit signalisiert. Eine Basislinie von 72,6 Prozent ist kein Rundungsfehler.
2. Implementieren Sie strukturierte Synthese-Prompts. Die vier (erforderlichen) Abschnitte – Übereinstimmung, Widerspruch, Beweisqualität, Schlussfolgerung – zwingen die Ausgabe-Bandbreite auf Widersprüche. Es gibt keine neue Infrastruktur, die erforderlich ist; keine Schulung, die erforderlich ist; keine pro-Abfrage-Kosten; eine Änderung produzierte eine neunzehnfache Reduktion!
3. Verwenden Sie nicht MMR-Retrieval für kontradiktion-sensible Abfragen. Obwohl MMR diversifizierte Dokumente für thematische Abdeckung verwendet, optimiert es nicht für Stance-Abdeckung – was falsch ist, wenn das Ziel darin besteht, beide Seiten eines Widerspruchs abzurufen. Daher sollte bm25 plus Embedding-Retrieval als sicherer Standard verwendet werden. Allerdings würde Stance-bewusste Diversifizierung die Richtung sein, in die diese Arbeit zeigt.
4. Paar Ihre Evaluationsmetriken. Verabschieden Sie den einzelnen LLM-Richter-Score. Kombinieren Sie ihn mit einem strukturellen Check für substantielle Inhalte unter Anerkennungs-Überschriften und einem semantischen Zitations-Check, der bestätigt, dass die zitierten Beweise den angegebenen Anspruch unterstützen.

Der breitere Punkt

Der dominante Instinkt in der RAG-Entwicklung ist additiv: bessere Retriever, bessere Reranker, reichere Metadaten, längere Kontext-Fenster. Die Branche-Diskussion über warum RAG-Pipelines immer noch in der Produktion fehlschlagen ist größtenteils dem gleichen Muster gefolgt. Für Kontradiktion-Handhabung war der effektive Schritt subtraktiv – die Einschränkung dessen, was das System ausgeben darf, anstatt dessen, was es gegeben wird. Ein einzelner vier-teiliger Synthese-Prompt übertraf eine fünf-stufige Pipeline. Es tat dies, indem es änderte, was das Modell produzieren musste, und nicht, was das Modell sehen konnte.

Das macht die Architektur nicht irrelevant. Retrieval setzt eine Obergrenze; zufälliges Retrieval macht die Synthese sinnlos; und schlechte Beweisqualität begrenzt alles Downstream. Dies ist, warum die Frage, ob RAG-Systeme das Problem der Zuverlässigkeit lösen, weiterhin auftaucht. Allerdings liegt das, was bestimmt, ob widersprüchliche Beweise als widersprüchlich dargestellt werden, später in der Pipeline und ist billiger zu ändern als viele der anderen Komponenten, was bedeutet, dass die erforderlichen Änderungen, um die Zuverlässigkeit zu verbessern, früher auftreten können.

Die teure Arbeit – bessere Kontradiktion-Datensätze, explizite Widerspruch-Trainings-Signale, Stance-sensibles Retrieval, kontradiktion-native Benchmarks – muss noch erledigt werden und wird wesentlich länger dauern.

Daher sollten Sie, wenn Sie wissen möchten, ob Ihr System widersprüchliche Beweise als widersprüchlich darstellt, sich selbst die unangenehme Frage stellen und die Antwort diese Woche finden: Sagt Ihr System den Benutzern, wenn seine Beweise widersprechen?