Waarom uw biomedische RAG contradicties voor u verbergt

De standaard biomedische RAG lost conflicterende bewijzen stilzwijgend op in ongeveer drie van de vier queries. De oplossing is structureel, niet informatief – en de meeste upstream complexiteit die teams toevoegen, helpt niet.

Vraag een retrieval-augmented clinical assistent een eenvoudige vraag – helpt melatonine bij jetlag? – en de literatuur die het ophaalt, zal het niet met zichzelf eens zijn.

De Cochrane review concludeerde dat melatonine opmerkelijk effectief is, met acht van de tien opgenomen onderzoeken die een vermindering van jetlag laten zien bij vluchten die vijf of meer tijdzones overschrijden. Een gerandomiseerd, dubbelblind onderzoek van 257 Noorse artsen in het American Journal of Psychiatry vond geen voordeel van enige van de drie melatonine-regimes.

Beide documenten zijn echt. Beide zijn methodologisch serieus. Elke clinicien die moet beslissen wat te aanbevelen, moet weten dat ze het oneens zijn.

In gecontroleerde tests, deed de synthese dit meestal niet. Het produceerde een vloeiende, correct geciteerde alinea die voor één kant koos en nooit aangaf dat er een andere kant bestond.

Dit is contradictieblindheid. Op een contradictie-gepaarde biomedische benchmark, trad dit op in 72,6 procent van de queries (95% CI 0,697-0,755). De output las normaal. De citaten werden correct opgelost. Standaard kwaliteitscontroles werden doorstaan. De meningsverschillen verdwenen gewoon.

Het falen dat eruitziet als succes

Er is geen directe convergentie in biomedisch verwante bewijzen, studies laten conflicterende resultaten zien tussen het gebruik van observationele studies versus gerandomiseerde gecontroleerde trials (RCT’s) en ook verschillende methoden die voor verschillende patiëntpopulaties worden gebruikt; echter, een studie kan zowel sterke als zwakke methodologie bevatten, wat hetzelfde gewicht zou hebben.

Dit is geen uniek geval. Ioannidis’s analyse van hoog aangehaalde klinisch onderzoek vond dat 16 procent van de meest aangehaalde studies later volledig werden tegengesproken, en dat observationele studies veel waarschijnlijker waren om te worden tegengesproken of om hun effecten naar beneden te worden herzien – vijf van de zes, tegenover negen van de 39. Dus, het probleem is niet alleen het meningsverschil tussen studies, maar eerder een structureel onderdeel van de literatuur zelf.

Daarom, als een kritieke functie van elk biomedisch retrieval-augmented generation systeem, het genereren van bewijzen over meningsverschillen tussen studies moet een primair doel zijn. Echter, de meeste systemen falen om deze taak te volbrengen. Door het gebruik van de HealthContradict benchmark’s 920 contradictie-gepaarde voorbeelden, werd aangetoond dat een standaard retrieval-augmented generation (RAG) faalde om de meningsverschillen te genereren in ongeveer 73% van de geteste paren. Het probleem is niet het ophalen. Het systeem haalt beide kanten op. Het lost het conflict vervolgens stilzwijgend op, in het voordeel van een van hen.

Een handmatige onderzoek van 50 gestratificeerde falen gevallen produceerde een patroon dat ik heb aangeduid als epistemologische verflauwing. Beide documenten worden individueel door het model aangehaald, en de rendering van het conflict wordt beschreven in termen van vertrouwensgradaties (“anekdotisch bewijs … wetenschappelijke studies geven aan…”) alsof er geen conflict bestond. Minder dan 5% van deze falen gebruikten de woorden “tegengesteld”, “conflict”, of “meningsverschil” überhaupt. De gegenereerde output had een citaatnauwkeurigheid van 0,99. Dat is precies het punt: citaatnauwkeurigheid impliceert geen tegengestelde bewustzijn. Een systeem kan elke zin perfect toeschrijven en nog steeds iets zeggen dat de bewijsbasis niet ondersteunt.

Drie kenmerken van RAG’s “synthese” creëren een gevaarlijke klinische omgeving.

De waardepropositie omkeren. Het doel van RAG is om relevante bewijzen voor clinici weer te geven. Door de aspecten van die bewijzen die het meest belangrijk zijn voor clinici te verwijderen, doet het het tegenovergestelde.

Onzichtbaarheid creëren. Aangezien er geen hedge, truncatie of formaatartifact is; een “geflattende” synthese en een getrouwe synthese zijn ononderscheidbaar op het scherm.

Stil samenvoegen op grote schaal. Niets in een standaard evaluatiesuite markeert het, dus een systeem kan maanden in productie draaien terwijl elke conflicterende query stilzwijgend in één richting wordt opgelost.

Informatie is niet de hefboom

Een voor de hand liggende oplossing voor dit probleem zou zijn om het model te informeren. Als het falen was dat het model niet identificeerde dat twee documenten conflicteerden, zou je eenvoudigweg een “SUPPORT” of “CONTRADICT” stance-label aan elk van de opgehaalde documenten kunnen toevoegen. Dit zou duidelijk de prestaties van het model moeten verbeteren. Het deed het niet.

In een experiment waarin we stance-labels (door annotatie) toevoegden om het model expliciet te geven dat twee documenten conflicteerden, vonden we dat expliciete stance-annotatie de contradictieblindheid verplaatste van 93,8 procent in de niet-geannoteerde controlegroep naar 91,4 procent – een verschil met overlappende betrouwbaarheidsintervallen en geen praktische betekenis. Hoewel het model de informatie kreeg dat twee documenten conflicteerden, bleven de standaardresponsverdelingen ongewijzigd.

Het begrijpen van de mechanisme is hier nuttig. Informatie die passief aan een prompt wordt toegevoegd, verandert de standaardresponsverdeling van een model niet. Voor contradictie-behepte biomedische vragen is die verdeling sterk in het voordeel van een enkele geconsolideerde positie. Stance-labels worden extra tokens – vaak gerecycled in sectiekoppen – terwijl de proza terugkeert naar type.

Structuur is de hefboom

Wat werkte, was structureel, in tegenstelling tot informatief; in plaats van het model te voorzien van alles wat feitelijk of correct is over de documenten, vereiste de structuur dat de synthese werd geconstrueerd in termen van mogelijke meningsverschillen (Overeenstemming, Meningverschil, Bewijskwaliteit, Conclusie). De gescaffoldde prompt geeft het model geen meer informatie dan de niet-geannoteerde controlegroep. Het enige verschil is wat het model moet doen.

Er waren reducties van ongeveer negentien keer – van 93,8 procent tot 4,9 procent – in contradictieblindheid zonder enige hertraining, zonder enige pijplijnwijzigingen, zonder enige verhoging van latentie en zonder enige verhoging van de per query-kosten.

Dit is geen verbeterd redeneren. Dit is eenvoudigweg geforceerde toewijzing. Zodra het model een Meningverschil-sectie moet bieden, gaat het terug naar de documenten die het oorspronkelijk ophaalde om iets te vinden om in deze sectie op te nemen.

Contradictieblindheid onder drie synthesevoorwaarden in gecontroleerde ablatie. Het toevoegen van stance-informatie verplaatste de rate met 2,4 punten; het veranderen van de vereiste outputstructuur verplaatste het met 86,5.

Gestructureerde prompting is minder over het verbeteren van de capaciteit van het model om te redeneren en meer over het bieden van licht-governance over hoe het generatiegedrag van het model de outputruimte toewijst. Het dwingt het model om een bepaalde hoeveelheid van zijn outputruimte aan meningsverschil te besteden (het verschil tussen de beschikbare informatie en de informatie die moet verschijnen om aan de vereisten te voldoen).

Dit verandert een gemeenschappelijke architectuurveronderstelling. De meeste voorgestelde RAG-verbeteringen voegen informatie toe aan de context: meer documenten, herrangschikkingscores, stance-tags, evidence-grade metadata. Tenzij de synthese-prompt specifieke vereisten heeft voor die informatie om de outputstructuur te vormen, zal de meeste niet het modelgedrag veranderen. Verandering van invoer verplaatst massa aan de randen; verandering van vereiste outputstructuren verandert verdelingen rechtstreeks

Waarom de verwachte helpers niet helpen

Twee elementen die algemeen worden beschouwd als essentieel voor contradictiebewuste biomedische RAG, boden weinig bij testen met gecontroleerde ablatie.

1) PICO-decompositie. PICO (Populatie, Interventie, Vergelijking, Uitkomst) is een georganiseerde manier om klinische vragen in componenten te splitsen voor gebruik in evidence-based medicine. De hypothese was dat het decomponeren van claims in PICO-velden de scope-drift zou beperken en de contradictiedetectie over heterogene bewijzen zou verbeteren. Het verwijderen van dit niveau resulteerde in output die nagenoeg ononderscheidbaar was van die gegenereerd door het complete systeem. Hoewel PICO nuttig kan zijn voor het organiseren van uw gedachten tijdens klinische besluitvorming; als een geïnferdeerde invoer op het moment van analyse om contradictiedetectie te ondersteunen, heeft het geen meetbare bijdrage.

2) Expliciete stance-classificatie. In tegenstelling tot PICO-verwijdering, presteerde expliciete stance-classificatie slecht maar anders. Op schone academische corpora produceerde het kleine winsten op sommige metrics. Echter, bij het analyseren van lawaaierige webtekst – wat typisch is voor hoe consumentgerichte gezondheidsapps toegang hebben tot informatie – retourneerde de classificator NOT_ENOUGH_INFO voor de meeste documenten, voornamelijk omdat auteurs van consumentgerichte gezondheidsinhoud hun positie niet normaal verklaren met declaratieve taal die door de classificator wordt verwacht. Daarom werden die labels als oninformatief beschouwd en vervolgens in de synthesecontext als ruis gepropageerd. Het verwijderen van het stadium voor lawaaierige corpora verbeterde de contradictiedetectie marginaal.

Het echte knelpunt is de upstream signaal kwaliteit

De belangrijkste conclusie van deze studie is dat de mogelijkheid om contradicties in bronnen te herkennen, beperkt is door hoe nauwkeurig de informatie (gegevens) over deze bronnen is, meer dan hoe ze zijn gebouwd of gestructureerd.

Evidence-kwaliteitsgebruik – het percentage gevallen waarin de synthese de hogere kwaliteit bron citeert wanneer beide beschikbaar zijn – was 0,83 op schone wetenschappelijke abstracts en daalde tot onder 0,15 op lawaaierige webopname. Semantische citaatgetrouwheid volgde hetzelfde patroon, van 0,66 op abstracts tot 0,45 op consumentengezondheidsinhoud.

Identieke pijplijnen, verschillende corpora. Contradictiebehandeling is begrensd door de explicietheid van de signalen in de brondocumenten.

Er is een structurele reden voor dit. Echte opgehaalde documenten ontbreken vaak de cues waarop elke classificator of wegingsmechanisme afhankelijk is: publicatiemetadata, expliciete stance-verklaringen, methodologiebeschrijvingen. Abstracts van peer-reviewed artikelen doen beweringen declaratief met betrekking tot specifieke populaties, methodologieën en resultaten. Dezelfde beweringen worden gedaan in anekdotische, overtuigende en ontwijkingstaal in consumentengezondheidsartikelen. Daarom produceren identieke systemen dramatisch verschillend gedrag downstream op basis van wat ze als invoer ontvangen.

Dit wordt ook ondersteund door de grootste expertbeoordeling van medische RAG ooit gepubliceerd, waarin achttien medische experts 80.502 annotaties bijdroegen over 800 modeluitvoer. Slechts 22 procent van de top-16 opgehaalde passages was relevant. Standaard RAG degradeerde feitelijkheid en volledigheid ten opzichte van non-RAG-baselines. Ophalen en bewijsselectie, niet generatie, waren de dominante falenpunten – een echo van wat benchmarkwerk over medische RAG al twee jaar heeft gerapporteerd.

Hoewel er een relatief beperkte implicatie is van deze bevinding in termen van toepassing, kan worden geconcludeerd dat de mogelijkheid van uw systeem om contradicties te herkennen wanneer het ophaalt uit PubMed-abstracts, niet kan worden overgedragen naar een consumentgerichte website, ongeacht hoe geavanceerd de rest van uw systeem is.

Evaluaties eigen blind spot

Het meten van contradictiebehandeling is moeilijker dan het lijkt, en zelfs een standaardbenadering van het meten van contradictiebehandeling heeft zijn eigen set problemen.

LLM-judge scoring vertegenwoordigt de meest voorkomende manier waarop open-ended RAG-output wordt gescoord voor conflictbehandeling en wijkt af van structurele erkenningstests in termen van hoe ze worden ontwikkeld. Promptstrategieën die synthese organiseren in PICO-velden ontvangen hoge scores van judges terwijl ze expliciete erkenningstests volledig falen. Dit is verwacht: LLM-judges hebben de voorkeur gegeven aan langere, meer uitgebreide antwoorden en zullen ook een begraven voorbehoud in de resultaatsectie als grondigheid beschouwen wanneer niets in de proza-niveau naar het conflict verwijst.

Retrievestrategie introduceert een tweede valkuil. Willekeurige ophaling produceert een contradictieblindheidsratio van nul – een synthese kan niet falen om een contradictie te erkennen die haar opgehaalde set niet bevat. Maximale marginale relevantie-ophaling daalde de semantische citaatgetrouwheid tot 0,11. Elk ziet er acceptabel uit onder één enkele contradictiebehandelingsmetriek, maar beide komen tekort onder gepaarde evaluatie.

Dus combineer de metrics. Voer drie controles uit op elke synthese: een deterministische structurele controle voor geëxpliceerde taal die een conflict erkent; een LLM-judge voor diepte en balans; en een semantische citaatcontrole die bevestigt dat de aangehaalde inhoud overeenkomt met haar bron. Elk identificeert wat de anderen niet doen. Geen enkele kan alleen worden vertrouwd als benchmark voor contradictiebehandeling.

Vier acties voor dit kwartaal

1. Test uw baseline. Elk biomedisch, klinisch, regelgevend RAG-systeem in productie moet worden getest op contradictieblindheid voordat het verder wordt geïmplementeerd. Om de test uit te voeren, hebt u een contradictie-gepaarde testset en een per query-controle nodig die de output signaleert als een substantieel meningsverschil. Een baseline van 72,6 procent is geen afrondingsfout.
2. Implementeer gestructureerde synthese-prompts. De vier (vereiste) secties – overeenstemming, meningsverschil, bewijskwaliteit, conclusie – dwingen outputbandbreedte af op meningsverschillen. Er is geen nieuwe infrastructuur vereist; geen training vereist; geen per query-kosten; één verandering produceerde een negentien-voudige reductie!
3. Gebruik geen MMR-ophaling voor contradictie-gevoelige queries. Hoewel MMR gebruikmaakt van gediversifieerde documenten voor onderwerpkovering, optimaliseert het niet voor stance-kovering – wat onjuist is wanneer het doel is om beide kanten van een meningsverschil op te halen. Daarom moet bm25 plus embedding-ophaling als een veiligere standaard worden gebruikt. Echter, stance-gevoelige diversificatie zou de richting zijn waar deze studie naar wijst.
4. Combineer uw evaluatiemetrics. Pensioneer de enkele LLM-judge-score. Combineer het met een structurele controle voor substantiële inhoud onder erkenningstitels en een semantische citaatcontrole die verifieert dat de aangehaalde bewijzen de gestelde claim ondersteunen.

De bredere punt

De dominante impuls in RAG-ontwikkeling is additief: betere retrievers, betere her rangschikkers, rijkere metadata, langere contextvensters. De industrieconversatie over waarom RAG-pijplijnen nog steeds falen in productie is grotendeels dezelfde vorm gevolgd. Voor contradictiebehandeling was de effectieve zet subtractief – het beperken van wat het systeem is toegestaan om uit te voeren in plaats van het uitbreiden van wat het kan zien.

Dit maakt architectuur niet irrelevant. Ophaling zet een plafond, willekeurige ophaling maakt synthese zinloos, en slechte bewijskwaliteit beperkt alles downstream. Dit is waarom de vraag of RAG-systemen het probleem van betrouwbaarheid oplossen blijft terugkomen. Echter, wat bepaalt of conflicterend bewijs als conflicterend wordt weergegeven, blijkt later in de pijplijn te zijn en goedkoper om te veranderen dan veel van de andere componenten, wat betekent dat veranderingen die nodig zijn om de betrouwbaarheid te verbeteren, eerder kunnen gebeuren.

Het dure werk – betere contradictie-datasets, expliciete meningsverschil-trainingsignalen, stance-gevoelige ophaling, contradictie-natieve benchmarks – moet nog steeds worden gedaan en zal aanzienlijk langer duren.

Daarom, als u wilt weten of uw systeem contradictorisch bewijs als contradictorisch weergeeft, moet u uzelf de ongemakkelijke vraag stellen en het antwoord deze week vinden: Zegt uw systeem gebruikers wanneer het bewijs elkaar tegenspreekt?