Varför din biomedicinska RAG döljer motsättningar för dig

Standardbiomedicinsk RAG löser konflikterande bevis tyst i ungefär tre av fyra frågor. Lösningen är strukturell, inte informativ — och mestadels av den uppströms komplexitet som lag till inte hjälper.

Fråga en retrieval-augmenterad klinisk assistent en enkel fråga — hjälper melatonin mot jetlag? — och litteraturen den hämtar kommer inte att vara överens med sig själv.

Den Cochrane-översynen drog slutsatsen att melatonin är anmärkningsvärt effektivt, med åtta av tio ingående studier som visade minskat jetlag på flygningar som korsade fem eller fler tidszoner. En randomiserad, dubbelblind studie av 257 norska läkare i American Journal of Psychiatry fann ingen fördel med någon av tre melatoninstudier.

Båda dokumenten är äkta. Båda är metodologiskt allvarliga. Varje kliniker som bestämmer vad de ska rekommendera behöver veta att de inte är överens.

I kontrollerad testning sa syntesen vanligtvis inte så. Den producerade en flytande, korrekt citerad paragraf som gick ner på ena sidan och aldrig signalerade att det fanns en annan sida.

Det är motsättningsblindhet. På en motsättningsparad biomedicinsk benchmark inträffade det i 72,6 procent av frågorna (95% CI 0,697–0,755). Utmatningen lästes normalt. Citaten löstes korrekt. Standardkvalitetskontroller passerade. Oenigheten försvann helt enkelt.

Felet som ser ut som framgång

Medan det inte finns någon direkt konvergens i biomedicinskt relaterad bevisning, visar studier konflikterande resultat mellan användningen av observationsstudier och randomiserade kontrollerade studier (RCT) och även varierande metoder som används för olika patientpopulationer; dock kan en studie också innehålla både stark och svag metodik, vilket skulle verka ha samma vikt.

Detta är inte ett unikt fall. Ioannidis analys av högt citerad klinisk forskning fann att 16 procent av de mest citerade studierna var senare motsagda rakt ut, och att observationsstudier var långt mer benägna att motsägas eller att deras effekter reviderades nedåt — fem av sex, mot nio av trettionio. Således är problemet inte bara oenighet mellan studier utan snarare en strukturell del av litteraturen i sig.

Därför, som en kritisk funktion av alla biomedicinska retrieval-augmenterad generation system, bör generering av bevis om oenighet mellan studier vara ett primärt mål. Men de flesta system misslyckas med att uppnå detta mål. Genom att använda HealthContradict benchmarkens 920 motsättningsparade exempel visade att en standard retrieval-augmenterad generation (RAG) misslyckades med att generera oenigheterna i ungefär 73 procent av de testade paren. Problemet är inte hämtning. Systemet hämtar båda sidor. Det löser sedan konflikten tyst, till förmån för en av dem.

En manuell undersökning av 50 stratifierade fall av misslyckande producerade ett mönster som jag har kallat epistemologisk utjämning. Båda dokumenten citeras individuellt av modellen, och dess rendering av konflikten beskrivs i termer av förtroendegradienter (“anekdotiska bevis … vetenskapliga studier indikerar…”) som om ingen konflikt existerade. Mindre än 5 procent av dessa fall av misslyckande använde orden “motsättning”, “konflikt” eller “oenighet” alls. Utmatningen som genererades hade en citeringsnoggrannhet på 0,99. Det är exakt poängen: citeringsnoggrannhet innebär inte motsättningsmedvetenhet. Ett system kan attribuera varje mening perfekt och ändå berätta för en kliniker något som bevisbasen inte stöder.

Tre funktioner i RAG:s “syntes” skapar en farlig klinisk miljö.

Inverterar värdet. Syftet med RAG är att visa bevis som är relevanta för kliniker. Därför, genom att ta bort aspekterna av det bevis som är viktigast för kliniker att granska, uppnår det faktiskt motsatsen.

Skapar osynlighet. Eftersom det inte finns någon häck, eller förkortning, eller formatartefakt; en “utjämnad” syntes och en trogen syntes ser ut som om de vore omöjliga att skilja på skärmen.

Tyst förstärker i skala. Ingenting i en standardutvärderingssvit flaggar det, så ett system kan köra i produktion i månader medan varje konfliktfylld fråga tyst löses i en riktning.

Information är inte vridmomentet

En uppenbar lösning på detta problem vore att informera modellen. Tydligt, om felet var att modellen inte identifierade att två dokument var i konflikt, kunde man enkelt lägga till en “SUPPORT” eller “CONTRADICT” ställningsetikett till var och en av de hämtade dokumenten. Detta borde uppenbarligen förbättra prestanda för modellen. Det gjorde det inte.

I ett experiment där vi lade till ställningsetiketter (genom annotering) för att uttryckligen ge modellen informationen att två dokument var i konflikt, fann vi att uttrycklig ställningsannotering flyttade motsättningsblindhet från 93,8 procent i den oannoterade kontrollarmen till 91,4 procent — en skillnad med överlappande konfidensintervall och ingen praktisk betydelse. Även om modellen fick informationen att två dokument var i konflikt, förblev dess standardresponsfördelning oförändrad.

Förståelse av mekanismen är användbar här. Information som läggs till passivt i en prompt ändrar inte en modells standardresponsfördelning. För motsättningsfyllda biomedicinska frågor föredrar den fördelningen starkt en konsoliderad position. Ställningsetiketter blir extra token — ofta återanvända som sektionsrubriker — medan prosan återgår till typ.

Struktur är vridmomentet

Vad som fungerade var strukturellt, snarare än att vara informativt; istället för att ge modellen allt som är faktiskt eller korrekt om dokumenten, krävde strukturen att syntesen skulle konstrueras i termer av möjliga oenigheter (Överensstämmelse, Oenighet, Beviskvalitet, Slutsats). Den stödda prompten ger modellen ingen mer information än den oannoterade kontrollen. Den enda skillnaden är vad modellen har att göra.

Det fanns minskningar av ungefär nitton gånger — från 93,8 procent till 4,9 procent — i motsättningsblindhet utan någon omträning, utan några pipeline-modifikationer, utan någon ökad latens, och utan några ökningar av per-frågekostnader.

Detta är inte förbättrad resonemang. Det är bara tvingad allokeringsfördelning. När modellen måste tillhandahålla en Oenighetssektion, går den tillbaka genom de dokument den initialt hämtade och letar efter något att inkludera i denna sektion.

Motsättningsblindhet under tre syntesvillkor i kontrollerad ablation. Tillägg av ställningsinformation flyttade hastigheten med 2,4 punkter; ändring av den krävda utmatningsstrukturen flyttade den med 86,5.

Strukturerad prompting är mindre om att förbättra modellens förmåga att resonera och mer om att ge lätta regler för hur modellens genereringsbeteende allokerar utmatningsutrymme. Det tvingar modellen att spendera en viss mängd av sitt utmatningsutrymme på oenighet (skillnaden mellan den information som är tillgänglig och den information som behöver visas för att uppfylla kraven).

Detta ändrar en vanlig arkitektonisk antagande. De flesta föreslagna RAG-förbättringar lägger till information till sammanhanget: fler dokument, hämtningspoäng, ställningsetiketter, bevisgradmetadata. Om inte syntesprompten har specifika krav för att den informationen ska forma utmatningsstrukturen, kommer de flesta inte att ändra modellbeteendet. Ändring av indata flyttar massa i marginalen; ändring av krävd utmatningsstruktur ändrar fördelningar direkt

Varför de förväntade hjälparna inte hjälper

Två element som vanligtvis anses vara essentiella för motsättningsmedveten biomedicinsk RAG gav mycket lite när de testades med kontrollerad ablation.

1) PICO-dekomposition. PICO (Population, Intervention, Comparison, Outcome) är ett organiserat sätt att bryta ner kliniska frågor i komponentdelar för användning i evidensbaserad medicin. Hypotesen var att dekomponera påståenden i PICO-fält skulle begränsa scope-drift och förbättra motsättningsdetektion över heterogena bevis. Borttagning av denna nivå resulterade i utmatning som var nästan oförändrad från den genererade av det fullständiga systemet. Medan PICO kan vara användbart för att organisera dina tankar under kliniskt beslutsfattande; som en inferrad indata vid analysen för att stödja motsättningsdetektion, har den ingen mätbar bidrag.

2) Uttrycklig ställningsklassificering. I kontrast till PICO-borttagning, presterade uttrycklig ställningsklassificering dåligt men annorlunda. På rena akademiska korpus producerade den små vinster på vissa mått. Men när man analyserade bullrig webbtext — som är typiskt hur konsumentinriktade hälsotillämpningar kommer att ha tillgång till information — returnerade klassificeringen NOT_ENOUGH_INFO för de flesta dokument, främst eftersom författarna av konsumentinriktad hälsosammanfattning inte normalt deklarerar sin position med deklarativt språk som förväntas av klassificeringen. Konsekvensen var att dessa etiketter som var oinformativa sedan propagerades in i synteskontexten som brus. Borttagning av scenen för bullriga korpus förbättrade marginellt motsättningsdetektion.

Den verkliga flaskhalsen är uppströms signalens kvalitet

Den viktigaste slutsatsen av denna studie är att förmågan att känna igen motsättningar i källor är begränsad av hur korrekt informationen (data) om dessa källor är, mer än hur de byggdes eller strukturerades.

Beviskvalitetsanvändning — andelen fall där syntesen föredrar den högkvalitativa källan när båda är tillgängliga — var 0,83 på rena vetenskapliga abstract och föll under 0,15 på bullrig webbhämtning. Semantisk citeringsfidelitet följde samma mönster, från 0,66 på abstract till 0,45 på konsumenthälsosammanfattning.

Identiska pipelines, olika korpus. Motsättningshantering är begränsad av de explicita signalerna i källdokumenten.

Det finns en strukturell anledning till detta. Verkliga hämtade dokument saknar ofta de signaler som klassificerare eller viktmechanismer beror på: publikationstypmetadata, uttryckliga ställningsuttalanden, metodbeskrivningar. Abstract av peer-granskade artiklar gör påståenden deklarativt om specifika populationer, metoder och resultat. Samma påståenden görs inom anekdotiska, övertygande och tveksamma språk i konsumenthälsosammanfattningar. Därför producerar identiska system dramatiskt olika beteende nedströms baserat på vad de får som indata.

Detta stöds också av den största expertbedömningen av medicinsk RAG som någonsin publicerats, där arton medicinska experter bidrog med 80 502 annoteringar över 800 modellutmatningar. Endast 22 procent av de översta 16 hämtade passagerna var relevanta. Standard-RAG försämrade faktualitet och fullständighet i förhållande till icke-RAG-baslinjer. Hämtning och bevisurval, inte generering, var de dominerande felpunkterna — en ekon av vad benchmarkarbete på medicinsk RAG har rapporterat under två år.

Även om det finns en relativt begränsad implikation av denna upptäckt i termer av tillämpning, kan det sägas slutgiltigt att förmågan hos ditt system att hantera motsättningar när det hämtar från PubMed-abstract inte kan överföras till en konsumentinriktad webbplats, oavsett hur avancerat resten av ditt system är.

Utvärderingens egen blind fläck

Att mäta motsättningshantering är svårare än det verkar, och även en standardansats för att mäta motsättningshantering har sina egna problem.

LLM-domsutvärdering representerar den vanligaste metoden för att utvärdera öppna RAG-utmatningar för konfliktshantering och avviker från strukturell erkännandekontroll i termer av hur de utvecklas. Promptstrategier som organiserar syntes i PICO-fält får höga poäng av domare medan de misslyckas med explicita erkännandetest helt och hållet. Detta är förväntat: LLM-domare har dokumenterats som föredrar längre, mer elaborerade svar och kommer också att se en begravd klausul i resultatsektionen som grundlighet när ingenting i prosanivån hänvisar till konflikten.

Hämtningstrategi introducerar en andra fallgrop. Slumpmässig hämtning producerar en motsättningsblindhetsfrekvens på noll — en syntes kan inte misslyckas med att erkänna en motsättning som dess hämtade uppsättning inte innehåller. Maximal marginal relevans hämtning, å andra sidan, reducerade semantisk citeringsfidelitet ner till 0,11. Båda ser acceptabla ut under en enda motsättningshanteringsmått, men båda brister under parvis utvärdering.

Så para måtten. Kör tre kontroller på varje syntes: en deterministisk strukturell kontroll för uttryckt språk som erkänner en konflikt; en LLM-domare för djup och balans; och en semantisk citeringskontroll som bekräftar att citerad innehåll matchar dess källa. Var och en identifierar vad de andra inte gör. Ingen kan vara pålitlig på egen hand som en benchmark för motsättningshantering.

Fyra åtgärder för detta kvartal

1. Testa din baslinje. Varje biomedicinsk, klinisk, reglerad RAG-system i produktion måste testas för motsättningsblindhet innan ytterligare distribution. För att utföra testet behöver du en motsättningsparad testuppsättning och en per-frågekontroll som utmatningen signalerar substantiell oenighet. En 72,6-procentig baslinje är inte ett avrundningsfel.
2. Implementera strukturerade syntesprompt. De fyra (krävda) sektionerna — överensstämmelse, oenighet, beviskvalitet, slutsats — tvingar utmatningsbandbredd på oenigheter. Det finns ingen ny infrastruktur som krävs; ingen utbildning krävs; ingen per-frågekostnad; en förändring producerade en nittonfaldig minskning!
3. Använd inte MMR-hämtning för motsättningskänsliga frågor. Även om MMR använder diversifierade dokument för ämnesomfattning, optimerar den inte för ställningsomfattning — vilket är fel när målet är att hämta båda sidor av en oenighet. Därför bör bm25 plus inbäddningshämtning användas som en säkrare standard. Men ställningsmedveten diversifiering vore den riktning som detta arbete pekar mot.
4. Para dina utvärderingsmått. Pensionera den enskilda LLM-domarpoängen. Kombinera den med en strukturell kontroll för substantiellt innehåll under erkännandehuvuden och en semantisk citeringskontroll som verifierar att den citerade bevisningen stöder den angivna påståendet.

Den bredare punkten

Den dominerande instinkten i RAG-utveckling är additiv: bättre hämtare, bättre omrankare, rikare metadata, längre kontextfönster. Branschsamtalet om varför RAG-pipelines fortfarande misslyckas i produktion har i stor utsträckning följt samma mönster. För motsättningshantering var den effektiva rörelsen subtraktiv — begränsa vad systemet är tillåtet att producera snarare än att expandera vad det får. En enda fyrdelad syntesprompt överträffade en femstegspipeline. Den gjorde det genom att ändra vad modellen hade att producera, inte vad modellen kunde se.

Det gör inte arkitekturen irrelevant. Hämtningssätt sätter en gräns, slumpmässig hämtning gör syntes meningslös, och dålig beviskvalitet kapar allt nedströms. Det är därför frågan om om RAG-system löser problemet med tillförlitlighet fortsätter att dyka upp. Men vad som bestämmer om motsättningsfylld bevisning representeras som motsättningsfylld visar sig vara senare i pipelinen och billigare att ändra än många av de andra komponenterna, vilket innebär att ändringar som behövs för att förbättra tillförlitligheten kan ske tidigare.

Det dyra arbetet — bättre motsättningsdataset, uttryckliga oenighetsutbildningssignaler, ställningskänslig hämtning, motsättningsinriktade benchmark — behöver fortfarande göras, och kommer att ta betydligt längre tid.

Därför, om du vill veta om ditt system visar motsättningsfylld bevisning som motsättningsfylld, bör du ställa dig själv den obekväma frågan och hitta svaret denna vecka: Säger ditt system till användarna när dess bevisning motsäger varandra?