Miksi teidän biolääketieteellinen RAG piilottaa ristiriitaisuuksia teiltä

Standardi biolääketieteellinen RAG ratkaisee ristiriitaiset todisteet hiljaisesti noin kolme neljästä kysymyksestä. Korjaus on rakenteellinen, ei tietopohjainen — ja suurin osa ylemmän kompleksisuuden joukkueen lisäämästä ei auta.

Kysykää hakuvälineellä varustetulta kliiniseltä avustajalta yksinkertainen kysymys — auttaako melatoniinin unettomuuteen? — ja kirjallisuus, jonka se hakee, ei ole samaa mieltä itseään.

Cochrane-arvio totesi, että melatoniini on erittäin tehokas, ja kahdeksasta kymmenestä mukana olevasta tutkimuksesta seitsemän osoitti vähennetyksi aikavyöhyke-ihottumaa lennoilla, jotka ylittivät viisi tai useamman aikavyöhykkeen. Satunnaistettu, sokea tutkimus 257 norjalaisesta lääkäristä American Journal of Psychiatry -lehdessä ei löytänyt mitään hyötyä melatoniinista.

Molemmat asiakirjat ovat aitoja. Molemmat ovat metodologisesti vakavia. Kaikki kliinikot, jotka päättävät, mitä suositella, tarvitsevat tietää, että ne ovat eri mieltä.

Kontrolloiduissa testeissä yhdiste ei yleensä sanonut niin. Se tuotti sujuvan, oikein viitatun kappaleen, joka tuli yhden puolen puolelle ja ei koskaan merkinnyt, että toinen puoli olisi olemassa.

Se on ristiriidan sokeus. Ristiriidan pareissa biolääketieteellisessä benchmarkissa se tapahtui 72,6 prosentissa kysymyksistä (95% CI 0,697–0,755). Tuloste luettiin normaalisti. Viitteet ratkaistiin oikein. Standardin laatusäännöt hyväksyttiin. Ristiriita yksinkertaisesti katosi.

Epäonnistumistapa, joka näyttää menestykseltä

Vaikka biolääketieteellisessä näytössä ei ole suoraa yhtenäistymistä, tutkimukset osoittavat ristiriitaisia tuloksia havaintotutkimusten ja satunnaistettujen kontrolloidujen tutkimusten (RCT) välillä ja myös eri potilasryhmien käytetyistä menetelmistä; kuitenkin tutkimus voi sisältää sekä vahvan että heikon metodologian, mikä näyttäisi olevan samaa painoa.

Tämä ei ole yksinäinen tapaus. Ioannidisin analyysi korkeasti siteeratuista kliinisistä tutkimuksista osoitti, että 16 prosenttia eniten siteeratuista tutkimuksista oli myöhemmin vastakkaisia, ja havaintotutkimukset olivat paljon todennäköisempiä kuin satunnaistetut kokeet, jotka olisivat vastakkaisia tai joiden vaikutukset olisivat muutettu alaspäin — viisi kuudesta, yhdeksän kolmeakymmenestäyhdeksästä. Niinpä ongelma ei ole vain erimielisyys tutkimusten välillä, vaan myös kirjallisuuden itsessään oleva rakenteellinen osa.

Tämän vuoksi biolääketieteellisen hakuvälineellä varustetun generaattorijärjestelmän tärkeänä toimintana on tuottaa todisteita tutkimusten välisistä erimielisyyksistä. Kuitenkin useimmat järjestelmät eivät onnistu tässä tehtävässä. HealthContradict-benchmarkin 920 ristiriidan pareista osoitti, että standardi hakuvälineellä varustettu generaattori (RAG) epäonnistui tuottamaan erimielisyydet noin 73 prosentissa testatuista pareista. Ongelma ei ole haussa. Järjestelmä hakee molemmat puolet. Se sitten ratkaisee ristiriidan hiljaisesti, yhden heidän puolestaan.

Manuaalinen tarkastelu 50 stratifioitua epäonnistumistapausta tuotti mallin, jota olen kutsunut tietoteoreettiseksi tasoittumiseksi. Molemmat asiakirjat viitataan yksittäin mallilla, ja sen kuvaus ristiriidasta on kuvattu luottamuksellisuuksien gradientteina (“anekdoottinen näyttö… tieteelliset tutkimukset osoittavat…”) niin kuin ei olisi ristiriitaa. Alle 5 prosentilla näistä epäonnistumistapauksista käytettiin sanoja “ristiriita”, “konflikti” tai “erimielisyys” lainkaan. Tuotetun tulosteen viitteiden tarkkuusaste oli 0,99. Se on juuri se kohta: viitteiden tarkkuus ei tarkoita ristiriidan tietoisuutta. Järjestelmä voi attribuoida jokaisen lauseen täydellisesti ja silti kertoa kliinikolle jotain, mitä todistusperusta ei tue.

Kolme RAG:n “yhdistämisen” ominaisuutta luo vaarallisen kliinisen ympäristön.

Arvon vastainen väittämä. RAG:n tarkoituksena on näyttää kliinikoille merkityksellistä todistusaineistoa. Sen vuoksi poistamalla todistusaineiston osat, jotka ovat tärkeimmät kliinikoille, se tosiasiassa saavuttaa vastakkaisen.

Luo näkymättömyyden. Koska ei ole reunaa, eikä katkaisua, eikä muotoartefaktia; “tasainen” yhdistäminen ja uskollinen yhdistäminen näyttävät samanlaisilta ruudulla.

Yhdistää hiljaisesti mittakaavassa. Mitään standardiarviojoukon osaa ei merkitse sitä, joten järjestelmä voi toimia tuotannossa useita kuukausia, kunnes jokainen ristiriitainen kysymys ratkaistaan hiljaisesti yhteen suuntaan.

Tieto ei ole vipu

Ilmeinen ratkaisu tähän ongelmaan olisi kertoa mallille. Selvästi, jos epäonnistumistapa oli, että malli ei tunnistanut, että kaksi asiakirjaa ovat ristiriidassa, voitaisiin lisätä “TUKI” tai “VASTUSTAA” -asenneleima kullekin haettuun asiakirjaan. Tämä pitäisi parantaa mallin suorituskykyä. Se ei parantanut.

Kokeessa, jossa lisäsimme asenteen leimat (annotoimalla) antamaan mallille selkeän tiedon, että kaksi asiakirjaa ovat ristiriidassa, osoitimme, että eksplisiittinen asenteen annotaatio siirsi ristiriidan sokeuden 93,8 prosentista annotoimattomassa kontroliryhmässä 91,4 prosenttiin — ero, jolla oli limittävät luottamusväli ja ei käytännön merkitystä. Vaikka malli sai tiedon, että kaksi asiakirjaa ovat ristiriidassa, sen oletusarvoinen vastausjakauma säilyi muuttumattomana.

Ymmärtäminen mekanismia on hyödyllistä tässä. Passiivisesti lisätty tieto kysymykseen ei muuta mallin oletusarvoista vastausjakaumaa. Ristiriitaisille biolääketieteellisille kysymyksille se suosii vahvasti yhtenäistä asemaa. Asenteen leimat muuttuvat ylimääräisiksi tokeniksi — usein kierrätettyinä osaksi otsikkoa — kun prosa palautuu tyyppiinsä.

Rakenne on vipu

Se, mikä toimi, oli rakenteellista, ei tietopohjaista; sen sijaan, että mallille annettiin kaikki faktat ja oikeat tiedot asiakirjoista, rakenteen vaadittiin olevan rakennettu mahdollisten erimielisyyksien mukaisesti (Sopimus, Erimielisyys, Todistusaineiston laatu, Johtopäätös). Tuetun kysymyksen antaa mallille ei enempää tietoa kuin annotoimaton kontroliryhmä. Ainoa ero on siinä, mitä mallin on tehtävä.

Tuloksena oli noin yhdeksantoista kertaiset vähennykset ristiriidan sokeudessa ilman uudelleenkoulutusta, ilman putken muutoksia, ilman lisääntynyttä viivästystä ja ilman lisääntynyttä kustannusta kussakin kysymyksessä.

Tämä ei ole parantunut päättely. Tämä on yksinkertaisesti pakotettu allokaatio. Kun mallin on annettava Erimielisyys-osio, se menee takaisin asiakirjoihin, jotka se alun perin haki, etsimään jotain, mitä voisi sisällyttää tähän osioon.

Ristiriidan sokeus kolmessa yhdistämisen ehdossa kontrolloidussa ablaatiossa. Lisäämällä asenteen tieto siirsi nopeuden 2,4 pisteellä; muuttamalla vaadittua tulosteen rakennetta siirsi 86,5.

Rakenteellinen kysymysstrategia on vähemmän mallin kyvyn parantamista päättelyssä ja enemmän antamista kevyttä hallintaa mallin generaattorikäyttäytymisen allokaatiolle. Se pakottaa mallin käyttämään tietyn määrän tulostusavaruutta erimielisyydestä (eroa saatavilla olevan ja ilmestyvän tiedon välillä).

Tämä muuttaa yleisen arkkitehtuurioletuksen. Useimmat ehdotetut RAG-parannukset lisäävät tietoa kontekstiin: enemmän asiakirjoja, hakutuloksia, asenteen leimoja, todistusaineiston metadataa. Ellei yhdistämiskysymyksellä ole tiettyjä vaatimuksia tämän tiedon muokkaamiseksi tulosteen rakenteeksi, useimmat eivät muuta mallin käyttäytymistä. Muuttaminen syötettä siirtää massaa reunoilla; muuttaminen vaadittua tulosteen rakennetta muuttaa jakaumia suoraan

Miksi odotetut avustajat eivät auta

Kaksi ristiriidan tietoista biolääketieteellistä RAG:ia yleisesti pidettyä olennaista testattiin kontrolloidussa ablaatiossa.

1) PICO-hajoitus. PICO (Väestö, Hoito, Vertailu, Tulos) on järjestäytynyt tapa jakaa kliinisiä kysymyksiä osiin käytettäväksi näyttöön perustuvassa lääketieteessä. Hypoteesina oli, että vaatimusten hajoittaminen PICO-kenttiin rajoittaisi aiheen liukumista ja parantaisi ristiriidan havaitsemista heterogeenisissä todisteissa. Tämän tason poistaminen johti tulokseen, joka oli lähes erottumaton siitä, mitä täydellinen järjestelmä tuotti. Vaikka PICO voi olla hyödyllinen järjestämään ajatuksia kliinisen päätöksenteon aikana; Inferoiduksi syötteeksi analyysin aikana tukemaan ristiriidan havaitsemista, sillä ei ole mitattavaa vaikutusta.

2) Eksplisiittinen asenteen luokittelu. Eroon PICO-poistamiseen, eksplisiittinen asenteen luokittelu suoritti huonosti, mutta eri tavoin. Puhdistetuilla akateemisilla korpuksilla se tuotti pieniä voittoja joillakin mittareilla. Kuitenkin analysoitaessa melkoista verkkotekstiä — joka on tyypillisesti sitä, miten kuluttajien terveydenhuollon sovellukset pääsevät tietoihin — luokittelija palautti useimmiten TIEDOT_EI_RIITTÄVÄSTI, koska kuluttajien terveydenhuollon sisällön tekijät eivät yleensä ilmoita kantaaan odotetulla julistavalla kielellä, jota luokittelija odottaa. Seuraavaksi nämä leimat olivat epätarkoituksenmukaisia ja ne levisivät yhdistämiskontekstiin meluna. Melkoisen korpuksen poistaminen vaiheesta paransi hieman ristiriidan havaitsemista.

Todellinen pullonkaula on ylävirtaan signaalin laatu

Tämän tutkimuksen tärkein johtopäätös on, että kyky tunnistaa ristiriitoja lähteissä on rajoitettu siitä, kuinka tarkin tiedon (datan) näistä lähteistä on, enemmän kuin siitä, miten ne on rakennettu tai rakenteellistettu.

Todistusaineiston laadun hyödyntäminen — osuus tapauksista, joissa yhdistäminen suosii korkealaatuisempaa lähdettä, kun molemmat ovat saatavilla — oli 0,83 puhdistetuilla tieteellisillä abstrakteilla ja putosi alle 0,15 melkoisella verkkohakukerralla. Semanttinen viitteiden uskollisuus seurasi samaa kaavaa, 0,66 abstrakteilla ja 0,45 kuluttajaterveydenhuollon sisällöllä.

Sama putki, eri korput. Ristiriidan käsittely on rajattu lähdedokumenttien signaaleiden eksplisiittisyydellä.

On rakenteellinen syy tähän. Todelliset haetut asiakirjat usein puuttuvat niistä vihjeistä, joista luokittelija tai painotusmekanismi riippuu: julkaisutyyppiä osoittava metadata, eksplisiittiset asenteen lausumat, metodologian kuvaukset. Tieteellisten artikkeleiden abstraktit tekevät väitteitä julistavasti tiettyjen väestöjen, menetelmien ja tuloksien osalta. Samat väitteet tehdään anekdoottisessa, suostuttelevassa ja varovaisessa kielessä kuluttajien terveydenhuollon artikkeleissa. Siksi samat järjestelmät tuottavat dramaattisesti erilaisia käyttäytymisiä alirakenteessa saadun syötteen perusteella.

Tämä on myös tuettu laajimman asiantuntijoiden arvioinnin lääketieteellisestä RAG:sta, jossa kahdeksantoista lääketieteellistä asiantuntijaa osallistui 80 502 annotaatioon 800 mallin tulosteen yli. Vain 22 prosenttia yläreunan 16 haettua kappaletta oli merkityksellistä. Standardi RAG heikensi faktuaalista ja täydellisyyttä verrattuna ei-RAG-vertailuun. Haun ja todistusaineiston valinta, ei generaattori, olivat hallitsevat epäonnistumispisteet — kaiku siitä, mitä benchmark-työ lääketieteellisestä RAG:sta on raportoinut kaksi vuotta.

Vaikka tämän löydön soveltamisen vaikutus on suhteellisen rajoitettu, voidaan sanoa päätelty, että järjestelmän kyky käsitellä ristiriitoja, kun se hakee PubMed-abstrakteja, ei voida siirtää kuluttajien terveydenhuollon verkkosivustolle, riippumatta siitä, kuinka edistynyt loput järjestelmästä on.

Arvioinnin oma sokea piste

Ristiriidan käsittelyn mittaaminen on vaikeampaa kuin se näyttää, ja jopa standardi lähestymistapa ristiriidan käsittelyn mittaamiseen on omat ongelmat.

LLM-tuomarin arvostelupisteet edustavat yleisintä tapaa, jolla avoimia RAG-tulosteita arvioidaan ristiriidan käsittelyssä ja poikkeaa myös rakenteellisista tunnustamistarkasteluista siinä, miten ne kehitetään. Kysymysstrategiat, jotka järjestävät yhdistämisen PICO-kenttiin, saavat korkeat pisteet tuomareilta, mutta epäonnistuvat eksplisiittisissä tunnustamistesteissä kokonaan. Tämä on odotettavissa: LLM-tuomarit on dokumentoitu suosivan pidempiä, monimutkaisempia vastauksia ja katsovat myös haudatun varoituksen tuloksissa tarkkuutta, kun mitään proosassa ei viittaa ristiriitaan.

Hakustrategia esittää toisen loukkuun. Satunnainen haun tuottaa ristiriidan sokeuden nopeuden nolla — yhdistäminen ei voi epäonnistua tunnustamaan ristiriitaa, jota hakukokoonpano ei sisällä. Maksimaalinen marginaalinen merkityksellisyys -haun puolestaan vähensi semanttista viitteiden uskollisuutta .11:aan. Kummallakin näyttää hyväksyttävältä yhden ristiriidan käsittelymittarin alla, mutta kumpikaan ei ole riittävä parin arvioinnissa.

Niinpä paria mittareita. Suorita kolme tarkastelua kullekin yhdistämiselle: deterministinen rakenteellinen tarkastelu ilmaistuksi kielelle, joka tunnustaa konfliktin; LLM-tuomari syvyydelle ja tasapuolisuudelle; ja semanttinen viitteiden tarkastelu vahvistaa, että viitatut sisällöt vastaavat lähdettään. Kukin tunnistaa, mitä muut eivät. Mikään ei voi olla luotettava itsenään ristiriidan käsittelyn benchmarkkina.

Neljä toimintaa tälle neljännekselle

1. Testaa perusjärjestelmäsi. Jokaisen biolääketieteellisen, kliinisen, sääntelyn RAG-järjestelmän on testattava ristiriidan sokeus ennen edelleen käyttöönottoa. Testiin tarvitaan ristiriidan pareittainen testijoukko ja kunkin kysymyksen tarkastelu, joka signaaloi olennaisen erimielisyyden. 72,6 prosentin perusjärjestelmä ei ole pyöristysvirhe.
2. Toteuta rakenteelliset yhdistämiskysymykset. Neljä (vaadittua) osaa — sopimus, erimielisyys, todistusaineiston laatu, johtopäätös — pakottaa tulostuskaistan erimielisyyksille. Ei vaadita uutta infrastruktuuria; ei vaadita koulutusta; ei vaadita kunkin kysymyksen kustannuksia; yksi muutos tuotti yhdeksantoista kertaisen vähennyksen!
3. Älä käytä MMR-hakua ristiriidan herkkään kysymyksiin. Vaikka MMR käyttää monipuolisia asiakirjoja aihepiirin kattavuuteen, se ei optimoi asenteen kattavuutta — mikä on väärin, kun tavoitteena on hakea molemmat puolet ristiriidasta. Siksi bm25 plus upotus-haku tulisi käyttää turvallisempana oletuksena. Kuitenkin asenteen tietoinen monipuolisuus olisi suunta, johon tämä työ osoittaa.
4. Pari arviointimittareita. Lopeta yksittäinen LLM-tuomarin piste. Yhdistä se rakenteelliseen tarkasteluun olennaisen sisällön alle tunnustamisotsikkojen ja semanttiseen viitteiden tarkasteluun, joka vahvistaa, että viitatut todisteet tukevat ilmoitettua väittämää.

Laajempi piste

Hallitseva vaisto RAG-kehityksessä on lisäävä: paremmat hakijat, paremmat uudelleenarvioijat, rikkaammat metadata, pidemmät kontekstiuunot. Teollisuuden keskustelu siitä, miksi RAG-piiput epäonnistuvat tuotannossa, on seurannut samaa muotoa. Ristiriidan käsittelyssä tehokas siirto oli vähentävä — rajoittamalla sitä, mitä järjestelmä on sallittu tuottaa, ei laajentamalla sitä, mitä sille annetaan. Yksinkertainen neliosainen yhdistämiskysymys ylitti viisivaiheisen putken. Se teki niin muuttamalla sitä, mitä mallin on tuotettava, ei sitä, mitä malli voi nähdä.

Se ei tee arkkitehtuuria merkityksettömäksi. Haun asettaa katon, satunnainen haun tekee yhdistämisen merkityksettömäksi, ja heikkolaatuinen todistusaineisto rajoittaa kaiken alirakenteen. Tämä on, miksi kysymys siitä, ovatko RAG-järjestelmät ratkaisu luotettavuuden ongelmaan, jatkuu. Kuitenkin se, mikä määrää, onko ristiriitainen todiste esitetty ristiriitaisena, on myöhemmin putkessa ja halvemmalla muuttaa, mikä tarkoittaa, että muutokset, joita tarvitaan luotettavuuden parantamiseen, voivat tapahtua pian.

Kallis työ — paremmat ristiriidan aineistot, eksplisiittiset erimielisyyden koulutussignaalit, asenteenherkkä haun, ristiriidan alkuperäiset mittarit — on vielä tehtävä, ja se kestää paljon kauemmin.

Siksi, jos haluat tietää, näyttääkö järjestelmäsi ristiriitaisen todisteen ristiriitaisena, sinun pitäisi kysyä itseltäsi epämukava kysymys ja löytää vastaus tällä viikolla: Kertooko järjestelmäsi käyttäjille, kun sen todiste ristiriitaa?