Protege lanserer uavhengige tester av helsetjenestenes KI når Disease Odyssey avdekker diagnostiske hull

Protege lanserer uavhengige evalueringer av KI i helsetjenesten, der modeller testes på pasienttilfeller de ikke har sett før. Den første referansetesten, Disease Odyssey, gir en tidlig indikasjon på hvorfor dette er viktig: Ifølge selskapet identifiserte ledende modeller tilstander som søvnapné og anemi i bare 53–69 % av tilfellene når de tok utgangspunkt i pasienthistorikk.

Lanseringen 21. oktober omfatter også evalueringer sammen med Xlue AI og Standard Model Biomedicine. Samlet sett belyser resultatene to spørsmål som er viktige for sykehus og utviklere: om en modell kan hente ut nyttige kliniske signaler fra reelle journaler, og hvor mye det koster å generere disse prediksjonene.

Proteges idé er å flytte mer av denne vurderingen ut av organisasjonene som utvikler modellene. Selskapet utformer, gjennomfører og vurderer evalueringer ved hjelp av personvernede pasientjournaler og svar som er verifisert av klinikere. Dette gir utviklere en måte å avdekke svakheter på før de kommer med mer omfattende påstander om ytelsen.

En annen type test enn å svare på medisinske eksamensspørsmål

Et medisinsk spørsmål med en tydelig formulert diagnose er noe annet enn en pasienthistorikk som strekker seg over flere konsultasjoner. Symptomer utvikler seg over tid, journaler kan være ufullstendige, og det avgjørende sporet kan være begravd blant mindre relevant informasjon. Disease Odyssey fokuserer på å gjenkjenne sykdom før diagnosen stilles, basert på slike langsgående pasienthistorikker.

Det rapporterte intervallet på 53–69 % gjelder de testede tilfellene og tilstandene, ikke KI i helsetjenesten som helhet. Proteges kunngjøring gir ikke tilstrekkelig informasjon om utvalgsstørrelser, de nøyaktige sammenligningsmodellene eller usikkerheten rundt resultatene til å underbygge en bredere rangering. Resultatene viser imidlertid at det fortsatt er betydelig rom for forbedring på selskapets første referansetest.

«KI i helsetjenesten utvikler seg raskt, men måten vi evaluerer den på, har ikke holdt tritt», sa Bobby Samuels, medgrunnlegger og administrerende direktør i Protege, i kunngjøringen.

Slik skiller Protege testing fra utvikling

Protege beskriver prosessen som dobbeltblind: Modellutviklerne får ikke se pasientdataene eller spørsmålene på forhånd, mens Protege evaluerer systemene uten å vite hvordan de er utviklet. Her beskriver begrepet evalueringsopplegget, ikke en randomisert klinisk studie.

Det er viktig å holde testmaterialet utenfor utviklingsprosessen, fordi kjennskap til spørsmålene i en referansetest kan blåse opp den tilsynelatende ytelsen. En modell som har møtt et svar under treningen, kan virke mer kompetent enn den faktisk er når den står overfor et helt nytt tilfelle.

Selskapets evalueringsplattform for helsetjenesten har flere praktiske kontrollmekanismer. Den omfatter beskyttede testtilfeller som holdes utenfor treningen, versjonerte oppgaver og poengberegning samt analyser av feiltypene og hvilke befolkningsgrupper som rammes. Versjonering gjør sammenligninger mellom modellutgivelser mer meningsfulle: En høyere poengsum er lettere å tolke når oppgaven og poengberegningsreglene ikke i det stille har blitt endret.

Plattformen bygger på sammenkoblede opplysninger, blant annet elektroniske pasientjournaler, kliniske notater, bildediagnostikk, patologi, forsikringskrav og behandlingsutfall. Data Lab omsetter kliniske spørsmål til evalueringsoppgaver og fasitsvar. Denne kombinasjonen skal teste hvordan modellene bruker klinisk kontekst, og ikke bare om de gjengir isolerte medisinske fakta.

Spesialiserte modeller konkurrerer på ytelse og kostnader

De tilhørende evalueringene undersøker ulike oppgaver, så resultatene bør vurderes separat fra Disease Odyssey.

I arbeidet med Standard Model Biomedicine evaluerte Protege prediksjoner knyttet til overlevelse ved bryst- og lungekreft og tiden fram til pasientens neste behandling. Selskapet opplyser at den spesialiserte modellen konkurrerte godt med ledende systemer, samtidig som kostnaden per prediksjon var 36–170 ganger lavere.

En separat evaluering av HealthSAW-modellen fra Xlue AI undersøkte framtidige risikoer knyttet til kreft, hjerte- og karsykdommer og nevrologiske tilstander. Protege sier at HealthSAW overgikk ledende modeller i 14 av 16 tester, til mindre enn 0,1 % av kostnaden per pasient.

Dette er oppgavespesifikke sammenligninger rapportert av Protege, ikke en demonstrasjon av at én modell er best i alle kliniske sammenhenger. Kunngjøringen redegjør ikke for den fullstendige metoden for kostnadsberegning. Lavere prediksjonskostnader kan gjøre gjentatt screening eller analyse i stor skala mer praktisk, men kostnadene ved innføring avhenger også av integrasjon, oppfølging og arbeidet som følger av feilaktige resultater.

Evaluering må holde tritt med modelloppdateringer

Proteges bredere virksomhet leverer data til KI-utvikling, noe som gjør skillet mellom utviklingsdata og evalueringsdata til en viktig del av selskapets tilnærming. Selskapets materiell framhever proveniens, kontrollert tilgang og oppdaterte pasienttilfeller som måter å bevare nytten av testingen over tid på.

Selskapet planlegger å utvide evalueringene til blant annet patologi, dermatologi, onkologi og administrative arbeidsflyter. Målet er en repeterbar prosess som kan kjøres på nytt etter hvert som modellene endres, snarere enn én enkelt poengsum som for alltid knyttes til et produkt.

Dette er nyttig både for kjøpere og utviklere. Et sykehus trenger å vite om en oppdatert modell fortsatt fungerer for pasientgruppen og arbeidsflyten deres. En utvikler trenger mer enn en gjennomsnittsscore: Utvikleren må forstå hvilke tilfeller modellen ikke håndterer, og om en forbedring på ett område fører til svakheter på andre områder.

Uavhengig testing kan gjøre disse diskusjonene mer konkrete, men resultater fra retrospektive referansetester er ikke det samme som dokumentert nytte i klinisk praksis. Prospektive studier, resultater på tvers av pasientgrupper, andelen falske positive og falske negative resultater og virkningen på klinikernes arbeidsbelastning er fortsatt viktige deler av kunnskapsgrunnlaget.

Proteges lansering stiller helse-AI-selskaper overfor et mer presserende spørsmål: Hvordan fungerer systemet når tilfellene er ukjente, og noen andre utformer testen? Verdien av den nye tjenesten vil avhenge av hvor tydelig metodene og resultatene hjelper organisasjoner med å besvare dette spørsmålet – og hvor konsekvent testene avdekker problemer som glansede demonstrasjoner ikke fanger opp.