Protege lancerer uafhængige test af AI i sundhedsvæsenet, mens Disease Odyssey afslører diagnostiske huller

Protege lancerer uafhængige evalueringer af AI i sundhedsvæsenet, hvor modeller testes på patientforløb, de ikke har set før. Den første benchmark, Disease Odyssey, giver et tidligt fingerpeg om, hvorfor det er vigtigt: Ifølge virksomheden identificerede førende modeller tilstande som søvnapnø og blodmangel i kun 53–69 % af tilfældene, når de arbejdede ud fra patienters sygehistorier.

Lanceringen den 21. oktober omfatter også evalueringer sammen med Xlue AI og Standard Model Biomedicine. Tilsammen belyser resultaterne to spørgsmål, der er vigtige for hospitaler og udviklere: om en model kan udlede nyttige kliniske signaler fra reelle journaler, og hvad det koster at frembringe disse forudsigelser.

Proteges idé er at flytte en større del af denne vurdering uden for de organisationer, der udvikler modellerne. Virksomheden udformer, gennemfører og bedømmer evalueringer ved hjælp af privatlivsbeskyttede patientjournaler og svar, der er verificeret af klinikere. Det giver udviklerne mulighed for at identificere svagheder, før de fremsætter mere vidtgående påstande om modellernes præstationer.

En anden test end besvarelse af medicinske eksamensspørgsmål

Et medicinsk spørgsmål med en klart angivet diagnose er noget andet end en sygehistorie, der strækker sig over flere konsultationer. Symptomer udvikler sig over tid, journaler kan være ufuldstændige, og det afgørende spor kan være begravet blandt mindre relevante oplysninger. Disease Odyssey fokuserer på at genkende sygdom, før diagnosen stilles, ud fra sådanne sygehistorier over tid.

Det rapporterede interval på 53–69 % gælder de testede tilfælde og tilstande, ikke AI i sundhedsvæsenet som helhed. Proteges meddelelse indeholder ikke tilstrækkelige oplysninger om stikprøvestørrelser, de præcise sammenligningsmodeller eller usikkerheden omkring resultaterne til at underbygge en bredere rangordning. Den viser dog, at der stadig er betydeligt plads til forbedringer på virksomhedens første benchmark.

»AI i sundhedsvæsenet udvikler sig hurtigt, men metoderne til at evaluere den er ikke fulgt med,« sagde Bobby Samuels, Proteges medstifter og administrerende direktør, i meddelelsen.

Sådan adskiller Protege test fra udvikling

Protege beskriver sin proces som dobbeltblind: Modeludviklerne får ikke adgang til patientdataene eller spørgsmålene på forhånd, mens Protege evaluerer systemerne uden at vide, hvordan de er udviklet. Her beskriver betegnelsen evalueringsopstillingen, ikke et randomiseret klinisk forsøg.

Det er vigtigt at holde testmateriale ude af udviklingen, fordi kendskab til benchmarkspørgsmål kan få præstationerne til at se bedre ud, end de er. En model, der har mødt et svar under træningen, kan virke mere kompetent, end den faktisk er, når den står over for et helt nyt tilfælde.

Virksomhedens evalueringsplatform til sundhedsvæsenet indeholder flere praktiske kontrolmekanismer. Den beskriver beskyttede testtilfælde, som holdes uden for træningen, versionsstyrede opgaver og bedømmelser samt analyser af fejlmønstre og berørte befolkningsgrupper. Versionsstyring gør sammenligninger mellem modeludgivelser mere meningsfulde: En højere score er lettere at fortolke, når opgaven og bedømmelsesreglerne ikke i det skjulte er blevet ændret.

Platformen trækker på sammenkædede oplysninger, herunder elektroniske patientjournaler, kliniske notater, billeddiagnostik, patologi, afregningsdata og behandlingsresultater. Data Lab omsætter kliniske spørgsmål til evalueringsopgaver og facitsvar. Kombinationen skal teste, hvordan modeller bruger klinisk kontekst, frem for blot om de kan gengive isolerede medicinske fakta.

Specialiserede modeller konkurrerer på præstation og omkostninger

De tilhørende evalueringer undersøger forskellige opgaver, så resultaterne bør vurderes særskilt fra Disease Odyssey.

I et samarbejde med Standard Model Biomedicine evaluerede Protege forudsigelser om overlevelse ved bryst- og lungekræft samt tiden frem til patientens næste behandling. Virksomheden oplyser, at den specialiserede model klarede sig konkurrencedygtigt i forhold til førende systemer, samtidig med at hver forudsigelse kostede 36–170 gange mindre.

En separat evaluering af Xlue AIs HealthSAW-model undersøgte fremtidige risici for kræft, hjerte-kar-sygdomme og neurologiske tilstande. Protege oplyser, at HealthSAW overgik førende modeller i 14 af 16 test og kostede mindre end 0,1 % af deres pris pr. patient.

Det er sammenligninger for specifikke opgaver, som Protege har rapporteret, ikke en demonstration af, at én model er bedst i alle kliniske sammenhænge. Meddelelsen beskriver ikke den fulde metode til beregning af omkostningerne. Lavere omkostninger pr. forudsigelse kan gøre gentagne screeninger eller analyser i stor skala mere praktiske, men omkostningerne ved implementering afhænger også af integration, tilsyn og det ekstra arbejde, som forkerte resultater medfører.

Evaluering skal følge med modelopdateringer

Proteges bredere forretning leverer data til udvikling af AI, hvilket gør adskillelsen mellem udviklingsdata og evalueringsdata til en vigtig del af virksomhedens tilgang. Materialet fremhæver dataenes oprindelse, kontrolleret adgang og opdaterede patienttilfælde som måder at bevare testenes anvendelighed over tid på.

Virksomheden planlægger at udvide evalueringerne til områder som patologi, dermatologi, onkologi og administrative arbejdsgange. Målet er en gentagelig proces, der kan køres igen, når modellerne ændres, frem for en enkelt score, der for altid knyttes til et produkt.

Det er nyttigt for både købere og udviklere. Et hospital har brug for at vide, om en opdateret model stadig fungerer for dets patientpopulation og arbejdsgange. En udvikler har brug for mere end en gennemsnitsscore: Udvikleren skal forstå, hvilke tilfælde modellen fejler på, og om en forbedring på ét område skaber svagheder andre steder.

Uafhængige test kan gøre disse drøftelser mere konkrete, men resultater fra retrospektive benchmarks er ikke det samme som dokumenteret gavn i klinisk praksis. Prospektive studier, resultater på tværs af patientgrupper, andelen af falsk positive og falsk negative resultater samt indvirkningen på klinikernes arbejdsbyrde er fortsat vigtige dele af evidensgrundlaget.

Proteges lancering stiller sundhedsvirksomheder inden for AI over for et skarpere spørgsmål: Hvordan klarer systemet sig, når tilfældene er ukendte, og andre tilrettelægger testen? Den nye tjenestes værdi afhænger af, hvor tydeligt dens metoder og resultater hjælper organisationer med at besvare spørgsmålet – og hvor konsekvent testene afdækker problemer, som velpolerede demonstrationer overser.