Protege lanserar oberoende tester av AI inom hälso- och sjukvården när Disease Odyssey blottlägger brister i diagnostiken

Protege lanserar oberoende utvärderingar av AI inom hälso- och sjukvården, där modeller testas på patientfall de inte har stött på tidigare. Det första riktmärket, Disease Odyssey, ger en tidig fingervisning om varför det är viktigt: enligt företaget identifierade ledande modeller tillstånd som sömnapné och anemi i endast 53–69 % av fallen när de utgick från patienthistorik.

Lanseringen den 21 oktober omfattar också utvärderingar tillsammans med Xlue AI och Standard Model Biomedicine. Sammantaget berör resultaten två frågor som är viktiga för sjukhus och utvecklare: om en modell kan utvinna användbara kliniska signaler ur verkliga journaler och hur mycket det kostar att ta fram dessa förutsägelser.

Proteges idé är att låta fler delar av den här bedömningen ske utanför de organisationer som utvecklar modellerna. Företaget utformar, genomför och poängsätter utvärderingar med integritetsskyddade patientjournaler och svar som verifierats av kliniker. Det ger utvecklare ett sätt att identifiera svagheter innan de gör mer långtgående påståenden om prestandan.

Ett annat test än att besvara frågor på medicinska tentor

En medicinsk fråga med en tydligt angiven diagnos skiljer sig från en patienthistorik som sträcker sig över flera besök. Symtom utvecklas över tid, journaler kan vara ofullständiga och den avgörande ledtråden kan vara dold bland mindre relevant information. Disease Odyssey fokuserar på att känna igen sjukdom innan diagnosen har ställts, utifrån sådana longitudinella patienthistoriker.

Det rapporterade intervallet 53–69 % gäller de fall och tillstånd som testats, inte AI inom hälso- och sjukvården som helhet. Proteges tillkännagivande innehåller inte tillräckligt med information om urvalsstorlekar, exakt vilka jämförelsemodeller som användes eller osäkerheten i resultaten för att motivera en bredare rangordning. Det resultaten däremot visar är att det fortfarande finns betydande utrymme för förbättring på företagets första riktmärke.

”AI inom hälso- och sjukvården utvecklas snabbt, men våra sätt att utvärdera den har inte hängt med”, sade Bobby Samuels, medgrundare och vd för Protege, i tillkännagivandet.

Så skiljer Protege testning från utveckling

Protege beskriver sin process som dubbelblind: de som utvecklar modellerna får inte se patientuppgifterna eller frågorna i förväg, samtidigt som Protege utvärderar systemen utan att veta hur de har byggts. Här syftar termen på upplägget för utvärderingen, inte på en randomiserad klinisk prövning.

Det är viktigt att hålla testmaterial utanför utvecklingen, eftersom tillgång till riktmärkesfrågor kan blåsa upp den uppmätta prestandan. En modell som har stött på ett svar under träningen kan verka mer kapabel än den är när den ställs inför ett verkligt nytt fall.

Företagets utvärderingsplattform för hälso- och sjukvården tillför flera praktiska kontroller. Den omfattar skyddade testfall som hålls utanför träningen, versionshanterade uppgifter och poängsättning samt analyser av felmönster och berörda befolkningsgrupper. Versionshantering gör jämförelser mellan modellversioner mer meningsfulla: det är lättare att tolka ett högre resultat när uppgiften och poängsättningsreglerna inte har ändrats i det tysta.

Plattformen bygger på sammanlänkad information, däribland elektroniska patientjournaler, kliniska anteckningar, bilddiagnostik, patologi, ersättningsanspråk och behandlingsutfall. Företagets Data Lab omvandlar kliniska frågor till utvärderingsuppgifter och referenssvar. Kombinationen är avsedd att testa hur modeller använder klinisk kontext, snarare än bara om de kan återge enskilda medicinska fakta.

Specialiserade modeller jämförs utifrån prestanda och kostnad

De tillhörande utvärderingarna undersöker olika uppgifter, så resultaten bör läsas separat från Disease Odyssey.

I ett samarbete med Standard Model Biomedicine utvärderade Protege förutsägelser om överlevnad vid bröst- och lungcancer samt tiden fram till patientens nästa behandling. Företaget uppger att den specialiserade modellen presterade i nivå med ledande system, samtidigt som kostnaden per förutsägelse var 36–170 gånger lägre.

I en separat utvärdering av HealthSAW-modellen från Xlue AI undersöktes framtida risker kopplade till cancer, hjärt-kärlsjukdomar och neurologiska tillstånd. Protege uppger att HealthSAW presterade bättre än ledande modeller i 14 av 16 tester, till mindre än 0,1 % av deras kostnad per patient.

Det här är uppgiftsspecifika jämförelser som Protege har rapporterat, inte ett bevis på att en modell är bäst i alla kliniska sammanhang. Tillkännagivandet redogör inte i detalj för den fullständiga metoden för kostnadsberäkningen. Lägre kostnader för förutsägelser skulle kunna göra upprepad screening eller storskalig analys mer praktisk, men driftskostnaderna beror också på integration, tillsyn och det arbete som felaktiga resultat leder till.

Utvärderingen måste hålla jämna steg med modelluppdateringar

Proteges bredare verksamhet tillhandahåller data för AI-utveckling, vilket gör åtskillnaden mellan utvecklingsdata och utvärderingsdata till en viktig del av företagets arbetssätt. Företagets material lyfter fram proveniens, kontrollerad åtkomst och uppdaterade patientfall som sätt att bevara testernas användbarhet över tid.

Företaget planerar att utöka utvärderingarna till områden som patologi, dermatologi, onkologi och administrativa arbetsflöden. Målet är en repeterbar process som kan köras på nytt när modellerna förändras, snarare än ett enda resultat som för alltid kopplas till en produkt.

Det är värdefullt för både köpare och utvecklare. Ett sjukhus behöver veta om en uppdaterad modell fortfarande fungerar för dess patientgrupper och arbetsflöden. En utvecklare behöver mer än ett genomsnittligt resultat: utvecklaren måste förstå vilka fall modellen misslyckas med och om förbättringar på ett område medför svagheter på andra områden.

Oberoende tester kan göra de diskussionerna mer konkreta, men resultat från retrospektiva riktmärken är inte detsamma som påvisad nytta i klinisk verksamhet. Prospektiva studier, prestanda i olika patientgrupper, andelen falskt positiva och falskt negativa resultat samt effekterna på klinikernas arbetsbörda är fortfarande viktiga delar av evidensunderlaget.

Proteges lansering ställer en mer direkt fråga till företag inom AI för hälso- och sjukvården: hur presterar systemet när fallen är obekanta och någon annan utformar testet? Den nya tjänstens värde beror på hur tydligt dess metoder och resultat hjälper organisationer att besvara frågan – och hur konsekvent testerna blottlägger problem som välpolerade demonstrationer missar.