Protege lanceert onafhankelijke tests voor AI in de zorg, terwijl Disease Odyssey diagnostische hiaten blootlegt

Protege lanceert onafhankelijke evaluaties van AI in de zorg, waarbij modellen worden getest met patiëntcasussen die ze nog niet eerder hebben gezien. De eerste benchmark, Disease Odyssey, geeft een eerste indruk van het belang daarvan: volgens het bedrijf herkenden toonaangevende modellen aandoeningen als slaapapneu en bloedarmoede in slechts 53%–69% van de gevallen op basis van patiëntgeschiedenissen.

De lancering op 21 oktober omvat ook evaluaties in samenwerking met Xlue AI en Standard Model Biomedicine. Samen geven de resultaten antwoord op twee vragen die van belang zijn voor ziekenhuizen en ontwikkelaars: kan een model bruikbare klinische signalen uit echte dossiers halen, en hoeveel kost het om die voorspellingen te genereren?

Protege wil een groter deel van die beoordeling buiten de organisaties laten plaatsvinden die de modellen bouwen. Het bedrijf ontwerpt, voert uit en beoordeelt evaluaties met privacybeschermde patiëntendossiers en door clinici geverifieerde antwoorden. Zo kunnen ontwikkelaars zwakke punten opsporen voordat ze bredere claims doen over de prestaties.

Een andere test dan vragen uit medische examens beantwoorden

Een medische vraag met een helder geformuleerde diagnose is iets anders dan een patiëntgeschiedenis die zich over meerdere consulten uitstrekt. Symptomen ontwikkelen zich in de loop van de tijd, dossiers kunnen onvolledig zijn en de doorslaggevende aanwijzing kan verscholen liggen tussen minder relevante informatie. Disease Odyssey richt zich op het herkennen van ziekte vóór de diagnose, op basis van zulke longitudinale patiëntgeschiedenissen.

De gemelde bandbreedte van 53%–69% geldt voor de geteste casussen en aandoeningen, niet voor AI in de zorg als geheel. De aankondiging van Protege bevat onvoldoende informatie over de steekproefomvang, de precieze vergelijkingsmodellen en de onzekerheid rond de resultaten om een bredere rangschikking te onderbouwen. Wel blijkt eruit dat er op de eerste benchmark van het bedrijf nog veel ruimte voor verbetering is.

“AI in de zorg ontwikkelt zich snel, maar de manier waarop we die evalueren heeft die ontwikkeling niet bijgehouden”, zei Bobby Samuels, medeoprichter en CEO van Protege, in de aankondiging.

Hoe Protege testen scheidt van ontwikkeling

Protege omschrijft zijn werkwijze als dubbelblind: modelbouwers krijgen de patiëntgegevens en vragen niet vooraf te zien, terwijl Protege de systemen beoordeelt zonder te weten hoe ze zijn gebouwd. De term verwijst hier naar de opzet van de evaluatie, niet naar een gerandomiseerde klinische studie.

Het is belangrijk om testmateriaal buiten het ontwikkelproces te houden, omdat blootstelling aan benchmarkvragen de schijnbare prestaties kan opkrikken. Een model dat tijdens de training al een antwoord is tegengekomen, kan capabeler lijken dan het is wanneer het met een werkelijk nieuwe casus wordt geconfronteerd.

Het evaluatieplatform voor AI in de zorg van het bedrijf bevat verschillende praktische waarborgen. Het beschrijft beschermde testgevallen die buiten de training zijn gehouden, taken en beoordelingsmethoden met versienummers, en analyses van faalpatronen en getroffen bevolkingsgroepen. Door versies bij te houden, worden vergelijkingen tussen modelreleases betekenisvoller: een hogere score is makkelijker te interpreteren wanneer de taak en beoordelingsregels niet ongemerkt zijn veranderd.

Het platform put uit gekoppelde informatiebronnen, waaronder elektronische patiëntendossiers, klinische notities, beeldvorming, pathologie, verzekeringsclaims en uitkomsten. Het Data Lab zet klinische vragen om in evaluatietaken en referentieantwoorden. Die combinatie is bedoeld om te testen hoe modellen klinische context gebruiken, en niet alleen of ze afzonderlijke medische feiten kunnen reproduceren.

Gespecialiseerde modellen concurreren op prestaties en kosten

De bijbehorende evaluaties onderzoeken verschillende taken. De resultaten moeten daarom los van Disease Odyssey worden bekeken.

In samenwerking met Standard Model Biomedicine evalueerde Protege voorspellingen over de overleving bij borst- en longkanker en de tijd tot de volgende behandeling van een patiënt. Volgens het bedrijf presteerde het gespecialiseerde model concurrerend met toonaangevende systemen, terwijl de kosten per voorspelling 36–170 keer lager waren.

Bij een afzonderlijke evaluatie van het HealthSAW-model van Xlue AI werden toekomstige risico’s op kanker, hart- en vaatziekten en neurologische aandoeningen onderzocht. Volgens Protege presteerde HealthSAW op 14 van de 16 tests beter dan toonaangevende modellen, tegen minder dan 0,1% van hun kosten per patiënt.

Dit zijn taakspecifieke vergelijkingen die Protege heeft gerapporteerd, geen bewijs dat één model in elke klinische omgeving het beste is. De aankondiging geeft geen volledige toelichting op de kostenmethodologie. Lagere voorspellingskosten kunnen herhaalde screening of grootschalige analyses praktischer maken, maar de kosten van implementatie hangen ook af van integratie, toezicht en het extra werk dat onjuiste resultaten met zich meebrengen.

Evaluaties moeten gelijke tred houden met modelupdates

De bredere bedrijfsactiviteiten van Protege omvatten het leveren van gegevens voor AI-ontwikkeling. Daarom is het scheiden van ontwikkelgegevens en evaluatiegegevens een belangrijk onderdeel van de aanpak. In het materiaal van het bedrijf ligt de nadruk op herkomst, gecontroleerde toegang en vernieuwde patiëntcasussen om ervoor te zorgen dat tests ook op de lange termijn bruikbaar blijven.

Het bedrijf wil de evaluaties uitbreiden naar onder meer pathologie, dermatologie, oncologie en administratieve werkprocessen. Het streeft naar een herhaalbaar proces dat opnieuw kan worden uitgevoerd wanneer modellen veranderen, in plaats van één score die voor altijd aan een product wordt gekoppeld.

Dat is nuttig voor zowel afnemers als ontwikkelaars. Een ziekenhuis moet weten of een bijgewerkt model nog steeds goed functioneert voor de eigen patiëntenpopulatie en werkprocessen. Een ontwikkelaar heeft meer nodig dan een gemiddelde score: die moet begrijpen bij welke gevallen het misgaat en of een verbetering op het ene gebied elders zwakke punten veroorzaakt.

Onafhankelijke tests kunnen die gesprekken concreter maken, maar prestaties op retrospectieve benchmarks zijn niet hetzelfde als aangetoond voordeel in de klinische praktijk. Prospectieve studies, prestaties bij verschillende patiëntengroepen, percentages fout-positieve en fout-negatieve resultaten en de effecten op de werkbelasting van zorgverleners blijven belangrijke onderdelen van het bewijsmateriaal.

De lancering van Protege stelt zorgbedrijven die met AI werken een scherpere vraag: hoe presteert het systeem wanneer de gevallen onbekend zijn en iemand anders de test bepaalt? De waarde van de nieuwe dienst hangt af van hoe duidelijk de methoden en resultaten organisaties helpen die vraag te beantwoorden — en van hoe consequent de tests problemen aan het licht brengen die gelikte demonstraties missen.