Protege lancia test indipendenti sull’IA in ambito sanitario mentre Disease Odyssey mette in luce le lacune diagnostiche

Protege avvia valutazioni indipendenti dell’IA in ambito sanitario, sottoponendo i modelli a test su casi di pazienti mai esaminati prima. Il suo primo benchmark, Disease Odyssey, offre una prima indicazione della sua importanza: secondo l’azienda, i modelli più avanzati hanno individuato patologie come l’apnea notturna e l’anemia solo nel 53%–69% dei casi, basandosi sulle anamnesi dei pazienti.

Il lancio del 21 ottobre comprende anche valutazioni con Xlue AI e Standard Model Biomedicine. Nel loro insieme, i risultati affrontano due questioni importanti per ospedali e sviluppatori: se un modello sia in grado di estrarre segnali clinici utili da cartelle cliniche reali e quanto costi produrre tali previsioni.

La proposta di Protege è trasferire una parte maggiore di queste valutazioni al di fuori delle organizzazioni che sviluppano i modelli. L’azienda progetta, svolge e valuta test utilizzando cartelle cliniche protette sotto il profilo della privacy e risposte verificate da medici, offrendo agli sviluppatori un modo per individuare i punti deboli prima di fare affermazioni più ampie sulle prestazioni.

Un test diverso dalle domande d’esame di medicina

Una domanda medica con una diagnosi formulata chiaramente è diversa dall’anamnesi di un paziente distribuita su più visite. I sintomi si sviluppano nel tempo, le cartelle possono essere incomplete e l’indizio decisivo può essere nascosto tra informazioni meno pertinenti. Disease Odyssey si concentra sul riconoscimento delle patologie prima della diagnosi, a partire da queste anamnesi longitudinali.

L’intervallo riportato, dal 53% al 69%, riguarda i casi e le patologie sottoposti a test, non l’IA in ambito sanitario nel suo complesso. L’annuncio di Protege non fornisce dettagli sufficienti sulle dimensioni dei campioni, sugli esatti modelli usati per il confronto o sull’incertezza dei risultati per consentire una graduatoria più ampia. Ciò che mostra, invece, è che nel benchmark iniziale dell’azienda rimane un ampio margine di miglioramento.

«L’IA in ambito sanitario si sta evolvendo rapidamente, ma i metodi con cui la valutiamo non hanno tenuto il passo», ha dichiarato Bobby Samuels, cofondatore e amministratore delegato di Protege, nell’annuncio.

Come Protege separa i test dallo sviluppo

Protege descrive il proprio processo come in doppio cieco: chi sviluppa i modelli non vede in anticipo i dati o le domande dei pazienti, mentre Protege valuta i sistemi senza sapere come sono stati realizzati. In questo caso, il termine descrive l’impostazione della valutazione, non uno studio clinico randomizzato.

Tenere i materiali di test fuori dal processo di sviluppo è importante perché l’esposizione alle domande del benchmark può gonfiare le prestazioni apparenti. Un modello che ha incontrato una risposta durante l’addestramento può sembrare più capace di quanto non sia quando si trova ad affrontare un caso davvero nuovo.

La piattaforma di valutazione dell’IA in ambito sanitario dell’azienda aggiunge diversi strumenti di controllo pratici. Comprende casi di test protetti e tenuti da parte, attività e criteri di valutazione versionati e l’analisi degli schemi di errore e delle popolazioni interessate. Il versionamento rende più significativi i confronti tra le diverse versioni dei modelli: è più facile interpretare un punteggio superiore quando l’attività e le regole di valutazione non sono state modificate di nascosto.

La piattaforma attinge a informazioni collegate tra loro, tra cui cartelle cliniche elettroniche, note cliniche, immagini, dati patologici, richieste di rimborso e risultati clinici. Il suo Data Lab trasforma le domande cliniche in attività di valutazione e risposte di riferimento. Questa combinazione è pensata per verificare come i modelli utilizzano il contesto clinico, anziché limitarsi a controllare se riproducono fatti medici isolati.

Modelli specializzati a confronto su prestazioni e costi

Le valutazioni che accompagnano il lancio esaminano attività diverse, quindi i relativi risultati vanno considerati separatamente da quelli di Disease Odyssey.

In una collaborazione con Standard Model Biomedicine, Protege ha valutato previsioni relative alla sopravvivenza in caso di tumore al seno e ai polmoni e al tempo che intercorre fino al trattamento successivo di un paziente. Secondo l’azienda, il modello specializzato ha ottenuto risultati competitivi rispetto ai sistemi più avanzati, con un costo per previsione da 36 a 170 volte inferiore.

Una valutazione distinta del modello HealthSAW di Xlue AI ha esaminato i rischi futuri relativi a tumori, malattie cardiovascolari e patologie neurologiche. Protege afferma che HealthSAW ha superato i modelli più avanzati in 14 test su 16, a un costo per paziente inferiore allo 0,1% del loro.

Si tratta di confronti specifici per singole attività, riportati da Protege, non della dimostrazione che un modello sia il migliore in ogni contesto clinico. L’annuncio non illustra nel dettaglio l’intero metodo di calcolo dei costi. Costi inferiori per le previsioni potrebbero rendere più pratici gli screening ripetuti o le analisi su larga scala, ma i costi di implementazione dipendono anche dall’integrazione, dalla supervisione e dal lavoro necessario in caso di risultati errati.

Le valutazioni devono tenere il passo con gli aggiornamenti dei modelli

L’attività più ampia di Protege consiste nel fornire dati per lo sviluppo dell’IA, perciò la separazione tra i dati usati per lo sviluppo e quelli destinati alla valutazione è una parte importante del suo approccio. I materiali dell’azienda sottolineano l’importanza della provenienza dei dati, dell’accesso controllato e dell’aggiornamento dei casi dei pazienti per mantenere nel tempo l’utilità dei test.

L’azienda prevede di ampliare le valutazioni ad ambiti quali patologia, dermatologia, oncologia e flussi di lavoro amministrativi. Il suo obiettivo è definire un processo ripetibile, da eseguire nuovamente man mano che i modelli cambiano, anziché assegnare a un prodotto un punteggio unico e permanente.

Questo è utile sia per chi acquista sia per chi sviluppa. Un ospedale deve sapere se un modello aggiornato continua a funzionare per la propria popolazione di pazienti e nei propri flussi di lavoro. A uno sviluppatore non basta un punteggio medio: deve capire quali casi non funzionano e se un miglioramento in un’area introduce punti deboli in altre.

I test indipendenti possono rendere più concrete queste discussioni, ma le prestazioni ottenute retrospettivamente su un benchmark non equivalgono a un beneficio dimostrato nella pratica clinica. Gli studi prospettici, le prestazioni nei diversi gruppi di pazienti, i tassi di falsi positivi e falsi negativi e gli effetti sul carico di lavoro dei clinici restano elementi importanti delle prove disponibili.

Il lancio di Protege pone alle aziende che operano nell’ambito dell’IA sanitaria una domanda più precisa: come si comporta il sistema quando i casi non gli sono familiari e il test è definito da qualcun altro? Il valore del nuovo servizio dipenderà da quanto chiaramente i suoi metodi e risultati aiuteranno le organizzazioni a rispondere a questa domanda e da quanto costantemente i test faranno emergere problemi che le dimostrazioni più curate non rivelano.