Sfida di intelligenza artificiale crowdsourced per migliorare l’analisi dei mammogrammi si conclude

I mammogrammi sono importanti per la salute delle donne e per rilevare precocemente i segni del cancro al seno. Tuttavia, i mammogrammi richiedono l’interpretazione di specialisti umani, e anche i specialisti più qualificati possono commettere errori. Si stima che il tasso di falsi positivi dei mammogrammi sia di circa il 10% negli Stati Uniti. Al fine di creare sistemi che forniscono letture più accurate dei mammogrammi, la sfida Digital Mammography (DM) Dream ha recentemente creato un’iniziativa crowdsourced per sviluppare nuovi algoritmi di lettura dei mammogrammi

Come riporta PhysicsWorld, le tecniche di visione computerizzata e gli algoritmi di apprendimento profondo sono diventati più sofisticati negli ultimi anni, i ricercatori e gli ingegneri stanno rivolgendosi all’utilizzo dell’intelligenza artificiale per interpretare i mammogrammi, con l’obiettivo di aumentare l’accuratezza. La sfida Digital Mammography (DM) Dream ha lanciato una competizione per indagare sull’utilizzo di algoritmi di intelligenza artificiale nel riconoscimento di possibili segni di cancro al seno.

La sfida DM Dream è lo studio più grande mai condotto su algoritmi di apprendimento profondo per l’interpretazione dei mammogrammi. Justin Guinney, il presidente delle sfide DREAM, ha spiegato che il motivo di queste sfide è che consentono una valutazione strutturata di decine di modelli di apprendimento profondo su due diversi database. I partecipanti alla sfida dovevano progettare algoritmi che potessero essere addestrati sui dati dei mammogrammi e produrre un punteggio di probabilità che un paziente sarebbe stato diagnosticato con cancro al seno entro un anno. C’era anche una condizione di sfida secondaria. Nel secondo compito, gli algoritmi potevano essere addestrati su informazioni aggiuntive come dati demografici di rischio, dati clinici e immagini raccolte da esami di screening precedenti.

Sono stati utilizzati due set di dati per addestrare i modelli. Il primo set di dati era il dataset Kaiser Permanente Washington (KPW), assemblato da ricercatori statunitensi. Nel frattempo, un secondo set di dati è stato assemblato da ricercatori svedesi presso l’Istituto Karolinska (KI).

Oltre 1100 partecipanti hanno aderito alla sfida, divisi in 126 diverse squadre e composti da persone di tutto il mondo. Durante la prima parte della sfida, i modelli sono stati addestrati utilizzando il set di dati KPW, che includeva immagini di oltre 140.000 esami di screening. Quando si confrontano i risultati della seconda sfida, si è scoperto che l’accesso a più funzionalità come i dati clinici non migliorava significativamente il potere discriminatorio degli algoritmi. Tuttavia, il team DM Dream ha suggerito che lo sviluppo futuro degli algoritmi dovrebbe includere l’analisi delle immagini precedenti dei pazienti, ipotizzando che i partecipanti potrebbero non aver utilizzato appieno i dati.

Secondo Health IT Analytics, il team DR Dream vuole che le prime otto squadre che si sono classificate collaborino e progettino un modello di classificazione ensemble, per vedere se questo modello potrebbe potenzialmente superare i modelli individuali. I coordinatori della sfida hanno quindi utilizzato un’aggregazione ponderata delle previsioni dei vari algoritmi, creando il Challenge Ensemble Model (CEM). Le previsioni probabilistiche del modello CEM sono state confrontate con le interpretazioni dei radiologi, valutate utilizzando la specificità. I radiologi hanno raggiunto una specificità del 90,5%, mentre il modello CEM ha raggiunto solo il 76,1% di specificità. Sebbene i risultati sembrino deludenti, quando le ipotesi del modello CEM e l’interpretazione dei radiologi sono state aggregate in un altro modello (CEM+R), la specificità è migliorata al 92%.

Sono stati ottenuti risultati simili sul set di dati di test KI, utilizzato esclusivamente per convalidare i modelli, che conteneva immagini di oltre 166.000 esami. con il modello CEM leggermente inferiore ai radiologi (92,5% di specificità rispetto al 96,7% di specificità), ma CEM+R ha ottenuto risultati migliori (98,5% di specificità).

Nessuno dei modelli individuali è stato in grado di superare i specialisti umani, ma il modello CEM+R ha visto un leggero vantaggio rispetto all’interpretazione dei radiologi da soli. Potrebbe essere possibile che combinare l’intuizione umana con un assistente di intelligenza artificiale possa migliorare l’accuratezza.