Crowdsourcad AI-utmaning för att förbättra mammografianalys avslutas

Mammografier är viktiga för kvinnors hälsa och för att upptäcka tidiga tecken på bröstcancer. Men mammografier kräver att mänskliga specialister tolkar dem, och även mycket utbildade specialister gör misstag. Det uppskattas att den falska positiva frekvensen av mammografier är ungefär 10% i USA. För att skapa system som ger mer exakta läsningar av mammografier har Digital Mammography (DM) Dream Challenge nyligen skapat ett crowdsourcat företag för att utveckla nya mammografialgoritmer

Som PhysicsWorld rapporterar, har datorseende-tekniker och djupinlärningsalgoritmer blivit mer avancerade under de senaste åren, och forskare och ingenjörer vänder sig till användningen av AI för att tolka mammografier, i syfte att öka noggrannheten. Digital Mammography (DM) Dream Challenge lanserade en tävling för att undersöka användningen av AI-algoritmer för att känna igen möjliga tecken på bröstcancer.

DM Dream-utmaningen är den största studien av djupinlärningsalgoritmer för mammografitolkning hittills. Justin Guinney, president för DREAM-utmaningarna, förklarade att anledningen till utmaningarna var att det möjliggjorde en strukturerad utvärdering av dussintals djupinlärningsmodeller på två olika databaser. Deltagarna i utmaningen var tvungna att designa algoritmer som kunde tränas på mammografidata och producera en sannolikhetspoäng för att en patient skulle diagnostiseras med bröstcancer inom ett år. Det fanns också en sekundär utmaningsvillkor. I den andra uppgiften tilläts algoritmerna att tränas på ytterligare information som demografisk riskdata, klinisk data och bilder samlade från tidigare screeningundersökningar.

Det fanns två datamängder som användes för att träna modellerna. Den första datamängden var Kaiser Permanente Washington (KPW)-datamängden, som samlades in av forskare från USA. En andra datamängd samlades in av svenska forskare vid Karolinska Institutet (KI).

Över 1100 deltagare anslöt sig till utmaningen, uppdelade i 126 olika lag och bestod av människor från hela världen. Under den första delen av utmaningen tränades modellerna med hjälp av KPW-datamängden, som innehöll bilder från över 140 000 screeningundersökningar. När resultaten från den andra utmaningen jämfördes, visade det sig att tillgång till fler funktioner som klinisk data inte meningsfullt förbättrade algoritmernas diskrimineringsförmåga. Men DM Dream-teamet föreslog att framtida algoritmutveckling bör inkludera analys av tidigare bilder för patienter, och antydde att deltagarna kanske inte hade utnyttjat datan fullt ut.

Enligt Health IT Analytics, vill DR Dream-teamet ha de åtta bäst presterande lagen att samarbeta och designa en ensemble-klassificeringsmodell, för att se om denna modell potentiellt kunde överträffa de enskilda modellerna. Utmaningskoordinatorerna använde sedan en viktad aggregation av förutsägelserna från de olika algoritmerna och skapade Challenge Ensemble Model (CEM). De probabilistiska förutsägelserna från CEM-modellen jämfördes mot tolkningar från radiologer, utvärderade med hjälp av specificitet. Radiologerna uppnådde 90,5% specificitet, medan CEM-modellen endast uppnådde 76,1% specificitet. Även om resultaten verkar besvikna, förbättrades specificiteten till 92% när gissningarna från en CEM-modell och radiologtolkning samlades i en annan modell (CEM+R).

Motsvarande resultat uppnåddes på KI-testdatamängden, som användes uteslutande för att validera modellerna, som innehöll bilder från över 166 000 undersökningar. CEM-modellen var något sämre än radiologer (92,5% specificitet jämfört med 96,7% specificitet), men CEM+R uppnådde bättre resultat (98,5% specificitet).

Medan ingen av de enskilda modellerna kunde överträffa mänskliga specialister, såg CEM+R-modellen en liten fördel jämfört med tolkningen av radiologer ensamma. Det kan vara möjligt att kombinera mänsklig intuition med en AI-assistent kan förbättra noggrannheten.