Crowdsourced AI-udfordring til at forbedre mammografianalyse afsluttes

Mammografier er vigtige for kvinders sundhed og for at opdage tidlige tegn på brystkræft. Dog kræver mammografier, at menneskelige specialister fortolker dem, og selv højt trænede specialister begår fejl. Det estimeres, at den falske positiv rate for mammografier er ca. 10% i USA. For at skabe systemer, der giver mere præcise læsninger af mammografier, har Digital Mammography (DM) Dream Challenge nyligt oprettet en crowdsourced indsats for at udvikle nye mammografi-læsealgoritmer

Ifølge PhysicsWorld, er computer vision-teknikker og dybe læringsalgoritmer blevet mere avancerede over de seneste par år, og forskere og ingeniører vender sig nu mod brugen af AI til at fortolke mammografier med det formål at øge nøjagtigheden. Digital Mammography (DM) Dream Challenge lancerede en konkurrence for at undersøge brugen af AI-algoritmer til at genkende mulige tegn på brystkræft.

DM Dream-udfordringen er den største studie af dybe læringsalgoritmer i forhold til mammografitorfortolkning hidtil. Justin Guinney, præsident for DREAM-udfordringerne, forklarede, at årsagen til udfordringerne er, at det giver mulighed for en struktureret vurdering af dusinvis af dybe læringsmodeller på to forskellige databaser. Deltagerne i udfordringen skulle designe algoritmer, der kunne trænes på mammografidata og udgive en sandsynlighedsscore for, at en patient ville blive diagnosticeret med brystkræft inden for et år. Der var også en sekundær udfordringsbetingelse. I den anden opgave var algoritmerne tilladt at blive trænet på yderligere information som demografisk risikodata, klinisk data og billeder samlet fra tidligere screeningsforsøg.

Der blev brugt to datasæt til at træne modellerne. Det første datasæt var Kaiser Permanente Washington (KPW)-datasættet, som var samlet af forskere fra USA. Imens blev et andet datasæt samlet af svenske forskere fra Karolinska Institutet (KI).

Over 1100 deltagere deltog i udfordringen, fordelt på 126 forskellige hold og bestående af mennesker fra hele verden. Under den første del af udfordringen blev modellerne trænet ved hjælp af KPW-datasættet, som indeholdt billeder fra over 140.000 screeningsforsøg. Når man sammenlignede resultaterne fra den anden udfordring, fandt man, at adgang til flere funktioner som klinisk data ikke betydeligt forbedrede diskrimineringskraften af algoritmerne. Dog foreslog DM Dream-holdet, at fremtidig algoritmeudvikling burde inkludere analyse af tidligere billeder af patienter, idet deltagere muligvis ikke havde udnyttet data fuldt ud.

Ifølge Health IT Analytics, ønsker DR Dream-holdet, at de otte bedst performende hold skal samarbejde og designe en ensemble-klassificeringsmodel for at se, om denne model potentielt kan overgå de enkeltstående modeller. Udfordringskoordinatorerne brugte herefter en vægtet aggregation af forudsigelserne fra de forskellige algoritmer og oprettede Challenge Ensemble Model (CEM). De probabilistiske forudsigelser fra CEM-modellen blev sammenlignet med fortolkninger fra radiologer, vurderet ved hjælp af specificitet. Radiologerne opnåede 90,5% specificitet, mens CEM-modellen kun opnåede 76,1% specificitet. Selv om resultaterne synes skuffende, forbedredes specificiteten til 92%, når gæt fra en CEM-model og radiologfortolkning blev aggregeret i en anden model (CEM+R).

Lignende resultater blev opnået på KI-testdatasættet, som udelukkende blev brugt til at validere modellerne, og som indeholdt billeder fra over 166.000 eksamener. CEM-modellen var lidt ringere end radiologer (92,5% specificitet i forhold til 96,7% specificitet), men CEM+R opnåede bedre resultater (98,5% specificitet).

Da ingen af de enkeltstående modeller kunne overgå menneskelige specialister, så CEM+R-modellen en lille fordel i forhold til radiologfortolkningen alene. Det er muligt, at kombinationen af menneskelig intuition med en AI-assistent kan forbedre nøjagtigheden.