Soutěž Crowdsourced AI Challenge pro zlepšení analýzy mammogramů skončila

Mammogramy jsou důležité pro zdraví žen a pro odhalení raných příznaků rakoviny prsu. Nicméně, mammogramy vyžadují lidské specialisty pro jejich interpretaci a dokonce i vysoce vyškolení specialisté dělají chyby. Odhaduje se, že falešná pozitivní míra mammogramů je přibližně 10 % v USA. Za účelem vytvoření systémů, které poskytují přesnější čtení mammogramů, byla nedávno spuštěna crowdsourcová iniciativa Digital Mammography (DM) Dream Challenge pro vývoj nových algoritmů pro čtení mammogramů

Jak uvádí PhysicsWorld, techniky počítačového vidění a algoritmy hlubokého učení se staly sofistikovanějšími v posledních letech, výzkumníci a inženýři se obrací k používání umělé inteligence pro interpretaci mammogramů, s cílem zvýšit přesnost. Digital Mammography (DM) Dream Challenge spustil soutěž pro zkoumání použití algoritmů umělé inteligence pro rozpoznání možných známek rakoviny prsu.

DM Dream Challenge je největší studie hlubokých učících se algoritmů pro interpretaci mammogramů dosud. Justin Guinney, prezident DREAM Challenges, vysvětlil, že důvodem pro tyto výzvy je, že umožňují strukturované hodnocení desítek hlubokých učících se modelů na dvou různých databázích. Účastníci soutěže museli navrhnout algoritmy, které by mohly být trénovány na datech mammogramů a výstupem by byla pravděpodobnost skóre, že pacient bude diagnostikován s rakovinou prsu do jednoho roku. Existovala také sekundární podmínka soutěže. V druhém úkolu byly algoritmy umožněny být trénovány na dalších informacích, jako jsou demografická rizika, klinická data a obrázky shromážděné z předchozích screeningových vyšetření.

Byly použity dvě datové sady pro trénování modelů. První datové sady byla sestavena výzkumníky z USA a nazývá se Kaiser Permanente Washington (KPW). Druhá datové sada byla sestavena švédskými výzkumníky na Karolinska Institute (KI).

Více než 1100 účastníků se zúčastnilo soutěže, rozdělených do 126 různých týmů a tvořených lidmi z celého světa. Během první části soutěže byly modely trénovány pomocí datové sady KPW, která zahrnovala obrázky z více než 140 000 screeningových vyšetření. Při srovnání s výsledky druhé části soutěže bylo zjištěno, že přístup k více funkcím, jako jsou klinická data, nezvýšil významně diskriminační sílu algoritmů. Nicméně, tým DM Dream navrhl, že budoucí vývoj algoritmů by měl zahrnovat analýzu předchozích obrázků pacientů, protože účastníci možná plně nevyužili data.

Podle Health IT Analytics, tým DR Dream chce, aby se osm nejlepších týmů spolupracovalo a navrhlo ensemble klasifikační model, aby zjistilo, zda tento model může potenciálně překonat individuální modely. Koordinátoři soutěže pak použili vážené agregace předpovědí různých algoritmů, vytvářející Challenge Ensemble Model (CEM). Probabilistické předpovědi modelu CEM byly porovnány s interpretacemi radiologů, hodnocenými pomocí specificity. Radiologové dosáhli 90,5% specificity, zatímco model CEM dosáhl pouze 76,1% specificity. Ačkoli výsledky vypadají zklamáním, když byly odhady modelu CEM a interpretace radiologů agregovány do jiného modelu (CEM+R), specificity se zlepšila na 92%.

Podobné výsledky byly dosaženy na testovací datové sadě KI, která se používá výhradně pro validaci modelů a obsahuje obrázky z více než 166 000 vyšetření. Model CEM byl mírně horší než radiologové (92,5% specificity ve srovnání s 96,7% specificity), ale model CEM+R dosáhl lepších výsledků (98,5% specificity).

Žádný z individuálních modelů nebyl schopen překonat lidské specialisty, ale model CEM+R viděl mírnou výhodu ve srovnání s interpretací radiologů samotných. Je možné, že kombinace lidské intuice s asistentem umělé inteligence by mohla zlepšit přesnost.