Краудсорсинговый вызов ИИ для улучшения анализа маммограмм завершился

Маммография важна для здоровья женщин и для выявления ранних признаков рака молочной железы. Однако для интерпретации маммограмм требуются человеческие специалисты, и даже высококвалифицированные специалисты могут совершать ошибки. Оценивается, что уровень ложноположительных результатов маммограмм составляет примерно 10% в США. Чтобы создать системы, которые дают более точные результаты маммограмм, цифровая маммография (DM) Dream Challenge недавно создала краудсорсинговое начинание для разработки новых алгоритмов чтения маммограмм

Как сообщает PhysicsWorld, техники компьютерного зрения и алгоритмы глубокого обучения стали более совершенными за последние несколько лет, исследователи и инженеры обращаются к использованию ИИ для интерпретации маммограмм, стремясь увеличить точность. Цифровая маммография (DM) Dream Challenge запустила конкурс для изучения использования алгоритмов ИИ для распознавания возможных признаков рака молочной железы.

Вызов DM Dream является крупнейшим изучением алгоритмов глубокого обучения для интерпретации маммограмм на данный момент. Джастин Гуинни, президент вызовов DREAM, объяснил, что причина вызовов заключается в том, что это позволяет провести структурированную оценку десятков моделей глубокого обучения на двух разных базах данных. Участникам вызова было необходимо разработать алгоритмы, которые можно было бы обучить на данных маммографии и выдавать вероятностный балл того, что пациент будет диагностирован с раком молочной железы в течение года. Также был задан дополнительный вызов. Во втором задании алгоритмам было разрешено обучаться на дополнительной информации, такой как демографические данные о риске, клинические данные и изображения, собранные из предыдущих скрининговых обследований.

Для обучения моделей были использованы две базы данных. Первая база данных была собрана исследователями из США в Kaiser Permanente Washington (KPW). Вторая база данных была собрана шведскими исследователями в Каролинском институте (KI).

В вызове приняли участие более 1100 участников, разделенных на 126 команд и состоящих из людей со всего мира. Во время первой части вызова модели были обучены с использованием набора данных KPW, который включал изображения из более 140 000 скрининговых обследований. При сравнении результатов второго вызова было обнаружено, что доступ к дополнительным функциям, таким как клинические данные, не существенно улучшил дискриминационную силу алгоритмов. Однако команда DM Dream предположила, что будущее развитие алгоритмов должно включать анализ предыдущих изображений пациентов, полагая, что участники могут не полностью использовать данные.

Согласно Health IT Analytics, команда DR Dream хочет, чтобы восемь лучших команд сотрудничали и разработали ансамблевую классификационную модель, чтобы увидеть, сможет ли эта модель потенциально превзойти индивидуальные модели. Координаторы вызова затем использовали взвешенную агрегацию прогнозов различных алгоритмов, создав модель Challenge Ensemble (CEM). Вероятностные прогнозы модели CEM были сравнены с интерпретациями радиологов, оцененными по специфичности. Радиологи достигли 90,5% специфичности, в то время как модель CEM достигла только 76,1% специфичности. Хотя результаты кажутся разочаровывающими, когда прогнозы модели CEM и интерпретация радиологов были объединены в другую модель (CEM+R), специфичность улучшилась до 92%.

Аналогичные результаты были получены на тестовой базе данных KI, использованной исключительно для проверки моделей, которая содержала изображения более 166 000 обследований. Модель CEM была немного хуже, чем радиологи (92,5% специфичности по сравнению с 96,7% специфичности), но CEM+R достигла лучших результатов (98,5% специфичности).

Хотя ни одна из индивидуальных моделей не смогла превзойти человеческих специалистов, модель CEM+R увидела небольшое преимущество по сравнению с интерпретацией радиологов в одиночку. Возможно, что сочетание человеческого интуитивного понимания с помощником ИИ может улучшить точность.