Создание синтетических наборов данных ранений с помощью генеративных состязательных сетей

Впервые генеративная состязательная сеть используется для создания синтетических наборов данных изображений ранений, чтобы устранить критическую нехватку разнообразных и доступных данных этого типа в приложениях машинного обучения в здравоохранении.

Система, называемая WG²AN, является совместным проектом Колледжа инженерии и технологий Баттена и компании еКare, специализирующейся на применении методов машинного обучения для измерения и идентификации ранений.

Генеративная состязательная сеть обучается на 100-4000 помеченных стереоскопических хронических изображениях ранений, предоставленных еКare, включая анонимные фотографии различных типов ранений, вызванных давлением, операциями, лимфоваскулярными инцидентами, диабетом и ожогами. Исходный материал варьировался в размере от 1224×1224 до 2160×2160, все снятое в доступном свете врачами.

Чтобы приспособиться к доступному латентному пространству в архитектуре обучения модели, изображения были масштабированы до 512×512 и извлечены из их фонов. Чтобы изучить влияние размера набора данных, тестовые запуски были реализованы на партиях из 100, 250, 500, 1000, 2000 и 4000 изображений.

Источник: https://ietresearch.onlinelibrary.wiley.com/doi/pdfdirect/10.1049/tje2.12033

Изображение выше показывает увеличивающуюся детализацию и гранулярность в зависимости от размера обучающего набора и количества эпох, пройденных за каждый проход.

Архитектура WG2GAN. Источник: https://ietresearch.onlinelibrary.wiley.com/doi/pdfdirect/10.1049/tje2.12033

WG²AN работает на PyTorch на относительно скромной потребительской установке, с 8 ГБ видеопамяти на графическом процессоре GTX 1080. Обучение заняло от 4 до 58 часов в зависимости от размера набора данных от 100 до 4000 изображений и количества эпох, на партии из 64 в качестве компромисса между точностью и производительностью. Оптимизатор Адама используется для первой половины обучения при скорости обучения 0,0002, и завершается с линейно убывающей скоростью обучения до достижения нулевой потери.

Слева, применение сегментации к области раны. В центре, изображение реальной раны; справа, синтетическая рана типа, который может быть обобщен в наборе данных, на основе исходного источника. Снизу, исходная рана, и справа, синтез раны, сгенерированный WG2GAN.

В медицинских наборах данных, как и во многих других областях машинного обучения, помечание является неизбежным узким местом. В этом случае исследователи использовали полуавтоматическую систему помечания, которая использует ранее проведенные исследования еКare, которые использовали реальные модели ранений, созданные из пластилина и окрашенные для семантического контекста.

Модели ранений еКare

Исследователи отметили проблему, которая часто возникает на начальном этапе обучения, когда набор данных очень разнообразен и веса случайны – модель долго «усыпается» (75 эпох):

Где данные разнообразны, как генеративные состязательные сети, так и модели кодирования/декодирования, испытывают трудности в получении обобщения на ранних этапах, как мы видим, подтвержденное графиком обучения WG²GAN, который отслеживает хронологию обучения от начала до нулевой потери.

Необходимо проявлять осторожность, чтобы процесс обучения не фиксировался на особенностях или характеристиках какого-либо одного итерации или эпохи, а продолжал обобщать до полезной средней потери без получения результатов, которые чрезмерно абстрагируют исходный материал. В случае с WG²GAN это рисковало создать неограниченные, совершенно «фиктивные» раны, сконструированные среди слишком широкого диапазона несвязанных типов ранений, а не производство точного диапазона вариаций внутри определенного типа раны.

Контроль объема в наборе данных машинного обучения

Модели с более легкими обучающими наборами обобщают быстрее, и исследователи статьи утверждают, что наиболее реалистичные изображения могут быть получены при меньших настройках: набор данных из 1000 изображений, обученный за 200 эпох.

Хотя меньшие наборы данных могут достичь высокореалистичных изображений за меньшее время, диапазон изображений и типов ранений, сгенерированных таким образом, будет обязательно более ограничен. Существует тонкий баланс в режимах обучения генеративных состязательных сетей и моделей кодирования/декодирования между объемом и разнообразием входных данных, точностью произведенных изображений и реализмом произведенных изображений — вопросы объема и взвешивания, которые, безусловно, не ограничиваются синтезом медицинских изображений.

Несбалансированность классов в медицинских наборах данных

В целом, машинное обучение в здравоохранении страдает не только от нехватки наборов данных, но и от несбалансированности классов, когда важные данные о конкретном заболевании составляют такую небольшую долю его родительского набора данных, что они рискуют быть отклонены как аномальные данные или быть ассимилированы в процессе обобщения во время обучения.

Было предложено несколько методов для решения последней проблемы, таких как недообучение или переобучение. Однако проблема часто обходится путем разработки наборов данных, специфичных для заболеваний, которые полностью связаны с одной медицинской проблемой. Хотя этот подход эффективен в каждом конкретном случае, он способствует культуре балканизации в сфере исследований машинного обучения в здравоохранении и, возможно, замедляет общий прогресс в секторе.