Создание синтетических наборов данных о ранениях с помощью генеративно-состязательных сетей

Впервые Генеративная Состязательная Сеть используется для создания синтетических наборов данных изображений ран, чтобы восполнить острую нехватку разнообразного и доступного контента такого типа в приложениях машинного обучения в сфере здравоохранения.

Система, называемая WG²AN, является результатом сотрудничества между Инженерно-технологическим колледжем Баттена и компанией eKare, занимающейся искусственным интеллектом, которая специализируется на применении методологий машинного обучения для измерения и идентификации ран.

GAN обучается на 100-4000 помеченных стереоскопических изображениях хронических ран, предоставленных eKare, включая анонимные изображения типов травм, вызванных такими причинами, как давление, хирургическое вмешательство, лимфоваскулярные инциденты, диабет и ожоги. Размер исходного материала варьировался от 1224×1224 до 2160×2160, все они были сняты врачами при доступном свете.

Чтобы разместить доступное скрытое пространство в архитектуре обучения модели, изображения были масштабированы до 512 × 512 и извлечены из фона. Чтобы изучить влияние размера набора данных, были проведены тестовые прогоны на пакетах из 100, 250, 500, 1000, 2000 и 4000 изображений.

На изображении выше показано увеличение детализации и детализации в зависимости от размера обучающего набора и количества эпохи работать на каждом проходе.

WG²GAN работает на PyTorch в относительно компактной настройке потребительского стиля с 8 ГБ видеопамяти на графическом процессоре GTX 1080. Обучение занимало от 4 до 58 часов в диапазоне размеров набора данных от 100 до 4000 изображений и в диапазоне эпох при размере пакета 64 в качестве компромисса между точностью и производительностью. Оптимизатор Адама используется в первой половине обучения со скоростью обучения 0.0002 и завершается линейной затухающей скоростью обучения, пока не будет достигнута нулевая потеря.

В наборах медицинских данных, как и во многих других областях машинного обучения, маркировка является неизбежным узким местом. В этом случае исследователи использовали полуавтоматическую систему маркировки, которая использует более ранние исследования от eKare, в которой использовались модели ран реального мира, созданные в Play-Doh и грубо окрашенные для семантического контекста.

Исследователи отметили проблему, часто возникающую на начальных этапах обучения, когда набор данных достаточно разнообразен, а веса рандомизированы — модель долго (75 эпох) «успокаивается»:

Там, где данные разнообразны, модели GAN и кодировщика/декодера изо всех сил пытаются получить обобщение на более ранних этапах, как мы можем видеть на приведенном выше графике обучения WG.²GAN, который отслеживает график обучения от начала до нуля.

Необходимо позаботиться о том, чтобы процесс обучения не зацикливался на особенностях или характеристиках какой-либо одной итерации или эпохи, а продолжал обобщать до пригодных для использования средних потерь без получения результатов, которые чрезмерно абстрагируют исходный материал. В случае с ВГ²GAN, который рискует создать неограниченные, полностью «вымышленные» раны, объединенные между слишком широким диапазоном несвязанных типов ран, вместо того, чтобы создавать точный диапазон вариаций в пределах определенного типа ран.

Управление областью действия в наборе данных машинного обучения

Модели с более легкими обучающими наборами обобщаются быстрее, и исследователи статьи утверждают, что наиболее реалистичные изображения могут быть получены при настройках ниже максимальных: набор данных из 1000 изображений, обученный в течение 200 эпох.

Хотя меньшие наборы данных могут дать очень реалистичные изображения за меньшее время, диапазон изображений и типов сгенерированных ран также обязательно будет более ограниченным. В режимах обучения GAN и кодировщика/декодера существует тонкий баланс между объемом и разнообразием входных данных, точностью и реалистичностью получаемых изображений — проблемы масштаба и веса, которые, безусловно, не ограничиваются медицинскими изображениями. синтез.

Дисбаланс классов в медицинских наборах данных

В целом, машинное обучение в здравоохранении сталкивается не только с отсутствие наборов данных, но по дисбаланс классов, где основные данные о конкретном заболевании составляют настолько малый процент от исходного набора данных, что они рискуют либо быть отклоненными как выбросы, либо ассимилироваться в процессе обобщения в ходе обучения.

Для решения последней проблемы был предложен ряд методов, таких как недостаточная выборка или избыточная выборка. Тем не менее, проблема часто обходится путем разработки наборов данных по конкретным заболеваниям, которые полностью связаны с одной медицинской проблемой. Хотя этот подход эффективен в каждом отдельном случае, он способствует культуре балканизации в сфере медицинских исследований в области машинного обучения и, возможно, замедляет общий прогресс в этом секторе.