Синтетические данные: изменение расы на лицевых изображениях для устранения предвзятости в медицинских наборах данных

Исследователи из Университета Калифорнии в Лос-Анджелесе (UCLA) разработали метод изменения apparent расы лиц в наборах данных, используемых для обучения медицинских систем машинного обучения, с целью устранения расовой предвзятости, от которой страдают многие общие наборы данных.

Новая техника способна производить фотографически реалистичные и физиологически точные синтетические видео со средней скоростью 0,005 секунды на кадр и, как ожидается, поможет в разработке новых диагностических систем для удаленной медицинской диагностики и мониторинга – области, которая значительно расширилась под воздействием ограничений COVID. Система предназначена для улучшения применимости удаленной фотоплетизмографии (rPPG), компьютерной техники, которая оценивает содержимое лицевого видео для обнаружения объемных изменений в кровотоке без вторжения.

Источник: https://arxiv.org/pdf/2106.06007.pdf. Нажмите, чтобы увеличить.

Хотя работа, которая использует свёрточные нейронные сети (CNN), включает предыдущий исследовательский код опубликованный Университетом Дарема в 2020 году, новое применение предназначено для сохранения пульсирующих сигналов в исходных тестовых данных, а не просто визуального изменения apparent расы данных, как это делает исследование 2020 года.

CNN для расового преобразования

Первая часть системы кодирования-декодирования использует модель передачи расы Дарема, предварительно обученную на VGGFace2, для генерации прокси-целевых кадров с помощью компонента передачи расы Дарема. Это производит плоскую передачу расовых характеристик, но не содержит вариаций цвета и тона, которые представляют визуальные физиологические индикаторы состояния кровотока пациента.

Трубопровод преобразования из исследования 2020 года Университета Дарема, часть которого включена в новое исследование UCLA. Источник: https://arxiv.org/pdf/2004.08945.pdf. Нажмите, чтобы увеличить.

Вторая сеть, называемая PhysResNet (PRN), обеспечивает компонент rPPG. PhysResNet обучена для изучения как визуального вида, так и вариаций цвета, которые определяют движения объема крови под кожей.

Внизу слева, результаты, полученные исследованием 2020 года Университета Дарема, не содержащие информации PPG. В середине слева, информация PPG, включенная в расовое преобразование. Нажмите, чтобы увеличить.

Архитектура, предложенная проектом UCLA, превосходит конкурирующие методы rPPG даже в отсутствие аугментации цвета кожи, что представляет собой 31% улучшение по сравнению с аналогичными методами, оптимизированными с помощью MAE и RMSE.

Сеть UCLA успешно сохраняет информацию о объеме и распределении крови. Нажмите, чтобы увеличить.

Исследователи UCLA надеются, что будущая работа примет более обширные проблемы для устранения расовой предвзятости в этой области медицинской визуализации, и надеются также, что более поздние схемы будут выводить видео более высокого разрешения, поскольку система в вопросе ограничена разрешением 80×80 пикселей – подходящим для ограничений телемедицины, но не идеальным.

Отсутствие этнически разнообразных наборов данных

Экономические и практические обстоятельства, которые приводят к расово разнообразным наборам данных, были препятствием для медицинских исследований в течение нескольких лет. Данные, как правило, генерируются парохиально, и многие факторы способствуют частой гомогенности данных, ориентированной на кавказскую расу. Среди них – состав демографических меньшинств в городах, где проводятся исследования, и другие социально-экономические факторы, которые могут повлиять на степень, в которой не-белые субъекты появляются в западных наборах данных, которые исследователи хотели бы сделать более глобально применимыми.

В странах с более высоким процентом темнокожих субъектов часто не хватает необходимого оборудования и ресурсов для сбора данных.

Карта мира тона кожи для коренных народов, из Американского журнала физической антропологии.

В настоящее время темнокожие субъекты значительно недопредставлены в наборах данных rPPG, составляя 0%, 5% и 10% содержания трех основных баз данных, обычно используемых для этой цели.

Гомогенная кавказская数据

В 2019 году новое исследование опубликованное в Science показало, что алгоритм, широко распространенный в больничной помощи США, был сильно предвзят в пользу кавказских субъектов. Исследование показало, что черные люди были менее склонны быть направлены в специализированную помощь на этапе_triage и более глубоких уровнях больничного приема.

Дальнейшие исследования в том же году исследователей из Малайзии и Австралии установили общую проблему ‘собственной расовой предвзятости’ для генерации наборов данных во многих регионах мира, включая Азию.

Потенциальные ограничения масштаба и архитектуры

Некоторые из ограничений, которые привели к ограниченным по этнической принадлежности наборам данных, являются прагматическими, а не этическими по своей природе. Чем шире множество вкладывающих данных, тем лучше оно обобщается на субъектах, представленных в этих данных, но тем меньше тренировочная рутина склонна интуитивно распознавать закономерности внутри любой отдельной характеристики данных, включая расу, потому что меньший процент времени тренировки, внимания и ресурсов доступен для каждой идентифицируемой подсубъекта данных.

Это может привести к моделям, которые широко применимы, но получают менее конкретные результаты, из-за ограничений размера данных, экономики размера партии и практических ограничений скрытого пространства как функции ограниченных аппаратных ресурсов.

В противоположном случае, хотя эффективные и детальные результаты могут быть получены путем ограничения входных данных до более ограниченного набора характеристик, включая этническую принадлежность, результаты, вероятно, будут ‘переобучены’ на ограниченных данных и не будут широко применимы, возможно, даже на не виденных субъектах в том же географическом районе, из которого были получены исходные данные.

Синтетические аватары для симуляции PPG

Статья UCLA также упоминает предыдущую работу исследователей Microsoft в 2020 году по использованию расово гибких синтетических аватаров, которые используют 3D-синтез изображений для создания видео лиц, богатых информацией PPG.

Синтетические аватары, созданные исследователями Microsoft, с трассированными лучами изображениями, содержащими данные PPG. Источник: https://arxiv.org/pdf/2010.12949.pdf. Нажмите, чтобы увеличить.