Синтетичні дані: зміна раси на зображеннях обличчя для усунення упередженості в наборах медичних даних

Дослідники Каліфорнійського університету в Лос-Анджелесі розробили метод, щоб змінити очевидну расу облич у наборах даних, які використовуються для навчання медичних систем машинного навчання, намагаючись усунути расові упередження, від яких страждають багато звичайних наборів даних.

Команда нова техніка здатний виробляти фотореалістичне та фізіологічно точне синтетичне відео із середньою швидкістю 0.005 секунди на кадр, і, як сподіваються, допоможе в розробці нових діагностичних систем для віддаленої діагностики та моніторингу охорони здоров’я – галузі, яка значно розширилася під обмеженнями COVID. Система призначена для підвищення застосовності дистанційної фотоплетизмографії (rPPG), техніка комп’ютерного зору, яка оцінює відеоконтент обличчя для виявлення об’ємних змін кровопостачання неінвазивним способом.

Джерело: https://arxiv.org/pdf/2106.06007.pdf. Натисніть, щоб збільшити.

Хоча робота, в якій використовуються згорточні нейронні мережі (CNN), включає код попереднього дослідження опублікований Даремським університетом Великої Британії у 2020 році, нова програма призначена для збереження пульсуючих сигналів у вихідних даних тестування, а не просто для візуальної зміни видимої гонки даних, як це робить дослідження 2020 року.

CNN за расову трансформацію

Перша частина системи кодера-декодера використовує модель передачі перегонів Durham, попередньо навчену на VGGFace2, щоб генерувати проксі-цільові кадри з попереднім кавказько-африканським компонентом дослідження Дарема. Це створює плоску передачу расових ознак, але не містить варіацій кольору та тону, які представляють візуальні фізіологічні індикатори стану кровотоку пацієнта.

Конвеєр трансформації з дослідження Даремського університету 2020 року, частину якого включено до нового дослідження UCLA. Джерело: https://arxiv.org/pdf/2004.08945.pdf. Натисніть, щоб збільшити.

Друга мережа під назвою PhysResNet (PRN) забезпечує компонент rPPG. PhysResNet навчено вивчати як візуальний вигляд, так і колірні варіації, які визначають рухи підшкірного об’єму крові.

Унизу ліворуч – результати, отримані в результаті дослідження Дарема 2020 року, без інформації про PPG. Середній ліворуч, інформація PPG включена в расову трансформацію. Натисніть, щоб збільшити.

Архітектура, запропонована проектом Каліфорнійського університету в Лос-Анджелесі, перевершує конкуруючі методи rPPG навіть за відсутності підсилення кольору шкіри, що на 31% перевищує аналогічні методи, оптимізовані за допомогою MAE і RMSE.

Мережа UCLA успішно зберігає інформацію про об’єм крові та розподіл. Натисніть, щоб збільшити.

Дослідники Каліфорнійського університету в Лос-Анджелесі сподіваються, що майбутня робота вирішить проблему расових упереджень у цьому секторі медичної візуалізації, а також сподіваються, що пізніші схеми дозволять виводити відео з вищою роздільною здатністю, оскільки система, про яку йде мова, має роздільну здатність 80 × 80 пікселів. – досить добре підходить для обмежень телемедицини, але не ідеально.

Відсутність етнічно різноманітних наборів даних

Економічні та практичні обставини, які призвели до расової різноманітності наборів даних, протягом кількох років були перешкодою для медичних досліджень. Дані, як правило, генеруються обмежено, з багатьма факторами, які часто сприяють кавказоцентричній однорідності суб’єктів даних. До них відноситься склад демографічних меншин у містах, де проводяться дослідження, та інші соціально-економічні фактори, які можуть впливати на ступінь появи небілих суб’єктів. у західних наборах даних, які дослідники бажають мати більш глобальне застосування.

У країнах з більшою часткою темношкірих людей часто не вистачає необхідного обладнання та ресурсів для збору даних.

Карта світу в тон шкіри для корінних жителів, з American Journal of Physical Anthropology.

Наразі темношкірі суб’єкти помітно недостатньо представлені в наборах даних rPPG, що становить 0%, 5% та 10% вмісту трьох основних баз даних, які зазвичай використовуються для цієї мети.

Однорідні кавказькі дані

У 2019 році нові дослідження опублікований in наука виявили, що алгоритм, широко поширений у лікарнях США, був сильно упереджений на користь кавказьких суб’єктів. Дослідження показало, що темношкірих людей рідше направляють до спеціалізованої медичної допомоги під час сортування та глибшого рівня госпіталізації.

Подальші дослідження того ж року вчені з Малайзії та Австралії встановлений загальна проблема «власного расового упередження» для створення наборів даних у багатьох регіонах світу, включаючи Азію.

Потенційні обмеження масштабу та архітектури

Деякі з обмежень, які призвели до обмеження наборів даних про етнічну приналежність, мають прагматичний, а не етичний характер. Чим ширша множина наданих даних, тим краще вона узагальнює суб’єктів, представлених у цих даних, але тим менша ймовірність того, що тренувальна програма інтуїтивно вловить закономірності в межах будь-якої окремої характеристики даних, включаючи расу, оскільки менший відсоток часу навчання, уваги та ресурсів, доступних для кожного ідентифікованого підмножини даних.

Це може призвести до моделей, які широко застосовуються, але отримують менш конкретні результати через обмеження розміру даних, економіку розміру партії та практичні обмеження прихованого простору як функції обмежених апаратних ресурсів.

З іншого боку, хоча ефективні та детальні результати можна отримати, обмежуючи вхідні дані більш обмеженим набором характеристик, включаючи етнічну приналежність, результати, ймовірно, будуть «надмірними» для обмежених даних і не будуть широко застосовані, можливо навіть між невидимими суб’єктами в тій самій географічній зоні, з якої були отримані суб’єкти оригінального набору даних.

Синтетичні аватари для симуляції PPG

У документі Каліфорнійського університету в Лос-Анджелесі також згадується попередня робота Microsoft Research у 2020 році щодо використання расово гнучких синтетичних аватарів, які використовують синтез 3D-зображень для створення відео облич, багатих інформацією PPG.

Синтетичні аватари, створені дослідженнями Microsoft, із зображеннями з трасуванням променів, які містять дані PPG. Джерело: https://arxiv.org/pdf/2010.12949.pdf. Натисніть, щоб збільшити.