Синтетичні дані: зміна раси на обличчях у медичних даних для боротьби з упередженнями

Дослідники з Університету Каліфорнії в Лос-Анджелесі (UCLA) розробили метод зміни видимої раси осіб у даних, які використовуються для навчання медичних систем машинного навчання, щоб подолати расові упередження, які часто трапляються у багатьох даних.

Нова техніка能够 створювати фотореалістичні та фізіологічно точні синтетичні відео зі швидкістю 0,005 секунди за кадр, і, як очікується, допоможе у розробці нових діагностичних систем для віддаленого медичного діагнозу та моніторингу – галузі, яка значно розширилася під час обмежень COVID. Система призначена для покращення застосування віддаленої фотоплетизмографії (рППГ), комп’ютерної техніки, яка оцінює відеозміст обличчя для виявлення об’ємних змін у кровопостачанні неінвазивним способом.

Джерело: https://arxiv.org/pdf/2106.06007.pdf. Натисніть, щоб збільшити.

Хоча робота, яка використовує卷олюційні нейронні мережі (CNN), включає попередній дослідницький код опублікований Університетом Дарема у 2020 році, нове застосування призначене для збереження пульсових сигналів у вихідних тестових даних, а не тільки візуальної зміни видимої раси даних, як це робить дослідження 2020 року.

CNN для расової трансформації

Перша частина системи кодера- декодера використовує модель переносу раси Дарема, попередньо натреновану на VGGFace2, для генерації проміжних цільових кадрів з попереднім компонентом африкансько-каucasоїдної расової трансформації дослідження Дарема. Це створює плоскую трансформацію расових ознак, але не містить варіацій кольору та тону, які представляють візуальні фізіологічні індикатори стану кровотоку пацієнта.

Потокова трансформація з дослідження 2020 року Університету Дарема, частина якої включена до нового дослідження UCLA. Джерело: https://arxiv.org/pdf/2004.08945.pdf. Натисніть, щоб збільшити.

Друга мережа, PhysResNet (PRN), забезпечує компонент рППГ. PhysResNet навченій вивчати як візуальний вигляд, так і варіації кольору, які визначають рух об’єму крові під шкірою.

Ліворуч внизу, результати, отримані дослідженням 2020 року Університету Дарема, які не містять інформації рППГ. Ліворуч посередині, інформація рППГ, включена до расової трансформації. Натисніть, щоб збільшити.

Архітектура, яку пропонує проект UCLA, перевершує інші техніки рППГ навіть у відсутності підтримки кольору шкіри, що представляє покращення на 31% порівняно з подібними техніками, оптимізованими за допомогою MAE і RMSE.

Мережа UCLA успішно зберігає інформацію про об’єм крові та її розподіл. Натисніть, щоб збільшити.

Дослідники з UCLA сподіваються, що майбутня робота буде проводитися для подолання расових упереджень у цій галузі медичної візуалізації, і сподіваються, що пізніші схеми будуть виводити відео вищої роздільної здатності, оскільки система обмежена роздільною здатністю 80×80 пікселів – досить підходящої для обмежень телемедицини, але не ідеальної.

Недостатність етнічно різноманітних даних

Економічні та практичні обставини, які призводять до расово різноманітних даних, були перепоною для медичних досліджень протягом багатьох років. Дані часто генеруються локально, з багатьма факторами, які сприяють частому каucasоїдному гомогенізму суб’єктів даних. До цих факторів належать склад демографічних меншин у містах, де проводяться дослідження, та інші соціально-економічні чинники, які можуть впливати на ступінь, у якій небілі суб’єкти з’являються у західних даних, яким дослідники бажали б більшої глобальної застосовності.

У країнах з більшим процентом темношкірих суб’єктів часто бракує необхідного обладнання та ресурсів для збору даних.

Карта тонів шкіри для корінних народів, з Американського журналу фізичної антропології.

Наразі темношкірі суб’єкти суттєво недопредставлені у даних рППГ, складають 0%, 5% і 10% змісту трьох основних баз даних, які використовуються для цієї мети.

Гомогенізовані дані каucasоїдної раси

У 2019 році нове дослідження опубліковане у Science виявило, що алгоритм, широко поширений у лікарнях США, був сильно упереджений на користь каucasоїдних суб’єктів. Дослідження показало, що чорношкірі люди були менше схильні бути направлені до спеціалізованої допомоги на етапах тріажу та глибшого рівня лікарняного прийому.

Дальше дослідження того ж року дослідників з Малайзії та Австралії встановило загальну проблему ‘власної расової упередженості’ для генерації даних у багатьох регіонах світу, включаючи Азію.

Потенційні обмеження масштабу та архітектури

Деякі обмеження, які призвели до обмежених за етнічною ознакою даних, є практичними, а не етичними. Чим ширша множинність даних, тим краще вони узагальнюються для суб’єктів, представлених у цих даних, але тим менше ймовірність того, що навчальна процедура виявить закономірності всередині будь-якої окремої характеристики даних, включаючи расу, оскільки менша частка часу навчання, уваги та ресурсів доступна для кожної ідентифікованої підмножини даних.

Це може привести до моделей, які широко застосовуються, але отримують менше конкретних результатів через обмеження розміру даних, економіку розміру партії та практичні обмеження латентного простору як функції обмежених апаратних ресурсів.

З іншого боку, хоча ефективні та детальні результати можна отримати шляхом обмеження вхідних даних до більш обмеженої множини характеристик, включаючи етнічну приналежність, результати, ймовірно, будуть ‘переобучені’ для обмежених даних і не будуть широко застосовуватися, можливо, навіть поширені на невидимих суб’єктів у тому ж географічному районі, з якого були отримані оригінальні дані.

Синтетичні аватари для симуляції рППГ

Стаття UCLA також згадує попередню роботу дослідників з Microsoft Research у 2020 році щодо використання расово гнучких синтетичних аватарів, які використовують 3D-генерацію зображень для створення відео обличчя, багатих на інформацію рППГ.

Синтетичні аватари, створені дослідниками Microsoft, з трасованими зображеннями, які містять дані рППГ. Джерело: https://arxiv.org/pdf/2010.12949.pdf. Натисніть, щоб збільшити.