Судинна сітка сітківки розкриває расу, розширюючи коло застосування упередженості штучного інтелекту щодо раси

Під впливом недавніх відкриттів, що медичні алгоритми штучного інтелекту для обробки медичних зображень можуть розкривати расу, дослідницький консорціум у США та Великій Британії провів дослідження щодо того, чи є судинна сітка сітківки індикативною для раси, і дійшов висновку, що це дійсно так, оскільки штучний інтелект може передбачити расу дитини на підставі зображень сітківки – зображень, які не розкривають расову ідентичність людині-лікарю, який їх вивчає, і які раніше вважалися такими, що не містять жодної інформації про расу.

Група висловила занепокоєння тим, що цей додатковий вектор расової стратифікації в медичних зображеннях відкриває можливість збільшення упередженості при використанні систем штучного інтелекту в охороні здоров’я.

Зображення сітківки від чорної та білої людини. Вище, повнокольорове зображення сітківки від кожної раси вже має ознаки, що відрізняють раси, пов’язані з кольором. Нижче, карти судин сітківки, отримані з цих зображень, які мають «зрівнювати» ці расові ознаки, насправді містять характеристики, що ідентифікують расу, згідно з новим звітом. Джерело: https://arxiv.org/ftp/arxiv/papers/2109/2109.13845.pdf

Автори також відзначають можливість того, що U-Net,框架 машинного навчання, який став визначальною ознакою цього сектора штучного інтелекту в охороні здоров’я, і який був навчений на переважно білих особах*, може мати вплив на це явище. Однак автори стверджують, що вони «на даний момент не можуть повністю пояснити ці результати лише гіпотезою U-Net».

Коментуючи результати на сторінці проекту у GitHub, автори зазначають:

«Штучний інтелект може визначити расу за допомогою зображень судин сітківки [карт судин сітківки] , які не вважалися такими, що містять інформацію про расу. Дві можливі пояснення цих результатів полягають у тому, що: судинна сітка сітківки фізіологічно відрізняється у чорних і білих дітей або U-Net виділяє судинну сітку сітківки по-різному для різних пігментацій сітківки.

«В будь-якому випадку, наслідки залишаються такими ж: алгоритми штучного інтелекту мають потенціал демонструвати расову упередженість на практиці, навіть коли попередні спроби видалити таку інформацію з основних зображень здаються успішними.»

Звіт документу називається Не колір сліпий: Штучний інтелект передбачає расову ідентичність з чорно-білих зображень судин сітківки, і є рівноправною співпрацею між лікарями та дослідниками з п’яти установ та дослідницьких відділів у США та одного у Великій Британії.

Лікарі, які беруть участь у дослідницькому консорціумі, включають R.V. Paul Chan, MD, MSc, FACS, сертифікованого лікаря-офтальмолога, і члена Американського коледжу хірургів; Michael F. Chiang, M.D., директора Національного інституту очей у Національних інститутах охорони здоров’я у Бетесді, штат Меріленд; і J. Peter Campbell M.D., M.P.H., доцента кафедри офтальмології у Школі медицини Орегонського університету охорони здоров’я у Портленді.

Очі мають це

У звіті зазначається раніше доведена можливість упередженості людського походження поширюватися в медичні системи штучного інтелекту, не в останню чергу в дослідженні очей*. Зображення сітківки (ЗС, див. порівняння зображень вище), які використовуються для оцінки захворювань очей, є повнокольоровими зображеннями, які містять достатньо інформації про пігментацію, щоб ідентифікувати расу.

Зображення судин сітківки (ЗСС) відкидають більшу частину цієї інформації, щоб витягнути основний малюнок капілярів, які, ймовірно, визначатимуть багато захворювань. Приймалося за даність, що на цьому рівні витягнення жодні расові характеристики не залишаються в таких редуктивних медичних зображеннях.

Автори протестували цю гіпотезу за допомогою набору повнокольорових зображень сітківки (ПЗС), отриманих від дітей, яких скринінгували на потенційно сліпуче захворювання. Скринінг таких зображень, як зазначають автори, все частіше проводиться поза особистими консультаціями, у телемедицині та інших контекстах віддаленої діагностики, і все частіше стає предметом аналізу з використанням машинного навчання.

Нове дослідження вивчає, чи зберігають різні типи редуктивних версій повнокольорових зображень, які ідентифікують расу, інформацію про расу, як повідомили батьки дітей, і виявило, що навіть найбільш руйнівні витягнення ПЗС (порогові, скелетні та бінарні) дозволяють певний рівень ідентифікації раси.

Дані та методологія

Дані з 245 дітей, зібрані між січнем 2012 року та липнем 2020 року в рамках мультицентрового дослідження i-ROP, були розділені на навчальні, валідційні та тестові набори даних у співвідношенні 50/20/30, відповідно, з природним розподілом рас, збереженим так, як це дозволяли джерельні дані.

Повнокольорові зображення сітківки були скорочені до трьох зазначених редуктивних стилів зображень, так що «очевидні» расові маркери мали б технічно бути видалені з даних.

Було навчено кілька конволюційних нейронних мереж (КНМ) для бінарної класифікації («чорний»/«білий», на основі раси, зазначеної батьками) з використанням PyTorch. КНМ обробляли дані через всі версії зображень, від повнокольорових до скелетних, застосовуючи звичайні випадкові перевороти та оберти, з отриманими зображеннями роздільності 224×244 пікселів.

Моделі були навчені за допомогою стохастичного спуску градієнта протягом до десяти епох з постійною швидкістю навчання 0,001, і рано зупинялися та зупинялися там, де було визнано збіжність після п’яти епох (тобто модель не стане точнішою з подальшим навчанням).

Оскільки був демографічний природний дисбаланс між білими та чорними особами, було застосовано компенсацію, щоб забезпечити, що джерела меншин не були систематично виключені як аутліери, і результати були перевірені, щоб підтвердити, що не відбулося жодного витоку даних під час експериментів.

Зображення карт судин сітківки з дослідження при різних рівнях порогової толерантності.

Результати

Карти судин сітківки (КСС), які витягують вени та капіляри з повнокольорових зображень сітківки, теоретично не повинні бути розрізнюваними штучним інтелектом, згідно з авторами. Однак результати показали, що більша кількість великих артерій виділяється U-Net для білих очей, ніж для чорних.

У заключних зауваженнях дослідники відзначають ‘Ми виявили, що штучний інтелект легко міг передбачити расу дітей з зображень судин сітківки, які не містять жодної видимої інформації про пігментацію‘, і що «навіть зображення, які здавалися позбавленими інформації для неозброєного ока, зберігали передбачувану інформацію про расу дитини». Дослідники також пропонують можливість того, що судинна сітка сітківки чорних та білих дітей відрізняється «якимось чином, який штучний інтелект може оцінити, але люди не можуть».

Попередня упередженість?

Автори також припускають, що дискримінація може бути функцією даних, переважно білих осіб, на яких спочатку був навчений U-Net. Хоча вони описують це як свою «основну теорію», вони також визнають, що можливості датчиків можуть бути фактором у цьому явищі, якщо виявиться, що виявлена упередженість є наслідком технічних аспектів практики зображень сітківки, або упередженості даних у U-Net, яка перenizується протягом років. Заявляючи про ці можливості, звіт визнає:

«Однак U-Net був навчений зображенням сітківки, які спочатку були перетворені в зображення у форматі grayscale та піддані корекції контрасту — зокрема, контрастно-обмеженій гістограмі (CLAHE) — і тому ніколи не був навчений на кольорових зображеннях сітківки. Отже, ми на даний момент не можемо повністю пояснити ці результати лише гіпотезою U-Net».

Однак автори стверджують, що причина менш тривожна, ніж наслідок, заявляючи, що можливість моделей штучного інтелекту розрізнювати расу передбачає можливий «ризик упередженості в медичних алгоритмах штучного інтелекту, які їх використовують як вхідні дані».

Автори відзначають високу контрастність рас, які вивчалися, і припускають, що «проміжні» расові групи можуть бути більш важкими для ідентифікації подібними засобами, і що це є аспектом, який вони планують вивчити в подальших дослідженнях.

* Усі посилання, надані документом і включені до цієї статті, були перетворені з обмежених посилань PaperPile на публічно доступні онлайн-версії, де це можливо.