Вены сетчатки раскрывают расу, расширяя возможности предвзятости ИИ по расовому признаку

Вдохновленные недавними откровениями о том, что медицинские алгоритмы ИИ для изображений могут раскрыть расу, исследовательский консорциум в США и Великобритании провел исследование, чтобы определить, являются ли закономерности вен сетчатки индикативными для расы, и пришел к выводу, что это действительно так, и ИИ может предсказать расу, заявленную родителями, у младенцев по изображениям сетчатки – изображениям, которые не раскрывают расовую идентичность человеческому врачу, изучающему их, и которые ранее считались не содержащими потенциала для раскрытия расовой принадлежности.

Группа выразила обеспокоенность по поводу того, что этот дополнительный вектор расовой стратификации в медицинской визуализации открывает возможность для увеличения предвзятости при использовании систем искусственного интеллекта в здравоохранении.

Изображения сетчатки от черного и белого субъекта. Above, a full-color Retinal Fundus Image from each race already has race-distinguishing features related to color disposition. Below, the Retinal Vessel Maps derived from these images, which are supposed to ‘level’ these racial anchor-marks, do actually contain race-identifying characteristics, according to the new report. Source: https://arxiv.org/ftp/arxiv/papers/2109/2109.13845.pdf

Авторы также отмечают возможность того, что U-Net, каркас машинного обучения, который стал определять этот сектор ИИ-основанного здравоохранения, и который был обучен на в основном белых субъектах*, может иметь влияние на это наблюдаемое явление. Однако авторы утверждают, что они ‘пока не могут полностью объяснить эти результаты на основе гипотезы U-Net’.

Комментируя результаты в репозитории GitHub, связанном с проектом GitHub repository, авторы заявляют:

‘ИИ может обнаружить расу из grayscale RVMs [Карты сосудов сетчатки] , которые не считались содержащими расовую информацию. Две возможные причины этих результатов заключаются в том, что: сосуды сетчатки физиологически различаются между черными и белыми младенцами или U-Net сегментирует сосуды сетчатки по-разному для различных пигментаций fundus.

‘…В любом случае, последствия остаются теми же: алгоритмы ИИ имеют потенциал демонстрировать расовую предвзятость на практике, даже когда первоначальные попытки удалить такую информацию из основных изображений кажутся успешными.’

Статья статья озаглавлена Not Color Blind: AI Predicts Racial Identity from Black and White Retinal Vessel Segmentations, и представляет собой равное сотрудничество между врачами и исследователями из пяти учреждений и исследовательских отделов в США и одного в Великобритании.

Врачи, участвующие в исследовательском консорциуме, включают R.V. Paul Chan, MD, MSc, FACS, сертифицированного в офтальмологии, и члена Американского колледжа хирургов; Michael F. Chiang, M.D., директора Национального института глаз в Национальных институтах здравоохранения в Бетесде, штат Мэриленд; и J. Peter Campbell M.D., M.P.H., доцента офтальмологии в Школе медицины в Университете здравоохранения и науки Орегона в Портленде.

Глаза имеют это

Статья отмечает ранее доказанный потенциал для человеческой предвзятости распространяться в системы ИИ в медицине, не в последнюю очередь в изучении глаз*. Изображения сетчатки (RFI, см. сравнение изображений выше), используемые для оценки глазных заболеваний, являются цветными изображениями, содержащими достаточно информации о пигментации, чтобы определить расу.

Градации серого цвета Карта сосудов сетчатки (RVMs) отбрасывают большую часть этой информации, чтобы извлечь основную закономерность капилляров, которые, вероятно, определяют многие состояния заболеваний. Всегда считалось, что на этом уровне дистилляции никакие расовые характеристики не остаются в таких редуктивных медицинских изображениях.

Авторы проверили это предположение с помощью набора данных RFI (полноцветных изображений сетчатки), полученных от младенцев, прошедших скрининг на потенциально ослепляющее заболевание. Скрининг таких изображений, отмечают авторы, все чаще проводится вне личных консультаций, в телемедицине и других контекстах удаленной диагностики, и становится все более предметом анализа машинного обучения.

Новое исследование изучает, сохраняют ли различные типы редукционистских версий полноцветных изображений, идентифицирующих расу, как сообщают родители, и обнаружило, что даже наиболее информационно-разрушительные дистилляции RFI (пороговые, скелетизированные и бинаризированные) позволяют некоторый уровень расовой идентификации.

Данные и методология

Данные из 245 младенцев, собранные между январем 2012 года и июлем 2020 года в рамках многоцентрового исследования i-ROP, были разделены на наборы для обучения, проверки и тестирования в соотношении 50/20/30, соответственно, с сохранением естественного распределения рас, насколько это позволяли исходные данные.

Цветные RFI были уменьшены до трех вышеуказанных редуктивных стилей изображений, так что ‘очевидные’ расовые маркеры должны были быть технически удалены из данных.

Множественные свёрточные нейронные сети (CNN) были обучены для бинарной классификации (‘черный’/’белый’, на основе расы, заявленной родителями) с использованием PyTorch. CNN прошли данные через все версии изображений, от RFI до скелетизированных версий, применяя обычные случайные перевороты и вращения, с полученными изображениями разрешением 224×244 пикселя.

Модели были обучены с помощью стохастического градиентного спуска в течение до десяти эпох с постоянной скоростью обучения 0,001, и раннее остановление было реализовано и обучение прекратилось, когда была обнаружена сходимость после пяти эпох (т. е. модель не могла стать более точной с дальнейшим обучением).

Поскольку существовал демографически естественный дисбаланс между белыми и черными субъектами, была применена компенсация, чтобы обеспечить, что источники меньшинств не были систематически дисквалифицированы как аутлиеры, и результаты были проверены, чтобы подтвердить, что не произошло утечки данных в ходе экспериментов.

Примеры карт сосудов сетчатки из исследования на различных уровнях пороговой толерантности.

Результаты

RVM, которые извлекают вены и капилляры из полноцветных изображений RFI, не должны, теоретически, быть расовыми для CNN, согласно авторам. Однако результаты показали, что большее количество основных артерий сегментируется U-Net для белых глаз, чем для черных глаз.

В заключительных замечаниях исследователи отмечают ‘Мы обнаружили, что ИИ легко может предсказать расу младенцев из сегментаций сосудов сетчатки, которые не содержат видимой информации о пигментации‘, и что ‘даже изображения, которые казались лишенными информации для невооруженного глаза, сохраняли прогностическую информацию о расе исходного младенца’. Исследователи также предлагают возможность того, что сосуды сетчатки черных и белых младенцев различаются ‘каким-то образом, который ИИ может оценить, но люди не могут’.

Предвзятость?

Авторы также предполагают, что дискриминация может быть функцией преимущественно белых данных, на которых U-Net был первоначально обучен. Хотя они описывают это как свою ‘ведущую теорию’, они также признают, что возможности датчиков захвата могут быть фактором в этом явлении, если окажется, что обнаруженная предвзятость является следствием технических аспектов практики визуализации сетчатки или предвзятости данных в U-Net, которая воспроизводится на протяжении лет. Рассматривая эти возможности, статья признает:

‘Однако U-Net был обучен на RFI, которые были первоначально преобразованы в градации серого и подвергнуты коррекции контраста — в частности, контрасту ограниченному гистограммой (CLAHE) — и поэтому никогда фактически не обучался на цветных RFI. Таким образом, мы пока не можем полностью объяснить эти результаты на основе гипотезы U-Net.’

Однако авторы утверждают, что причина менее тревожна, чем эффект, заявляя, что способность моделей ИИ обнаруживать расу предполагает возможный ‘риск предвзятости в медицинских алгоритмах ИИ, которые используют их в качестве входных данных’.

Авторы указывают на высококонтрастный характер изучаемых рас и предполагают, что ‘промежуточные’ расовые группы могут быть более трудными для идентификации подобными средствами, и что это аспект, который они намерены изучить в продолжающихся и связанных работах.

* Все ссылки, предоставленные статьей, включенные в эту статью, были преобразованы из ограниченных ссылок PaperPile в публично доступные онлайн-версии, где это возможно.