Вены сетчатки открывают расовую принадлежность, расширяя возможности для предвзятости ИИ

Вдохновленные недавними открытиями о том, что медицинский ИИ-имиджинг может раскрыть расовую принадлежность, исследовательский консорциум в США и Великобритании провел исследование, чтобы определить, могут ли закономерности вен сетчатки быть индикативными для расовой принадлежности, и пришел к выводу, что это действительно так, причем ИИ может предсказать расовую принадлежность младенцев по изображениям сетчатки – изображениям, которые не раскрывают расовую идентичность человеческому врачу, изучающему их, и которые ранее считались не содержащими потенциала для расовой идентификации.

Группа выразила обеспокоенность по поводу того, что этот дополнительный вектор расовой стратификации в медицинской визуализации открывает возможность для увеличения предвзятости в использовании систем искусственного интеллекта в здравоохранении.

Изображения сетчатки от черного и белого субъекта. Сверху, полноцветное изображение сетчатки от каждого расового типа уже имеет расовую дифференциацию, связанную с цветовым расположением. Снизу, карты сосудов сетчатки, полученные из этих изображений, которые должны ‘уровнять’ эти расовые якоря, на самом деле содержат расово-идентифицирующие характеристики, согласно новому отчету. Источник: https://arxiv.org/ftp/arxiv/papers/2109/2109.13845.pdf

Авторы также отметили возможность того, что U-Net, каркас машинного обучения, который стал определять этот сектор ИИ-здравоохранения, и который был обучен на преимущественно белых субъектах*, может иметь влияние на это наблюдаемое явление. Однако авторы утверждают, что они ‘пока не могут полностью объяснить эти результаты на основе гипотезы U-Net’.

Комментируя результаты в связанном репозитории GitHub, авторы заявляют:

‘ИИ может обнаружить расовую принадлежность по grayscale RVM’с [картам сосудов сетчатки] , которые не считались содержащими расовую информацию. Две возможные причины этих результатов заключаются в том, что: сосуды сетчатки физиологически различаются между черными и белыми младенцами или U-Net сегментирует сосуды сетчатки по-разному для различных пигментаций.

‘…В любом случае, последствия остаются теми же: алгоритмы ИИ имеют потенциал демонстрировать расовую предвзятость на практике, даже когда первоначальные попытки удалить такую информацию из исходных изображений кажутся успешными.’

Статья называется Не цветовой слепой: ИИ предсказывает расовую идентичность из черно-белых сегментаций сосудов сетчатки, и является равной совместной работой врачей и исследователей из пяти учреждений и исследовательских отделов в США и одного в Великобритании.

Медицинские врачи, участвующие в исследовательском консорциуме, включают R.V. Paul Chan, MD, MSc, FACS, сертифицированный в офтальмологии, и феллоу Американского колледжа хирургов; Michael F. Chiang, M.D., директор Национального института глаз в Национальных институтах здравоохранения в Бетесде, штат Мэриленд; и J. Peter Campbell M.D., M.P.H., доцент офтальмологии в медицинской школе Орегонского университета здравоохранения и науки в Портленде.

Глаза имеют это

Статья отмечает ранее доказанный потенциал для человеческой предвзятости распространяться в медицинские системы ИИ, не в последнюю очередь в изучении глаз*. Изображения сетчатки (RFI, см. сравнение изображений выше), используемые для оценки глазных заболеваний, являются полноцветными изображениями, содержащими достаточно информации о пигментации, чтобы определить расовую принадлежность.

Грейскелированные карты сосудов сетчатки (RVMs) отбрасывают большую часть этой информации, чтобы извлечь основную закономерность капилляров, которые, вероятно, определяют многие заболевания. Всегда считалось, что на этом уровне дистилляции никакие расовые характеристики не остаются в таких редуктивных медицинских изображениях.

Авторы проверили это предположение с помощью набора данных RFI (полноцветных изображений сетчатки), полученных от младенцев, прошедших скрининг на потенциально ослепляющее заболевание. Скрининг таких изображений, отмечают авторы, все чаще проводится вне личных консультаций, в телмедицине и других контекстах удаленной диагностики, и становится все более предметом анализа машинного обучения.

Новое исследование изучает, сохраняют ли различные типы редуктивных версий расово-идентифицирующих полноцветных изображений расовую информацию, сообщенную родителями младенцев, и обнаружило, что даже наиболее информационно-разрушительные дистилляции RFI (пороговые, скелетизированные и бинаризированные) позволяют некоторый уровень расовой идентификации.

Данные и методология

Данные из 245 младенцев, собранные между январем 2012 года и июлем 2020 года в рамках многоцентрового исследования i-ROP, были разделены на обучающие, проверочные и тестовые наборы данных в соотношении 50/20/30, соответственно, с сохранением естественного распределения рас, насколько это позволяли исходные данные.

Цветные RFI были сведены к трем вышеуказанным редуктивным стилям изображений, так что ‘очевидные’ расовые маркеры должны были быть технически удалены из данных.

Были обучены несколько сверточных нейронных сетей (CNN), чтобы достичь бинарной классификации (‘черный’/’белый’, на основе сообщенной расовой принадлежности от родителей) с помощью PyTorch. CNN прошли данные через все версии изображений, от RFI до скелетизированных версий, применяя обычные случайные повороты и отражения, с полученными изображениями разрешением 224×244 пикселя.

Модели были обучены с помощью стохастического градиентного спуска в течение до десяти эпох с постоянной скоростью обучения 0,001, и раннее остановление было реализовано и обучение прекратилось, когда была выявлена сходимость после пяти эпох (т.е. модель не могла стать более точной с дальнейшим обучением).

Поскольку было демографическое неравенство между белыми и черными субъектами, была применена компенсация, чтобы обеспечить, что миноритарные источники не были систематически отклонены как аутлиеры, и результаты были проверены, чтобы подтвердить, что не произошло утечки данных через эксперименты.

Примеры карт сосудов сетчатки из исследования на различных уровнях пороговой толерантности.

Результаты

RVMs, которые извлекают вены и капилляры из полноцветных изображений сетчатки, не должны теоретически быть расовыми по своей сути для CNN, согласно авторам. Однако результаты показали, что большее количество основных артерий сегментируется U-Net для белых глаз, чем для черных глаз.

В заключительных замечаниях исследователи отмечают ‘Мы обнаружили, что ИИ легко может предсказать расовую принадлежность младенцев из сегментаций сосудов сетчатки, которые не содержат видимой информации о пигментации‘, и что ‘даже изображения, которые казались лишенными информации для человеческого глаза, сохранили прогностическую информацию о расовой принадлежности исходного младенца’. Исследователи также предлагают возможность того, что сосуды сетчатки черных и белых младенцев различаются ‘каким-то образом, который ИИ может оценить, но люди не могут’.

Предвзятость?

Авторы также предполагают, что дискриминация может быть функцией преимущественно белых данных, на которых U-Net был первоначально обучен. Хотя они описывают это как свою ‘ведущую теорию’, они также признают, что возможности захвата датчиков могут быть фактором в этом явлении, если окажется, что обнаруженная предвзятость является следствием технических аспектов практики визуализации сетчатки или предвзятости данных в U-Net, которая сохраняется на протяжении лет. Рассматривая эти возможности, статья признает:

‘Однако U-Net был обучен на RFI, которые были первоначально преобразованы в грейскелированные изображения и подверглись коррекции контраста – в частности, контрасту ограниченному гистограммой (CLAHE) – и поэтому никогда не обучался на цветных RFI. Следовательно, мы пока не можем полностью объяснить эти результаты на основе гипотезы U-Net.’

Однако авторы утверждают, что причина менее тревожна, чем эффект, заявляя, что способность моделей ИИ определять расовую принадлежность предполагает возможный ‘риск предвзятости в медицинских алгоритмах ИИ, которые используют их в качестве входных данных’.

Авторы указывают на высококонтрастный характер изучаемых рас и предполагают, что ‘промежуточные’ расовые группы могут быть более трудными для идентификации подобными средствами, и что это является аспектом, который они намерены изучить в продолжающихся и связанных работах.

* Все поддерживающие ссылки, предоставленные статьей и включенные в эту статью, были преобразованы из ограниченных ссылок PaperPile в публично доступные онлайн-версии, где это возможно.