망막 정맥이 인종을 드러내며, AI 인종 편향의 범위 확대

최근 의료 AI 영상이 인종을 드러낼 수 있음이 밝혀진 이후, 미국과 영국의 연구 컨소시엄은 망막 정맥 패턴이 인종을 나타낼 수 있는지에 대한 연구를 수행하였으며, 이는 실제로 가능함을 결론지었다. AI는 인간 의사가 연구하는 것과는 달리, 인종을 식별할 수 없는 망막 이미지에서 부모가 보고한 인종을 예측할 수 있었다. 이러한 이미지는 이전에 인종을 드러낼 수 있는 정보를 포함하지 않는다고 생각되었다.

연구진은 의료 영역에서 인공지능 시스템을 사용할 때 추가적인 인종 계층화가 편향을 증가시킬 가능성이 열릴 수 있다고 우려를 표명하였다.

흑인과 백인 피험자의 망막 이미지. 위에는 각 인종의 풀칼라 망막 이미지로, 색상 배치와 관련된 인종 구별 특징이 이미 포함되어 있다. 아래에는 이러한 이미지를 통해 파생된 망막 혈관 지도(Retinal Vessel Maps)가 실제로 인종 식별 특성을 포함하고 있음을 나타낸다. 출처: https://arxiv.org/ftp/arxiv/papers/2109/2109.13845.pdf

저자들은 U-Net이 이러한 현상에 영향을 미칠 수 있다고 주장한다. 그러나 저자들은 아직 이러한 발견을 U-Net 가설만으로 완전히 설명할 수 없다고 주장한다.

이 프로젝트의 깃허브 저장소에서 저자들은 다음과 같이 말한다:

‘AI는 인종 정보를 포함하지 않는다고 생각되는 그레이스케일 망막 혈관 지도를 통해 인종을 식별할 수 있다.’ ‘이러한 발견에 대한 두 가지 가능한 설명은 다음과 같다. 첫째, 흑인과 백인 아기들의 망막 혈관이 생리적으로 다를 수 있다. 둘째, U-Net이 다양한 망막 색조에 대해 망막 혈관을 다르게 분할할 수 있다.’

‘어떤 경우든, 그 의미는 동일하다. AI 알고리즘은 실제로 사용될 때 인종 편향을 나타낼 수 있다. 이는 초기에 이러한 정보를 이미지에서 제거하는 시도가 성공적이라고 생각되는 경우에도 마찬가지이다.’

이 논문은 Not Color Blind: AI Predicts Racial Identity from Black and White Retinal Vessel Segmentations으로, 미국과 영국의 다섯 개의 기관 및 연구 부서 간의 공동 연구이다.

의료 의사로 참여한 연구진에는 R.V. Paul Chan, MD, MSc, FACS, 안과 전문의 및 미국 외과학회 펠로우; Michael F. Chiang, M.D., 미국 국립 안과 연구소 소장; 및 J. Peter Campbell M.D., M.P.H., 오레곤 건강 과학 대학교 안과 교수가 있다.

눈이 모든 것을 가지고 있다

이 논문은 인간 起源의 편향이 AI 의료 시스템으로 전파될 수 있는 이전에 입증된 잠재력을 언급한다. 특히 눈의 연구에서 그렇다*. 망막 전면 이미지(Retinal Fundus Images, RFI)는 안구 질환을 평가하는 데 사용되며, 인종을 식별할 수 있는 충분한 색상 정보를 포함한다.

그레이스케일 망막 혈관 지도(Retina Vessel Maps, RVMs)는 이러한 정보의 대부분을 제거하여 질병을 정의하는 가능성이 높은 모세혈관의 기본 패턴을 추출한다. 이러한 수준의 추출에서 인종 특성이 남아 있지 않을 것으로 가정되었다.

저자들은 아기들을 대상으로 한 잠재적으로 실명할 수 있는 질환에 대한 이미지 스크리닝에서 얻은 풀칼라 망막 이미지(RFI) 데이터 세트를 사용하여 이러한 가정을 테스트했다. 이러한 이미지의 스크리닝은 점점 더 개인 상담 외부에서, 원격 진단과 같은 상황에서 특징적으로 등장하고 있으며, 기계 학습 분석의 대상이 되고 있다.

새로운 연구는 다양한 유형의 축소된 풀칼라 이미지(Thresholded, Skeletonized, Binarized)가 부모가 보고한 인종 정보를 유지하는지 여부를 조사했다. 그리고 이러한 이미지의 대부분에서 어느 정도의 인종 식별이 가능하다는 것을 발견했다.

데이터 및 방법론

2012년 1월부터 2020년 7월까지 수집된 245명의 아기 데이터는 훈련, 검증, 테스트 데이터 세트로 50/20/30의 비율로 나누어졌다. 가능한 한 원래 데이터의 자연스러운 인종 분포가 유지되었다.

색상 RFIs는 ‘명백한’ 인종 마커가 기술적으로 제거된 세 가지 축소 스타일의 이미지를 생성하기 위해 축소되었다.

여러 개의 컨볼루셔널 신경 네트워크(CNNs)가 부모가 보고한 인종(흑인/백인)에 대한 이진 분류를 달성하기 위해 PyTorch를 사용하여 훈련되었다. CNN은 모든 이미지 버전(RFIs에서 스켈레톤화된 버전까지)에 대한 데이터를 적용했으며, 파생된 이미지는 224×244 픽셀의 해상도를 가졌다.

모델은 스토캐스틱 그라디언트 디센트를 사용하여 최대 10개의 에포크 동안 학습되었으며, 학습률은 0.001로 유지되었고, 5개 에포크 이후 수렴이 식별되면 학습이 중단되었다(즉, 모델은 더 이상 정확해지지 않는다).

소수자 출처가 시스템적으로 외면되지 않도록 보상이 적용되었으며, 결과가 교차 확인되어 실험 간에 데이터 누수가 발생하지 않는다.

연구에서 다양한 임계값 허용 수준의 망막 지도 샘플.

결과

RVMs는 이론적으로 CNN에 의해 인종을 식별할 수 없어야 한다. 그러나 결과는 백인 눈보다 흑인 눈에서 더 많은 주요 동맥이 U-Net에 의해 분할됨을 보여준다.

결론에서 연구자들은 ‘AI는 인종 정보를 포함하지 않는다고 생각되는 망막 혈관 분할에서 아기들의 인종을 쉽게 예측할 수 있었다.‘라고 관찰하며, ‘눈에 보이는 정보가 없는 이미지도 원래 아기의 인종을 예측하는 정보를 유지했다.‘라고 주장한다. 연구자들은 또한 흑인과 백인 아기들의 망막 혈관이 ‘어떤 방식으로 다를 수 있으며, 이는 AI가 인식할 수 있지만 인간이 인식할 수 없는 방식이다.‘라고 제안한다.

이전 편향?

저자들은 이러한 차별이 원래 백인 피험자 데이터에 훈련된 U-Net의 결과일 수 있다고 제안한다. 그러나 저자들은 이러한 발견을 U-Net 가설만으로 완전히 설명할 수 없다고 주장한다.

이 논문은 ‘그러나 U-Net은 색상 RFIs에서 훈련되지 않았으며, 대신 그레이스케일 이미지로 변환되어 대조 조정을 적용받았다(특히, 대조 한계 히스토그램 평등화(CLHE)).‘라고 인정한다.

‘따라서 우리는 아직 U-Net 가설만으로 이러한 발견을 완전히 설명할 수 없다.’

그러나 저자들은 이러한 발견의 원인이 발견의 결과보다 덜 걱정스럽다고 주장한다. AI 모델이 인종을 식별할 수 있다는 것은 ‘의료 AI 알고리즘에서 입력으로 사용될 때 편향의 위험‘을 의미한다.

저자들은 연구된 인종의 높은 대조도를 지적하며, 중간 인종 그룹은 이러한 방식으로 식별하기가 더 어려울 수 있으며, 이는 향후 연구에서 조사할 예정이라고 주장한다.

* 본 논문에서 제공된 모든 지원 링크는 가능한 경우 공개적으로 사용할 수 있는 온라인 버전으로 변환되었다.