망막 정맥이 인종을 나타낸다, AI 인종 편향의 범위 확대

의료용 AI 이미지 처리가 인종을 드러낼 수 있다는 최근의 발견에 영감을 받은 미국과 영국의 연구 컨소시엄은 망막 정맥 패턴이 인종을 나타낼 수 있는지에 대한 연구를 수행하였고, 이는 실제로 가능하다는 결론을 내렸다. AI는 인간 의사가 연구하는 이미지에서 인종을 식별할 수 없을 것이라고 생각했던 이미지에서 부모가 보고한 인종을 예측할 수 있었다.

그룹은 의료 분야에서 인공 지능 시스템을 사용할 때 이 추가적인 인종 계층화가 편향을 증가시킬 가능성을 우려한다.

검은 사람과 흰 사람의 망막 이미지. 위, 각 인종의 전체 색상 망막 이미지에는 이미 색상 배치와 관련된 인종 구분 특징이 있다. 아래, 이러한 이미지에서 파생된 망막 혈관 지도는 이러한 인종錨定 특징을 ‘레벨’하는 것으로 생각되었지만, 새로운 보고서에 따르면 실제로 인종 식별 특징을 포함한다. 출처: https://arxiv.org/ftp/arxiv/papers/2109/2109.13845.pdf

저자들은 또한 U-Net, 이 분야의 AI 기반 의료를 정의하는 기계 학습 프레임워크가 이 현상에 영향을 미칠 수 있다고 주장한다. 그러나 저자들은 아직 U-Net 가설만으로 이러한 발견을 완전히 설명할 수 없다고 주장한다.

프로젝트의 관련 GitHub 저장소에서 발견에 대해 논평하면서, 저자들은 다음과 같이 말한다:

‘AI는 인종 정보를 포함하지 않는다고 생각했던 grayscale RVMs에서 인종을 감지할 수 있다’ ‘두 가지 가능한 설명은: 검은 사람과 흰 사람의 망막 혈관이 생리적으로 다르거나 U-Net이 다양한 색조에 대해 망막 혈관을 다르게 분할한다는 것이다. ‘

‘어떤 경우든, 그 의미는 같다: AI 알고리즘은 실제로 사용될 때 인종 편향을 나타낼 수 있다, 즉 초기에 이러한 정보를 기본 이미지에서 제거하려는 시도가 성공적으로 수행된 경우에도 vậy.’

이 논문은 Not Color Blind: AI Predicts Racial Identity from Black and White Retinal Vessel Segmentations라는 제목으로, 미국 5개 기관 및 연구 부서와 영국 1개 기관의 의사 및 연구자 간의 공동 연구이다.

이 연구에 참여한 의사로는 R.V. Paul Chan, MD, MSc, FACS, 안과 전문의 및 미국 외과학회 펠로우; Michael F. Chiang, M.D., 미국 국립 보건원(NIH) 내과 안과 연구소 소장; 및 J. Peter Campbell M.D., M.P.H., 오레곤 건강 과학 대학 학교 안과 교수가 있다.

눈이 모든 것을 가지고 있다

이 논문은 인간 起源의 편향이 AI 의료 시스템으로 전파될 수 있는 이전에 입증된 잠재력을 언급한다. 특히 눈을 연구하는 경우에 vậy이다*. 망막 색조 이미지(Retinal Fundus Images, RFI)는 각질병을 평가하는 데 사용되며, 인종을 식별할 수 있는 충분한 색조 정보를 포함한다.

그레이스케일 망막 혈관 지도(Retina Vessel Maps, RVMs)는 대부분의 이러한 정보를 버림으로써 질병 조건을 정의할 가능성이 있는 모세혈관의 기본 패턴을 추출한다. 이러한 축소된 의료 이미지에는 인종 특성이 남아 있지 않는다고 생각해 왔다.

저자들은 신생아들이 잠재적으로 시력을 잃을 수 있는 질병을 위해筛查된 전체 색조 망막 이미지(RFIs) 데이터 세트를 사용하여 이 가정을 테스트했다. 이러한 이미지의筛查은 개인 상담 외의 원격 진단 상황에서 점점 더 많이 특징되며, 기계 학습 분석의 대상이 되고 있다.

새로운 연구는 다양한 종류의 축소된 버전의 인종 식별 전체 색조 이미지에서 인종 정보가 남아 있는지 여부를 조사했으며, 부모가 보고한 인종을 기준으로 하여, 심지어 가장 정보를 파괴적인 축소 버전의 RFIs(임계값, 골격화, 이진화)에서도 일부 수준의 인종 식별이 가능하다는 것을 발견했다.

데이터 및 방법론

2012년 1월부터 2020년 7월까지 다중 센터 i-ROP 연구의 일부로 수집된 245명의 신생아 데이터는 훈련, 검증 및 테스트 데이터 세트로 나누어졌으며, 자연스러운 인종 분포가 데이터 원본이 허용하는 범위 내에서 유지되었다.

색조 RFIs는 ‘명백한’ 인종 마커가 기술적으로 제거된 데이터를 생성하기 위해 3가지 축소 스타일의 이미징으로 축소되었다.

다중 컨볼루셔널 신경 네트워크(CNNs)는 부모가 보고한 인종(흑인/백인)에 대한 이진 분류를 달성하기 위해 PyTorch를 사용하여 훈련되었다. CNN은 모든 이미지 버전(RFIs에서 골격화 버전까지)에 데이터를 적용했으며, 파생된 이미지의 해상도는 224×244 픽셀이었다.

모델은 0.001의 일정한 학습률과 함께 최대 10개 에포크 동안 확률적 경사 하강법으로 훈련되었으며, 5개 에포크 후에 조기 종료가 구현되어 모델이 더 이상 정확해지지 않는 경우 훈련이 중단되었다.

백인과 흑인 주체 간의 자연스러운 인구 통계적 불균형이 있었기 때문에, 소수자 출처가 체계적으로 아웃라이어로 처리되지 않도록 보상이 적용되었으며, 결과가 교차 확인되어 실험 간에 데이터 누수가 발생하지 않는지 확인했다.

연구에서 다양한 임계값 수준의 망막 지도 샘플.

결과

RVMs는 전체 색조 RFI 이미지에서 정맥과 모세혈관을 추출하는 것으로, 이론적으로 인종을 식별할 수 없어야 한다. 그러나 결과는 흰 눈보다 검은 눈에서 더 많은 주요 동맥이 U-Net에 의해 분할됨을 보여주었다.

연구자들은 ‘우리는 AI가 색조 정보를 포함하지 않는 망막 혈관 분할에서 쉽게 아기들의 인종을 예측할 수 있었다‘고 관찰하며, ‘눈에 보이는 정보가 없는 것처럼 보이는 이미지조차도 원래 아기의 인종에 대한 예측 정보를 유지했다‘고 추가했다. 연구자들은 검은 사람과 흰 사람의 망막 혈관이 ‘어떤 방식으로 AI가 인식할 수 있지만 인간이 인식할 수 없는 방식으로 다를 수 있다‘고 제안했다.

이전 편향?

저자들은 또한 U-Net이 주로 백인 주체로 훈련된 데이터에 의해 영향을 받을 수 있다고 제안한다. 그러나 저자들은 이것이 그들의 ‘주도적인 이론’이라고 설명하면서도, 캡처 센서의 기능이 기술적 측면의 결과일 수 있으며, 발견된 편향이 U-Net에서 수년 동안 자신을 재현하는 데이터 편향의 결과일 수 있다고 인정한다. 이러한 가능성을 다루면서, 논문은 다음과 같이 말한다:

‘그러나 U-Net은 색조 RFIs에서 처음으로 그레이스케일 이미지로 변환되고 대조를 조정(특히, 대조 한계 히스토그램 평등화(CLHE))된 후 훈련되었으므로, 우리는 아직 U-Net 가설만으로 이러한 발견을 완전히 설명할 수 없다.’

저자들은 그 원인이 결과보다 덜 우려스럽다고 주장하며, AI 모델이 인종을 식별할 수 있다는 것은 의료 AI 알고리즘에서 입력으로 사용될 때 편향의 ‘위험‘을 내포할 수 있다고 말한다.

저자들은 연구된 인종의 높은 대조도를 지적하며, 중간 인종 그룹은 유사한 手段으로 식별하기가 더 어려울 수 있으며, 이것이 그들이 계속해서 연구할 사항이라고 주장한다.

* 이 논문에서 제공된 모든 지원 링크는 가능한 경우 제한된 접근 PaperPile 링크에서 공개적으로 사용할 수 있는 온라인 버전으로 변환되었다.