알고리즘이 적절히 훈련되면 의료 분야에서 인종 편향을 해결할 수 있다

스탠퍼드 대학교, 하버드 대학교, 시카고 대학교의 연구팀은 알고리즘을 훈련시켜 슬관관증을 슬관관 엑스레이로 진단하도록 했다. 알고리즘은 환자의 보고서를 훈련 데이터로 사용할 때 흑인 환자의 기록을 분석할 때 방사선과보다 더 정확한 것으로 나타났다.

알고리즘 편향 문제

의료 분야에서 기계 학습 알고리즘을 사용하면 다양한 질병으로 고통받는 환자의 결과를 개선할 수 있지만, 환자를 진단하는 데 AI 알고리즘을 사용하는 데 관련된 잘 문서화된 문제도 있다. 배포된 AI 모델의 영향에 대한 연구는 몇 가지 주목할만한 사건을 발견했으며, 이는 흑인 환자에게 백인 환자보다 심장과학 부서로의 추천을 적게 하는 알고리즘을 포함한다. 모든 보고된 증상은 동일했음에도 불구하고.
연구의 저자 중 한 사람인 캘리포니아 버클리 대학교 공중 보건 대학의 지아드 오버마이어(Ziad Obermeyer) 교수는 AI를 사용하여 방사선과가 슬관관 엑스레이를 진단하고 환자가 보고한 통증의 양 사이의 불일치를 조사하기로 결정했다. 흑인 환자와 저소득 환자는 더 높은 수준의 통증을 보고했지만, 그들의 엑스레이 해석은 일반 인구와 동일하게 평가되었다. 보고된 통증 수준에 대한 데이터는 NIH에서 왔으며, 연구자들은 인간 의사가 데이터 분석에서何か 놓치고 있는지 조사하고 싶었다.
와이어드에서 보도한 바와 같이, 이러한 차이의 잠재적인 원인을 식별하기 위해 오버마이어와 다른 연구자들은 NIH의 데이터로 훈련된 컴퓨터 비전 모델을 설계했다. 알고리즘은 엑스레이를 분석하고 이미지에 따라 환자의 통증 수준을 예측하도록 설계되었다. 소프트웨어는 환자의 통증 수준과 매우 상관관계가 높은 이미지 내의 패턴을 발견했다.
알고리즘이 보지 못한 이미지를 제시하면 모델은 환자의 보고된 통증 수준에 대한 예측을 반환한다. 모델이 반환한 예측은 방사선과가 할당한 점수보다 환자의 실제 보고된 통증 수준과 더密接하게 일치했다. 특히 흑인 환자에게如此했다. 오버마이어는 와이어드에서 컴퓨터 비전 알고리즘이 흑인 환자와 더 자주 관련된 현상을 감지할 수 있었다고 설명했다.

시스템을 적절히 훈련

원래 엑스레이를 평가하는 기준은 1957년 북부 잉글랜드에서 수행된 작은 연구의 결과에 따라 개발되었다. 초기 인구는 현대 미국의 매우 다양한 인구와 다르므로 이러한 다양한 사람들을 진단할 때 오류가 발생하는 것은 놀라운 일이 아니다.
새로운 연구는 AI 알고리즘이 적절히 훈련되면 편향을 줄일 수 있음을 보여준다. 훈련은 전문가의 의견이 아닌 환자의 피드백에 기반했다. 오버마이어와 그의 동료들은 이전에 일반적으로 사용되는 AI 알고리즘이 흑인 환자보다 백인 환자를 선호한다는 것을 보여주었지만, 오버마이어는 또한 올바른 데이터로 기계 학습 시스템을 훈련하면 편향을 방지할 수 있음을 보여주었다.
연구의 주목할만한 예외는 많은 기계 학습 연구자에게 익숙한 것이다. 연구 팀이 개발한 AI 모델은 블랙박스이며, 연구 팀 자체도 알고리즘이 엑스레이에서 어떤 특징을 감지하는지 모르는 것으로 나타났다. 즉, 의사에게 무엇을 놓치고 있는지 알려줄 수 없다.
다른 방사선과 및 연구자들은 블랙박스 속의 패턴을 발견하고 의사들이 무엇을 놓치고 있는지 이해하도록 도와주기 위해 블랙박스를 조사하고 있다. 에모리 대학교의 방사선과 및 교수인 주디 기초야(Judy Gichoya)는 AI 모델을 훈련시키기 위해 더广泛하고 다양한 집합의 엑스레이를 수집하고 있다. 기초야는 방사선과가 이러한 엑스레이에 대한 자세한 노트를 작성할 것이다. 이러한 노트는 알고리즘이 감지하는 패턴이 발견될 수 있는지 확인하기 위해 모델의 출력과 비교될 것이다.