AI 윤리 연합, 범죄 예측 알고리즘 규탄

화요일, 여러 AI 연구자, 윤리학자, 데이터 과학자, 사회 과학자는 블로그 게시물을 통해 학술 연구자들이 개인이 범죄를 저지를 가능성을 예측하는 연구를 중단해야 한다고 주장하면서, 범죄 통계와 얼굴 스캔과 같은 변수에 기반한 연구를 중단해야 한다고 주장했다.

블로그 게시물은 Coalition for Critical Technology가 작성했으며, 이러한 알고리즘의 사용은 소수민족에 대한 편견의 순환을 조장한다고 주장했다. 얼굴 인식과 예측형 경찰 알고리즘의 효능에 대한 많은 연구는 알고리즘이 소수민족을 더严厳하게 판단하는 경향이 있다고 밝혔으며, 블로그 게시물의 저자들은 이것이 형사 사법 시스템의 불평등으로 인한 결과라고 주장했다. 형사 사법 시스템은 편향된 데이터를 생산하며, 따라서 이러한 데이터에 훈련된 알고리즘은 이러한 편향을 확대한다고 Coalition for Critical Technology는 주장했다. 연합은 “범죄성”의 개념이 종종 인종에 기반한다고 주장하며, 이러한 기술에 대한 연구는 알고리즘의 중립성을 가정하지만 실제로는 그러한 중립성이 존재하지 않는다고 주장했다.

The Verge의 보고에 따르면, 학술 작품의 주요 출판사인 Springer는 “이미지 처리를 사용한 범죄성 예측을 위한 심층 신경망 모델”이라는 연구를 출판할 계획이었다. 연구의 저자들은 편향 없이 약 80%의 정확도로 개인이 범죄를 저지를 가능성을 예측할 수 있는 얼굴 인식 알고리즘을 개발했다고 주장했다. 그러나 Coalition for Critical Technology는 Springer에 공개 서한을 보냈으며, 출판사에 이러한 연구나 유사한 연구를 출판하지 말 것을 촉구했다.

“이 연구의 출판은 주요 출판사인 Springer를 통해 반복적으로 논박된, 사회적으로 유해한 연구가 실제 세계에서 정당화되고 적용되는 중요한 단계를 나타낼 것이다”라고 연합은 주장했다.

Springer는 이 논문을 출판하지 않을 것이라고 밝혔으며, MIT Technology Review에 따르면, 이 논문은 향후 컨퍼런스에 제출되었지만 피어 리뷰 과정에서 출판을 거부되었다.

Coalition for Critical Technology는 범죄성 예측 논문이 더 큰, 유해한 경향의 단일 인스턴스에 불과하다고 주장했다. 여기서 AI 엔지니어와 연구자들은 민감하고 사회적으로 구성된 변수로 구성된 데이터에 기반하여 행동을 예측하려고 시도한다. 연합은 또한 많은 연구가 과학적으로 의심스러운 아이디어와 이론에 기반하고 있으며, 이는 생물학과 심리학에서 उपलब한 증거에 의해 지원되지 않는다고 주장했다. 예를 들어, 프린스턴과 Google의 연구자들은 기사를 발표했으며, 얼굴 특징에 기반하여 범죄성을 예측하는 알고리즘이 신뢰할 수 없는 유사과학인 생리학에 기반하고 있다고 경고했다. 연구자들은 기계 학습이 인종차별적 시스템을 지원하는 오래전 부정된 이론을 재활성화하도록 허용하지 말라고 경고했다.

최근 Black Lives Matter 운동의 추세는 많은 회사들이 얼굴 인식 알고리즘의 사용을 재評価하도록 촉구했다. 연구에 따르면 이러한 알고리즘은 빈번하게 편향되어 있으며, 대표성이 없는 편향된 훈련 데이터에 기반하고 있다.

서한의 서명인들은 범죄성 예측 알고리즘에 대한 연구를 중단해야 한다고 주장하는 것 외에도, 연구자들이 AI 모델의 성공을 판단하는 방법을 재평가해야 한다고 추천했다. 연합 구성원들은 알고리즘의 사회적 영향이 성공의 척도여야 한다고 추천했으며, 정밀도, 재현율, 정확도와 같은 척도와 함께 고려해야 한다고 주장했다. 논문의 저자들은 다음과 같이 썼다.

“기계 학습이 ‘사회적 좋은’ 것을 가져오기 위해서는, 이 분야의 연구자들은 자신의 연구가 가능하게 하는 권력 구조(그리고 그에 따른 억압)를 적극적으로 반성해야 한다.”