NSF & Amazon Grant Supports Research at NYU to Help Cities Reduce Biases in AI Supported decision-making

뉴욕 대학교의 연구팀은 도시의 주택 검사, 경찰, 법원 등과 같은 분야에서 공平한 공공 정책 영향을 위한 체계적인 편향을 최소화하고 더 공平한 결과를 도출하기 위한 새로운 방법과 도구를 개발할 것입니다.

국가과학재단(NSF)과 Amazon의 100만 달러의 연구비를 받아 컴퓨터 과학 교수 다니엘 B. 닐(Daniel B. Neill)이 3년간의 연구 프로젝트를 주도할 것입니다. 이 프로젝트는 도시의 공공 부문에서 인공지능(AI)의 사용이 증가하고 있는 상황에서 편향을 평가하고 수정하기 위한 오픈 소스 도구를 개발하는 것을 포함합니다.

“인간의 결정과 알고리즘의 결정은 체계적인 편향을 가질 수 있으며, 이는 인종, 성별, 사회경제적 선에 따라 불공평하고 불평등한 결과를 초래할 수 있습니다.”라고 닐은 말했습니다. 닐은 뉴욕 대학교의 도시 과학 및 진보 센터(Center for Urban Science and Progress, CUSP)와 NYU 탠던 공과 대학의 교수이며, 뉴욕 대학교의 와그너 대학원에서도 교수로 활동하고 있습니다.

“알고리즘이 인간의 결정에 편향을 제거하여 공평성을 향상시키는 방법을 이해하고, 도시에서 정책 개입을 설계하고 구현하는 사람들을 지원하기 위한 방법과 도구를 개발하고자 합니다.”

알고리즘 결정의 위험과 이점을 조사하면서, 프로젝트 팀은 공평성의 7단계 파이프라인 개념을 개발할 것입니다. 이 파이프라인은 데이터, 모델, 예측, 추천, 결정, 영향, 결과의 7단계로 구성되며, 편향의 여러 원인을 설명하고, 편향이 파이프라인을 통해 불공평한 결과로 이어지는 방식을 모델링하며, 측정되지 않은 편향에 대한 민감도를 평가할 것입니다.

둘째, 팀은 각 단계에서 편향을 식별하고 수정하기 위한 일반적인 방법론적 프레임워크와 편향 스캔을 개발할 것입니다. 또한, 인간의 결정자를 위한 알고리즘 결정 지원 도구를 제공하여, 알고리즘의 “힌트”를 통해 인간의 결정이 공평성으로 향하도록 유도할 것입니다.

마지막으로, 프로젝트 팀은 범죄 정의와 주택 분야에서 편향의 존재와 정도를 측정하기 위한 새로운 지표를 개발하고, 다음과 같은 도구를 만들 것입니다: (a) 공평한 개입을 통해 구금을 줄이기; (b) 주택 검사와 수리를 우선순위로 하기; (c) 민사 및 형사 재판의 공평성을 평가하고 개선하기; (d) 불량한 주택과 불공평한 경찰 관행을 포함한 부적절한 환경 노출의 불균형한 건강 영향 분석하기.

“이 연구의 궁극적인 목표는 도시에서 생활하는 사람들과 도시 서비스에 의존하거나 사법 시스템과 관련된 사람들을 위한 사회 정의를 발전시키는 것입니다. 이는 결정 과정에서 편향을 평가하고 완화하여 불평등을 줄이는 것입니다.”라고 닐은 말했습니다. 닐은 또한 뉴욕 대학교의 러닝 포 굿 연구소의 소장이며, 뉴욕 대학교의 쿠란트 수리과학 연구소의 교수입니다.

연구 팀에는 라비 슈로프(Ravi Shroff), 뉴욕 대학교의 CUSP와 스타인하트 학교의 조교수; 콘스탄틴 콘토코스타(Constantine Kontokosta), 뉴욕 대학교의 마론 도시 관리 연구소의 교수이자 NYU 탠던 공과 대학의 연계 교수; 에드워드 맥파울랜드 3세(Edward McFowland III), 미네소타 대학교의 칼슨 경영 대학의 교수가 포함됩니다.

이 연구비는 NSF의 Amazon과 협력하여 인공지능에서 공평성을 위한 프로그램(2040898)하에 지급되었습니다.