컴퓨터 비전에서 편향성을 줄이는 새로운 도구 개발

인공지능(AI) 분야에서 최근에出现한 문제 중 하나는 컴퓨터 비전에서 편향성입니다. 많은 전문가들이 AI 시스템에서 편향성을 발견하고 있으며, 이는 다양한 응용 프로그램에서歪된 결과를 초래하고 있습니다. 예를 들어, 법원 선고 프로그램에서 편향성이 발견되었습니다.

이러한 문제를 해결하기 위한 노력이 진행 중이며, 프린스턴 대학교의 연구진이 새로운 도구를 개발했습니다. 이 도구는 AI 시스템을 훈련하는 데 사용되는 이미지에서 잠재적인 편향성을 식별할 수 있습니다.

이 연구는 8월 24일 가상 유럽 컴퓨터 비전 컨퍼런스에서 발표되었습니다.

AI 시스템의 편향성

현재 AI 시스템에서 편향성이 나타나는 주요 이유 중 하나는 온라인 소스에서 가져온 대규모 이미지 세트를 사용하여 훈련되기 때문입니다. 이러한 이미지들은 고정관념이 있을 수 있으며, 컴퓨터 비전을 개발할 때 무의식적으로 영향을 받을 수 있습니다. 컴퓨터 비전은 컴퓨터가 사람, 객체, 동작을 식별할 수 있게 해주는 기술입니다.

연구진이 개발한 도구는 오픈소스이며, 자동으로 시각적 데이터 세트에서 잠재적인 편향성을 드러낼 수 있습니다. 이 도구는 컴퓨터 비전 모델을 훈련하기 전에 이미지 세트를 분석하여 편향성과 고정관념 문제를 해결할 수 있습니다.

REVISE

새로운 도구의 이름은 REVISE이며, 통계적 방법을 사용하여 데이터 세트에서 잠재적인 편향성을 식별합니다. 이 도구는 객체 기반, 성별 기반, 지리 기반의 세 가지 영역에 초점을 맞추고 있습니다.

REVISE는 완전히 자동화되어 있으며, 이전 방법을 기반으로 개발되었습니다. 이전 방법에는 데이터 세트 이미지 필터링과 균형 조정이 포함되어 있었습니다.

새로운 도구는 기존의 이미지 주석과 측정치를 사용하여 데이터 세트의 내용을 분석합니다. 이러한 주석에는 객체 수와 이미지의 원산지 등이 포함됩니다.

도구가 작동하는 예 중 하나는, REVISE가 사람과 꽃의 이미지가 성별에 따라 다르다는 것을 보여주었습니다. 남성은 꽃과 함께 의식이나 회의에서 더 자주 나타납니다. 여성은 꽃과 함께 그림이나 의도적인 상황에서 더 자주 나타납니다.

Olga Russaskovsky는 컴퓨터 과학 조교수이자 Visual AI Lab의 책임자입니다. 이 논문은 Angelina Wang 대학원생과 Arvind Narayanan 조교수와 공동으로 작성되었습니다.

도구가 편향성을 식별한 후, “이것은 완전히 무해한 사실인지, 아니면 더 심오한 문제가 있는지 판단하는 것이 매우 어렵습니다”라고 Russaskovsky는 말했습니다.

부족하거나 잘못 표현된 지역

세계의 여러 지역은 컴퓨터 비전 데이터 세트에서 부족하게 표현되어 있으며, 이는 AI 시스템에서 편향성을 초래할 수 있습니다. 연구진은 미국과 유럽 국가에서 더 많은 이미지가 제공된다는 것을 발견했습니다. REVISE는 또한 다른 지역의 이미지에는 현지 언어로 된 캡션이 없다는 것을 보여주었습니다. 이는 많은 이미지가 관광객의 관점에서 촬영된 것일 수 있습니다.

“…이 지리적 분석은 객체 인식이 여전히 편향되고 배제적일 수 있으며, 다양한 지역과 사람들에게 불균형적으로 영향을 미칠 수 있음」を 보여줍니다”라고 Russaskovsky는 계속했습니다.

“컴퓨터 과학에서 데이터 세트 수집 관행은 최근까지 철저하게 조사되지 않았습니다”라고 Wang은 말했습니다. 이미지 수집은 “인터넷에서 스크레이핑되며, 사람들은 항상 자신의 이미지가 데이터 세트에서 사용되고 있음을 인식하지 못합니다. 우리는 더 다양한 사람들로부터 이미지를 수집해야 하지만, 그렇게 할 때 우리는 이미지를 존중하는 방식으로 수집하고 있음을 확인해야 합니다.”

Vicente Ordonez-Roman은 버지니아 대학교의 컴퓨터 과학 조교수입니다.

“도구와 벤치마크는 중요한 단계입니다…它们는 편향성을 더 일찍 식별하고 문제 설정 및 가정을 재고하고 데이터 수집 관행을 재고할 수 있게 해줍니다”라고 Ordonez-Roman은 말했습니다. “컴퓨터 비전에는 표현과 고정관념의 전파와 관련된 특정한 도전이 있습니다. 프린스턴 Visual AI Lab의 연구와 같은 연구는 이러한 문제를 명확히 하고 컴퓨터 비전 커뮤니티의 일부인 이러한 문제를 해결하기 위한 전략을 제공합니다.”

연구진이 개발한 새로운 도구는 AI 시스템에서 편향성을 해결하는 데 중요한 단계입니다. 이제 이러한 문제를 해결할 때가 왔습니다. 시스템이 발전하고 더 복잡해질수록 이러한 문제를 해결하기가 더 어려워질 것입니다.