GEPI의 ‘AI는 여성을 어떻게 저버리는가’ 보고서, 알고리즘이 성별 편향을 증폭하는 방식 살펴봐

채용 점수, 신용 평가 또는 임상 권고는 겉으로는 공정해 보여도 그 바탕이 되는 데이터의 불평등을 그대로 이어받을 수 있다. Gender Equity Policy Institute의 새 보고서 AI는 여성을 어떻게 저버리는가: 편향이 증폭될 때는 자동화 시스템이 성차별을 재현하고 때로는 심화하는 방식을 다룬 연구를 종합하며 이러한 점을 핵심 경고로 제시한다.

머신러닝 과학자이자 GEPI 선임 연구원인 Myriam Shiran 박사가 작성한 이 보고서는 경제적 기회, 의료, 형사 사법, 생성 콘텐츠, 소비자용 AI 설계, AI를 이용한 이미지 기반 성폭력에 관한 학술 문헌과 회색 문헌을 검토한다. 모든 AI 시스템을 단일 기준으로 평가하는 새로운 실험이 아니라 기존 증거를 종합한 보고서다.

이 보고서의 가장 중요한 주장은 편향된 결과가 모델을 벗어난 뒤 어떤 일이 일어나는지에 관한 것이다. 권고는 의사결정에 영향을 미치고, 생성된 콘텐츠는 기대를 형성하며, 일부 결과물은 이후 학습에 쓰이는 자료가 된다. 따라서 불공정한 패턴은 여러 시스템을 거치는 동안 식별하기가 점점 더 어려워질 수 있다.

성별을 고려하지 않는 입력이 공정한 결과를 보장하지는 않는다

성별 항목을 없애는 것은 차별에 대응하는 직관적인 방법이다. 그러나 GEPI의 검토 보고서는 그것만으로는 충분하지 않은 이유를 설명한다. 이름, 학력, 경력 및 기타 세부 정보에도 성별과 관련된 신호가 담길 수 있다. 또한 모델이 접하기도 전에 과거의 결과에 불평등한 대우가 반영되어 있을 수 있다.

보고서가 인용한 채용 감사 연구 중 하나는 Wilson과 Caliskan이 2024년에 수행한 것으로, 9개 직종에서 300만 건이 넘는 모의 이력서 비교를 진행했다. 시험 대상 선별 모델은 비교 사례의 51.9%에서 남성과 연관된 이름을 유의미하게 선호했고, 11.1%에서는 여성과 연관된 이름을 유의미하게 선호했다. 나머지 37%에서는 유의미한 선호가 나타나지 않았다. 이는 통제된 모델 시험의 결과이지, 실제 지원자 중 일자리를 얻지 못한 사람의 비율이 아니다.

증거는 시험 설계에 따라서도 달라진다. 보고서는 별도의 2025년 감사 연구를 소개하는데, 이 연구에서는 연구자들이 이름만 바꾸었을 때 여러 언어 모델에서 성별에 따른 차이가 나타나지 않았지만 학력 정보를 바꾸자 점수에 영향을 미쳤다. 제한적인 시험으로는 같은 작업 흐름의 다른 지점에서 중요한 정보를 놓칠 수 있다.

대출과 관련해 이 검토 보고서는 미국의 주요 핀테크 대출업체가 취급한 약 8만 건의 무담보 개인 대출을 분석한 연구를 소개한다. 여성 대출자의 대출은 대출업체에 더 높은 수익을 안겼다. 해당 연구는 이를 모델이 여성의 채무불이행 위험을 과대평가하고 그에 따라 대출 금리를 책정한 결과라고 설명했다. 여기서 중요한 것은 신청서에 성별이 기재되어 있는지 여부만이 아니라, 예측된 위험과 실제 상환, 대출자가 부담하는 비용 사이의 관계다.

의료 AI를 평가할 때는 평균 성능 점수만으로 충분하지 않다

의료 분야는 전체 인구를 대상으로 한 성능이 중요한 차이를 가릴 수 있는 이유를 특히 분명하게 보여준다. 학습 또는 검증 데이터에서 대표성이 낮은 집단에 대해 더 많은 오류를 내면서도 모델의 전체 성능은 높을 수 있다.

GEPI는 Zack과 동료들이 2024년에 발표한 연구를 인용한다. 연구진은 GPT-4에 다른 조건은 동일하고 남성 또는 여성의 사례로 설명된 흉통 사례를 제시했다. 각 설명에 대해 200회씩 실행한 결과, 모델은 남성 사례의 71%, 여성 사례의 58%에서 심장 부하 검사를 매우 중요하다고 평가했다. 두 집단의 차이는 13%포인트였다.

이 결과는 통제된 평가에서 나온 모델 권고에 관한 것이지, 실제로 관찰된 치료 결정이나 환자의 건강 결과에 관한 것이 아니다. 이 차이는 중요하다. 특히 보고서에는 서로 다른 시기에 각기 다른 모델, 질환, 임상 과제를 대상으로 수행한 탐색적 연구들이 포함되어 있기 때문이다.

검토 보고서는 반드시 짚고 넘어가야 할 단서도 제시한다. 임상적으로 의미 있는 성별 차이를 무조건 없애서는 안 된다는 것이다. 모델의 조언에 차이가 나타날 때, 그것이 관련 생물학적 특성을 반영하는지 아니면 근거 없는 가정에서 비롯되는지 판단하는 것이 과제다. 그러려면 모든 권고를 동일하게 만들라고 요구하기보다 대표성 있는 평가 데이터를 확보하고 오류를 면밀히 살펴야 한다.

편향은 의사결정뿐 아니라 재현 방식에도 영향을 미칠 수 있다

보고서는 대출이나 의료 서비스와 같은 자원에 대한 개인의 접근이 제한되는 피해와 집단이 묘사되는 방식에서 발생하는 피해를 구분한다. 생성형 추천서, 뉴스 기사, 직업 이미지 등은 당장의 자원 배분 결정이 뒤따르지 않더라도 고정관념을 강화할 수 있다.

GEPI가 정리한 연구에 따르면 언어 모델은 여성을 대인 관계 능력으로 더 자주 묘사하고, 남성은 리더십이나 능력과 더 자주 연결해 묘사했다. 이미지 생성기를 분석한 연구에서는 직업에 따라 성별을 과도하게 분리하는 결과가 나타났다. 이러한 결과는 조사 대상 모델과 버전에 해당하며, 현재 이용할 수 있는 모든 시스템을 새로 감사한 결과로 해석해서는 안 된다.

소비자용 비서와 동반자형 AI는 다른 문제를 제기한다. 목소리와 성격, 괴롭힘에 대한 반응은 의도적으로 선택한 제품 설계 요소다. 답변의 통계적 균형만 평가하면 제품이 어떤 존재가 되도록 설계되었는지에 내재된 가정을 간과할 수 있다.

이 검토는 동의 없이 생성된 성적 이미지도 살펴본다. AI는 이러한 이미지를 더 쉽게 만들고 유포할 수 있어 피해를 부추길 수 있다. 이는 단순히 부정확한 묘사에 그치지 않는다. 실제 인물의 모습을 동의 없이 사용하면 직접적인 피해를 초래할 수 있다. 따라서 생성된 이미지에서 직업적 고정관념을 바로잡는 것과는 다른 대응이 필요하다.

독립적인 테스트가 중요한 이유

GEPI는 반복적으로 나타나는 네 가지 메커니즘을 설명한다. 불평등한 과거 기록에서 학습하고, 고정관념을 재생산하며, 판단을 객관적인 측정값인 것처럼 제시하고, 편향된 결과가 후속 의사결정이나 모델에 반영되도록 하는 것이다.

독립적인 감사를 통해 이러한 메커니즘을 드러낼 수 있다. 연구자들은 비교 가능한 입력에서 한 가지 속성만 바꾸고 결과가 어떻게 달라지는지 살펴볼 수 있으며, 독점 모델의 내부 구조에 접근하지 못하더라도 이를 수행할 수 있다. 그러나 하나의 프롬프트나 벤치마크에서 성공적으로 테스트했다고 해서 전체 배포 과정에서 공정성이 확보되는 것은 아니다.

AI를 도입하는 조직이 실무적으로 해야 할 일은 실제 사용 사례를 테스트하는 것이다. 채용팀은 서류 심사 점수에서 면접 대상자 선정에 이르는 과정을 살펴봐야 한다. 대출 기관은 위험 추정치와 실제 상환 결과를 비교해야 한다. 의료기관은 검증 데이터에 어떤 환자들이 포함되어 있는지, 오류가 어디에 집중되는지 파악해야 한다. 이러한 점검은 모델이 전반적으로 유창하거나 정확한지와는 다른 질문에 답한다.

보고서가 밝혀낸 점과 아직 밝혀지지 않은 점

이 보고서는 주로 미국의 근거 자료를 바탕으로 하며, 관련성이 있는 국제 연구도 함께 살펴본다. 자료에는 서로 다른 기술과 연도, 방법론이 포함되어 있다. 일부 연구는 결과를 기록하고, 다른 연구는 시뮬레이션에서 우려스러운 행동이 나타남을 보여준다. 이 검토는 차별의 보편적인 발생률을 제시하지 않으며, 모든 시스템에서 같은 편향이 나타난다고 주장하지도 않는다.

보고서는 측정상의 문제도 지적한다. 연구자들은 결과와 그에 따른 영향을 연결하는 데 필요한 기관 데이터를 확보하지 못하는 경우가 많다. 격차를 확인하는 일은 중요하지만, 현실에서 발생하는 비용을 파악하려면 고용주, 공급업체, 대출 기관 또는 의료기관이 보유한 기록이 필요할 수 있다.

GEPI의 기여는 흔히 따로 논의되는 연구 결과들을 연결하고, AI가 영향을 미치는 의사결정 과정에서도 테스트와 책임성 확보가 이어지는지 묻는 데 있다. 전체 보고서 AI가 여성에게 실패하는 방식: 편향이 증폭될 때에는 이러한 주장을 뒷받침하는 방법론과 연구 참고 자료, 부문별 근거가 담겨 있다.