Anderson의 관점

CLIP 기반 이미지 합성 시스템의 ‘인종 분류’ 문제

Martin Anderson
Unite.AI를 Google의 선호 소스에 추가
핵심 포인트CLIP은 50% 혼합 비율에서 다인종 얼굴을 소수자로 분류함으로써 저혈통 편향을 보인다.
더 보기
  • CLIP은 50% 혼합 비율에서 다인종 얼굴을 소수자로 분류함으로써 저혈통 편향을 보인다.
  • 해당 연구에서 여성 대상자는 남성 대상자보다 CLIP으로부터 더 강한 저혈통 편향에 직면한다.
  • CLIP은 소수자 인종 레이블을 백인 레이블보다 더 부정적인 가치와 연관시킨다.

미국의 새로운 연구에 따르면, 널리 주목받은 DALL-E 시리즈와 여러 이미지 생성·분류 모델의 기반이 되는 인기 컴퓨터 비전 모델 중 하나는 하이포데센트(hypodescent) 경향을 분명히 보인다. 이는 ‘한 방울 규칙’이라고도 하는 인종 분류 규칙으로, ‘혼합된’ 혈통, 즉 백인이 아닌 계통의 유전적 혈통이 조금이라도 있으면 그 사람 전체를 ‘소수자’ 인종으로 분류한다.

하이포데센트가 인류 역사에서 가장 추악한 일부 시기의 특징이었던 만큼, 새 논문의 저자들은 컴퓨터 비전 연구와 구현에서 이런 경향에 더 주목해야 한다고 제안한다. 특히 해당 기반 프레임워크는 매월 거의 100만 번 다운로드되므로, 이를 이용하는 후속 프레임워크에 인종 편향을 더욱 확산시킬 수 있다.

새 연구가 다루는 아키텍처는 Contrastive Language Image Pretraining(CLIP)이다. 이 다중 모달 머신러닝 모델은 인터넷에서 수집한 이미지·설명 쌍으로 학습하여 의미적 연관성을 배운다. 이러한 반지도 학습 방식은 상당한 레이블링 비용을 줄이지만, 설명을 작성한 사람들의 편향을 반영할 가능성이 있다.

논문에서:

‘우리 결과는 CLIP 임베딩 공간에 하이포데센트가 존재한다는 증거를 제시하며, 이 편향은 여성 이미지에 더 강하게 적용된다. 또한 CLIP은 백인을 기본값으로 삼고, 백인에서 벗어나는 정도에 따라 이미지를 인종 또는 민족 레이블과 연관시킨다.’

논문은 이미지의 정서가 연관성, 즉 ‘좋은’ 것 또는 ‘나쁜’ 것과 연결되는 경향이 백인 레이블보다 ‘소수자’ 인종 레이블에서 훨씬 높다고도 밝혔다. 저자들은 CLIP의 편향이 학습에 사용된 미국 중심의 문헌 말뭉치인 영어 위키백과를 반영한다고 제안한다.

CLIP이 하이포데센트를 뒷받침하는 듯한 결과의 의미에 관해 저자들은 다음과 같이 말한다*:

‘CLIP의 초기 활용 중 하나는 제로샷 이미지 생성 모델 DALL-E를 학습시키는 것이었다. 더 큰 비공개 CLIP 아키텍처는 DALL-E 2 학습에 사용되었다. 이번 연구 결과와 일치하게, DALL-E 2 모델 카드의 위험과 한계에는 모델이 “백인으로 인식되는 사람들을 과도하게 나타내는 경향이 있는 이미지를 생성한다”고 명시되어 있다.’

‘CLIP의 특징은 다른 최첨단 AI 모델의 의미 형성을 이끄는 데 사용되므로, 이러한 활용은 CLIP이 학습한 편향이 자체 임베딩 공간을 넘어 확산될 가능성을 보여준다.’

‘또한 CLIP과 유사한 모델이 제로샷 환경에서 이미지와 텍스트를 연결하는 데 이룬 발전에 힘입어, 다중 모달 아키텍처는 검색 엔진을 비롯한 널리 쓰이는 인터넷 애플리케이션의 미래를 위한 기반으로 설명되어 왔다.’

‘우리 결과는 이러한 모델이 자연어 감독을 통해 무엇을 배우는지 더 주의 깊게 살펴볼 필요가 있음을 보여준다.’

워싱턴 대학교와 하버드 대학교 연구자 세 명이 작성한 이 논문의 제목은 시각적 의미 AI에서의 하이포데센트 증거이다.

CLIP과 부정적 영향

저자들은 이번 연구가 CLIP의 하이포데센트에 대한 최초의 분석이라고 말한다. 그러나 기존 연구에서도 CLIP의 작업 흐름이 인터넷에서 얻은 충분히 선별되지 않은 데이터를 이용한 비지도 학습에 크게 의존하며, 여성을 충분히 대표하지 못하고, 모욕적인 콘텐츠를 생성하거나 이미지 인코더에서 반무슬림 정서 같은 의미적 편향을 보일 수 있음이 드러났다.

CLIP을 처음 소개한 논문은 제로샷 환경에서 CLIP이 FairFace 데이터 세트의 사람 중 58.3%만 백인 인종 레이블과 연결한다고 인정했다. FairFace를 분류한 Amazon Mechanical Turk 작업자들에게도 편향이 있을 수 있다는 점을 지적하며, 새 논문의 저자들은 ‘다른 사람들이 백인으로 인식하는 사람들 중 상당한 소수가 CLIP에서는 백인이 아닌 인종과 연결된다’고 말한다.

저자들은 이어서 말한다:

‘그 역은 성립하지 않는 것으로 보인다. FairFace 데이터 세트에서 다른 인종 또는 민족 레이블에 속한다고 인식되는 사람들은 CLIP에서도 그 레이블과 연결된다. 이는 CLIP이 사회과학자들이 설명한 “하이포데센트” 규칙을 배웠을 가능성을 시사한다. 다인종 혈통의 사람은 똑같이 정당한 다수자 또는 더 유리한 부모 집단보다 소수자 또는 덜 유리한 부모 집단에 속한다고 인식되고 분류될 가능성이 더 높다.’

‘다시 말해 흑인 부모와 백인 부모 사이의 자녀는 백인보다 흑인으로 더 많이 인식되고, 아시아인 부모와 백인 부모 사이의 자녀는 백인보다 아시아인으로 더 많이 인식된다.’

논문의 핵심 결과는 세 가지다. CLIP은 다인종 정체성을 가진 사람을 혈통을 구성하는 소수자 인종 범주로 몰아 하이포데센트를 보인다. CLIP에서 백인은 기본 인종이며, 다른 인종은 백인 범주에서 벗어나는 정도로 정의된다. 마지막으로 정서가 편향, 즉 ‘나쁜’ 개념과의 연관성은 개인이 인종적 소수자로 분류되는 정도와 상관관계가 있다.

방법과 데이터

CLIP이 다인종 인물을 어떻게 처리하는지 알아보기 위해 연구자들은 이미지 속 개인의 인종을 바꾸는 기존의 모핑 기법을 사용했다. 사진은 인종에 관한 심리학 연구용으로 개발된 Chicago Face Database에서 가져왔다.

새 논문의 보충 자료에 포함된 인종 모핑 CFD 이미지의 예. 출처: https://arxiv.org/pdf/2205.10764.pdf

새 논문의 보충 자료에 포함된 인종 모핑 CFD 이미지의 예. 출처: https://arxiv.org/pdf/2205.10764.pdf

연구자들은 선행 연구와 일관성을 유지하기 위해 데이터 세트에서 ‘중립적 표정’의 이미지만 선택했다. StyleGAN2-ADA 생성적 적대 신경망(FFHQ로 학습)을 사용해 얼굴 이미지의 인종을 바꾸고, 한 인종에서 다른 인종으로 변화하는 과정을 보여주는 중간 이미지를 만들었다. 위의 예시 이미지가 그 결과다.

선행 연구와 마찬가지로 데이터 세트에서 자신을 흑인, 아시아인, 라틴계로 밝힌 사람들의 얼굴을 자신을 백인이라고 밝힌 사람들의 얼굴로 모핑했다. 이 과정에서 중간 단계 19개가 만들어졌다. 이 방법으로 프로젝트를 위한 1024×1024픽셀 이미지 총 21,000개가 생성되었다.

그런 다음 각 인종 모핑 세트에 포함된 총 21개 이미지 각각에 대해 CLIP용 투영 이미지 임베딩을 얻었다. 이후 CLIP에 각 이미지의 레이블을 요청했다. 레이블은 ‘다인종’, ‘두 인종’, ‘혼합 인종’, ‘사람’이었으며, 마지막 레이블에는 인종 정보가 없었다.

사용한 CLIP 버전은 CLIP-ViT-Base-Patch32 구현이다. 저자들은 이 모델이 연구 내용을 작성하기 전 한 달 동안 100만 번 넘게 다운로드되었고, Transformers 라이브러리의 모든 CLIP 모델 다운로드 중 98%를 차지한다고 설명한다.

테스트

CLIP의 잠재적 하이포데센트 경향을 시험하기 위해 연구자들은 각 개인의 단계별 모핑 이미지에 CLIP이 부여한 인종 레이블을 기록했다.

결과에 따르면 CLIP은 변화가 약 50% 진행된 지점에서 사람을 ‘소수자’ 범주로 분류하는 경향이 있다.

시작 인종과 목표 인종이 동일한 비중을 차지하는 혼합 비율 50%에서 CLIP은 모핑된 여성 이미지 1000개 중 더 많은 수를 동등한 백인 레이블보다 아시아인(89.1%), 라틴계(75.8%), 흑인(69.7%) 레이블과 연결한다.

시작 인종과 목표 인종이 동일한 비중을 차지하는 혼합 비율 50%에서 CLIP은 모핑된 여성 이미지 1000개 중 더 많은 수를 동등한 백인 레이블보다 아시아인(89.1%), 라틴계(75.8%), 흑인(69.7%) 레이블과 연결한다.

결과는 여성 이미지가 남성 이미지보다 CLIP에서 하이포데센트의 영향을 더 많이 받음을 보여준다. 저자들은 인터넷에서 수집되고 선별되지 않은 여성 이미지의 설명이 남성 이미지보다 외모를 더 강조하며, 이것이 결과를 왜곡했을 수 있다고 추측한다.

인종 변화 50% 지점에서 아시아인-백인 남성 또는 라틴계-백인 남성 모핑 계열에서는 하이포데센트가 관찰되지 않았다. 반면 CLIP은 혼합 비율 55%에서 사례의 67.5%에 대해 흑인 레이블에 더 높은 코사인 유사도를 부여했다.

다인종, 두 인종, 혼합 인종 레이블의 평균 코사인 유사도. 결과는 CLIP이 여러 인종 혼합 비율에서 일종의 분류 경계를 적용하며, 이러한 혼합을 이미지에서 인식되는 민족 레이블보다 백인 레이블(실험 논리에서는 «사람»)에 덜 자주 부여함을 보여준다.

다인종, 두 인종, 혼합 인종 레이블의 평균 코사인 유사도. 결과는 CLIP이 여러 인종 혼합 비율에서 일종의 분류 경계를 적용하며, 이러한 혼합을 이미지에서 인식되는 민족 레이블보다 백인 레이블(실험 논리에서는 «사람»)에 덜 자주 부여함을 보여준다.

논문에 따르면 이상적인 목표는 CLIP이 중간 단계의 인종 혼합을 정확히 ‘혼합 인종’으로 분류하는 것이다. 인물이 그 지점에서 완전히 비백인 레이블에 귀속되는 ‘전환점’을 정하는 것이 아니다.

CLIP은 일부 중간 모핑 단계에는 혼합 인종 레이블을 부여한다(위 그래프 참조). 그러나 중간 범위에서는 결국 인물을 그 혈통에 기여한 소수자 인종으로 분류하려는 선호를 보인다.

정서가와 관련해 저자들은 CLIP의 편향된 판단을 지적한다:

‘평균 정서가 연관성, 즉 좋은 또는 유쾌한 개념과 대비되는 나쁜 또는 불쾌한 개념과의 연관성은 흑인-백인 남성 모핑 계열의 혼합 비율에 따라 달라진다. CLIP은 자신을 흑인으로 밝힌 CFD 자원자와 가장 유사한 얼굴에 불쾌한 개념을 연결한다.’

정서가 결과: 테스트에서 소수자 집단은 백인 레이블 인물보다 이미지·텍스트 쌍 아키텍처에서 부정적 개념과 더 많이 연결된다. 저자들은 모델이 이미지를 흑인 레이블과 연결할 확률이 높아질수록 이미지의 불쾌한 연관성도 커진다고 말한다.

정서가 결과: 테스트에서 소수자 집단은 백인 레이블 인물보다 이미지·텍스트 쌍 아키텍처에서 부정적 개념과 더 많이 연결된다. 저자들은 모델이 이미지를 흑인 레이블과 연결할 확률이 높아질수록 이미지의 불쾌한 연관성도 커진다고 말한다.


머신러닝 분야 작가이자 인간 이미지 합성 도메인 전문가. Metaphysic.ai에서 연구 콘텐츠 책임자를 역임했으며, DNEG의 Brahma.ai로 통합될 때까지 근무했습니다.
웹사이트: martinanderson.ai
연락처: martin@martinanderson.ai