CLIP 기반 이미지 합성 시스템의 ‘인종 분류’ 도전

미국의 새로운 연구에 따르면 DALL-E 시리즈와 많은 다른 이미지 생성 및 분류 모델背后的 인기 있는 컴퓨터 비전 모델 중 하나는 hypodescent(하위 계층)라는 경향을 보인다. 하위 계층은 한 사람을 완전히 ‘소수자’ 인종 분류로 분류하는 인종 분류 규칙이다(또한 ‘한 방울 규칙’으로 알려짐).

하위 계층은 인류 역사에서 가장 추악한 장면을 특징으로 하는 경향이 있기 때문에 새로운 논문의 저자들은 컴퓨터 비전 연구 및 구현에서 이러한 경향이 더 많은 주의를 받아야 한다고 제안한다. 특히 CLIP이라는 프레임워크는 매월 거의 100만 번 다운로드되며 다운스트림 프레임워크에서 인종 편향을 더욱 확산하고 전파할 수 있다.

새로운 연구에서 조사되는 아키텍처는 Contrastive Language Image Pretraining(CLIP)이다. CLIP은 이미지/캡션 쌍을 인터넷에서 학습하여 의미적 연관성을 학습하는 다중 모달 기계 학습 모델이다. 이는 레이블링의 상당한 비용을 줄이는 반면 캡션을 생성한 사람들의 편향을 반영할 가능성이 있다.

논문에서:

‘CLIP 임베딩 공간에서 하위 계층에 대한 증거를 제공한다. 결과는 또한 CLIP이 이미지에 인종 또는 민족 레이블을 White에서 벗어난 정도에 따라 연결한다는 것을 나타낸다.

논문은 또한 이미지의 발성 연관성(즐거운 것 또는 나쁜 것과 관련된 정도)이 카우카시안 레이블보다 소수자 인종 레이블에서 훨씬 더 높다는 것을 발견했다. CLIP의 편향은 영어 위키백과와 같은 미국 중심의 문학 코퍼스에서 학습된 것으로 보인다.

CLIP의 하위 계층 지원에 대한 영향에 대해 논평하면서 저자들은 다음과 같이 말한다:

‘CLIP의 첫 번째 사용 중 하나는 제로샷 이미지 생성 모델인 DALL-E를 학습하는 것이었다. CLIP 아키텍처의 더 큰 비공개 버전은 DALL-E 2의 학습에 사용되었다. 현재 연구의 결과와 일치하여 DALL-E 2 모델 카드에 설명된 위험 및 제한 사항은 “White-passing” 사람들을 과도하게 나타낸다고 언급한다.

‘이러한 사용 사례는 CLIP이 학습한 편향이 모델의 임베딩 공간을 넘어서 전파될 수 있는 잠재력을 보여준다. 이러한 기능은 다른 최첨단 AI 모델에서 의미를 형성하는 데 사용된다.

‘또한 CLIP과 유사한 모델이 이미지와 텍스트를 제로샷 설정에서 연결하는 데 있어 실현한 진보로 인해 다중 모달 아키텍처는 검색 엔진을 포함한 널리 사용되는 인터넷 애플리케이션의 미래를 위한 기초로 설명되었다.

‘우리의 결과는 자연어 감시에 대한 추가적인 주의가 필요하다는 것을 나타낸다.’

이 논문은 시각적 의미 인공지능에서 하위 계층에 대한 증거라는 제목으로 워싱턴 대학교와 하버드 대학교의 세 명의 연구자에 의해 수행되었다.

CLIP과 나쁜 영향

연구자들은 CLIP에 대한 하위 계층 분석이 최초의 분석이라고 주장하지만, 이전 연구에서는 CLIP 워크플로우가 주로 웹에서 파생된 데이터에서 학습되기 때문에 여성의 대표성이 부족하고, 공격적인 콘텐츠를 생성할 수 있으며, 이미지 인코더에서 의미적 편향(예: 이슬람교에 대한 반감)을 나타낼 수 있다고 밝혔다.

원래 CLIP를 제시한 논문에서는 CLIP가 제로샷 설정에서 FairFace 데이터 세트에서 White 인종 레이블을 가진 사람을 58.3%만 연결한다고 인정했다. 연구자들은 FairFace가 아마존 Mechanical Turk 작업자에 의해 편향된 레이블이 있을 수 있다고 주장하면서 “다른 사람들에 의해 White로 인식되는 상당수的人이 CLIP에 의해 다른 인종으로 연결된다”고 말했다.

그들은 계속해서 다음과 같이 말한다:

‘반대는 사실로 나타나지 않는다. 즉, FairFace 데이터 세트에서 다른 인종 또는 민족 레이블로 분류되는 개인은 CLIP에 의해 해당 레이블로 연결된다. 이 결과는 CLIP이 사회 과학자에 의해 설명된 “하위 계층” 규칙을 학습한 가능성을 시사한다. 즉, 다인종 계보를 가진 개인은 다인종 계보를 가진 개인보다 소수자 또는 불리한 부모 그룹으로 분류될 가능성이 더 높다.

‘즉, 흑인과 백인 부모의 자식은 백인보다 흑인으로 더 많이 인식된다. 아시아인과 백인 부모의 자식은 백인보다 아시아인으로 더 많이 인식된다.’

이 논문의 세 가지 주요发现은 다음과 같다: CLIP은 다인종 身份를 소수자 기여 인종 분류로 분류하는 경향이 있다; CLIP에서 White는 기본 인종이다; 경쟁 인종은 White에서 벗어난 정도에 따라 정의된다; 발성 편향(나쁨 또는 불쾌한 개념과 관련된 정도)은 개인이 소수자 인종으로 분류되는 정도와 상관관계가 있다.

방법 및 데이터

다인종 주제를 처리하는 CLIP의 방식을 결정하기 위해 연구자들은 이전에 채택된 모핑 기술을 사용하여 개인의 인종을 변경했다. 사진은 심리학적 연구에 사용되는 데이터 세트인 Chicago Face Database에서 가져왔다.

새로운 논문의 보충 자료에 포함된 인종적으로 변형된 CFD 이미지의 예시.

연구자들은 일관성을 유지하기 위해 데이터 세트에서 중립적인 표정의 이미지만을 선택했다. 그들은 StyleGAN2-ADA(FFHQ에서 학습됨)를 사용하여 얼굴 이미지의 인종을 변경했다. 그리고 두 인종 사이의 진행 과정을 보여주는 중간 이미지들을 생성했다(위의 예시 이미지 참조).

일관된 이전 연구와 같이 연구자들은 데이터 세트에서 자신을 흑인, 아시아인, 라티노라고 식별하는 사람들의 얼굴을 흰人으로 분류했다. 19개의 중간 단계가 생성되었다. 총 21,000개의 1024x1024px 이미지가 이 방법으로 생성되었다.

연구자들은 각 모핑 세트의 21개 이미지를 위한 CLIP의 투영 이미지 임베딩을 얻었다. 그런 다음 각 이미지에 대한 CLIP 레이블을 요청했다: ‘다인종’, ‘이인종’, ‘혼합 인종’, ‘사람'(최종 레이블은 인종을 생략함).

사용된 CLIP 버전은 CLIP-ViT-Base-Patch32 구현이었다. 저자들은 이 모델이 연구를 작성하기 전에 한 달 동안 100만 번 이상 다운로드되었으며, Transformers 라이브러리에서 모든 CLIP 모델의 다운로드 중 98%를 차지한다고 주장한다.

테스트

CLIP의 잠재적인 하위 계층 경향을 테스트하기 위해 연구자들은 각 개인에 대한 그라디언트의 모핑된 이미지에 대한 CLIP이 할당한 인종 레이블을 기록했다.

결과에 따르면 CLIP은 약 50% 전환 마크에서 ‘소수자’ 분류로 사람들을 분류하는 경향이 있다.

50% 混合 비율에서, 주제는 원래/대상 인종과 동일하다. CLIP은 1000개의 모핑된 여성 이미지를 아시아인(89.1%), 라티노(75.8%), 흑인(69.7%) 레이블과 연결한다.

결과는 여성 주제가 남성보다 하위 계층에 더 취약하다는 것을 보여준다. 그러나 저자들은 이것이 여성 이미지의 웹에서 파생된 레이블이 남성의 경우보다 외모를 더 강조할 수 있기 때문에 발생할 수 있다고 가정한다.

50% 인종 전환에서 하위 계층은 아시아-백인 남성 또는 라티노-백인 남성 모프 시리즈에서 관찰되지 않았다. CLIP은 55% 混合 비율에서 67.5%의 경우에 흑인 레이블에 더 높은 코사인 유사성을 할당했다.

다인종, 이인종, 혼합 인종 레이블의 평균 코사인 유사성. 결과는 CLIP이 다양한 인종 混合 비율에서某种 ‘수문’ 분류를 운영한다는 것을 나타낸다.

이deal 목표는 CLIP이 중간 인종 混合을 정확하게 ‘혼합 인종’으로 분류하는 것이다. 그 대신에 CLIP은 주제를 중간 범위에서 해당 소수자 기여 인종으로 분류하는 경향이 있다.

발성에 관해서 저자들은 다음과 같이 말한다:

‘[평균] 발성 연관성(나쁨 또는 불쾌한 것과 관련된 정도)은 흑인-백인 남성 모프 시리즈에서 混合 비율과 함께 변한다. 즉, CLIP은 흑인으로 자신을 식별하는 CFD 자원봉사자와 가장 유사한 얼굴에 대한 불쾌한 연관성을 인코딩한다.’

발성 결과 – 테스트는 소수자 그룹이 White 레이블의 주제보다 이미지/페어 아키텍처에서 나쁨 개념과 더 많이 관련되어 있음을 보여준다.

이 논문은 다음과 같이 말한다:

‘증거는 인종과 발성의 상관관계를 나타낸다. 더 구체적으로, 우리의 결과는 이미지의 발성이 인종 레이블과 관련된다는 것을 나타낸다. 즉, 모델이 이미지와 흑인 레이블을 연결할수록 이미지의 불쾌함 연관성이 더 크다.’

그러나 결과는 아시아인 얼굴의 경우 음의 상관관계를 나타낸다. 저자들은 이것이 미국 문화에서 아시아인에 대한 긍정적인 인식의 전달(웹 소스 데이터를 통해)으로 인해 발생할 수 있다고 제안한다. 저자들은 다음과 같이 말한다:

‘아시아인 텍스트 레이블의 가능성과 즐거움의 상관관계는 “모범 소수자” 스테레오タイプ와 일치할 수 있다. 즉, 아시아계 미국인은 미국 문화에서 상승과 동화로 인해 칭찬을 받으며, даже “좋은 행동”과 관련된다.’

최종 목표인 CLIP의 관점에서 White가 ‘기본 身份’인지 여부를 조사하기 위해 결과는 내장된 극성을 나타낸다. 즉, 이 아키텍처에서 ‘약간의 White’가 되는 것이 어렵다.

21,000개 이미지에 대한 코사인 유사성.

저자들은 다음과 같이 말한다:

‘증거는 CLIP이 White를 기본 인종으로 인코딩한다는 것을 나타낸다. 이는 White와 사람 사이의 코사인 유사성의 상관관계가 다른 인종 또는 민족 그룹보다 더 강하다.