CLIP 기반 이미지 합성 시스템의 ‘인종 분류’ 도전

미국에서 수행된 새로운 연구에 따르면 DALL-E 시리즈와 많은 다른 이미지 생성 및 분류 모델에서 인기 있는 컴퓨터 비전 모델 중 하나인 CLIP은 명백한 인종 분류 규칙인 하이포데센트(hypodescent) 경향을 보인다고 합니다. 하이포데센트는 한 사람에게 비카우카시안 계통의 유전적 혈통이 조금이라도 있으면 완전히 소수자 인종 분류로 분류하는 규칙입니다.

하이포데센트는 인류 역사에서 가장 추악한 장면 중 일부를 특징으로 하는데, 새로운 논문의 저자들은 이러한 경향이 컴퓨터 비전 연구와 구현에서 더 많은 주의를 받아야 한다고 제안합니다. 특히 CLIP을 지원하는 프레임워크는 매월 거의 100만 번 다운로드되며 하위 프레임워크에서 인종 편향을 더욱 확산하고 전파할 수 있습니다.

새로운 연구에서 조사된 아키텍처는 Contrastive Language Image Pretraining(CLIP)입니다. CLIP은 이미지/캡션 쌍을 인터넷에서 훈련함으로써 의미적 연관성을 학습하는 다중 모달 기계 학습 모델입니다. 이는 레이블링의 상당한 비용을 줄이는 반면, 캡션을 생성한 사람들의 편향을 반영할 가능성이 있습니다.

논문에서:

‘우리의 결과는 CLIP 임베딩 공간에서 하이포데센트에 대한 증거를 제공하며, 이는 이미지에 대한 여성의 레이블을 더 강하게 적용합니다. 결과는 또한 CLIP이 이미지를 백인과 비교하여 인종 또는 민족 레이블과 관련시킨다는 것을 나타냅니다.’

이 논문은 또한 백인 레이블이 아닌 소수자 인종 레이블을 가진 이미지의 부정적 연관성이 더 높다는 것을 발견했습니다. 이는 CLIP의 편향이 영어 위키백과와 같은 훈련에 사용된 미국 중심의 문헌에 반영된 것일 수 있습니다.

CLIP의 하이포데센트 지원에 대한 함의에 대해 논평하면서, 저자들은 다음과 같이 말합니다.

‘CLIP을 사용하여 훈련된 첫 번째 모델 중 하나는 제로샷 이미지 생성 모델인 DALL-E였습니다. CLIP 아키텍처의 더 큰 비공개 버전은 DALL-E 2의 훈련에 사용되었습니다. 현재 연구의 결과와 일치하여, DALL-E 2 모델 카드의 위험 및 제한 사항은 “백인과 비슷한 사람들을 과도하게 표현하는” 이미지를 생성한다고 언급합니다.’

‘이러한 사용 사례는 CLIP이 학습한 편향이 모델의 임베딩 공간을 넘어서 다른 최첨단 AI 모델의 의미 형성을 안내하는 기능을 사용할 때 전파될 수 있음을 보여줍니다.’

‘또한 CLIP과 유사한 모델이 영사 설정에서 이미지와 텍스트를 연관시키는 데 있어 실현된 진보 덕분에 다중 모달 아키텍처는 검색 엔진을 포함한 널리 사용되는 인터넷 애플리케이션의 미래의 기초로 설명되었습니다.’

‘우리의 결과는 이러한 모델이 자연어 감독에서 무엇을 학습하는지에 대한 추가적인 주의가 필요하다는 것을 나타냅니다.’

이 논문은 시각적 의미 AI에서 하이포데센트에 대한 증거라는 제목으로, 워싱턴 대학교와 하버드 대학교의 세 명의 연구자에 의해 수행되었습니다.

CLIP과 나쁜 영향

연구자들은 CLIP에 대한 하이포데센트 분석이 최초의 분석임을 증명합니다. 이전 연구에서는 CLIP 워크플로우가 주로 미래의 데이터에서 훈련되므로 여성의 부족 표현, 공격적인 콘텐츠 생성 및 의미적 편향을 나타낼 수 있음을 보여주었습니다.

원래 CLIP을 제시한 논문은 제로샷 설정에서 CLIP이 FairFace 데이터 세트에서 백인 레이블을 가진 사람을 58.3%만 연관시킴을 인정했습니다. FairFace는 아마존 메카니컬 터크 작업자에 의해 레이블이 지정되었으며, 편향이 있을 수 있습니다. 새로운 논문의 저자들은 ‘사람들이 다른 사람들에 의해 백인으로 인식되는 경우 CLIP이 백인이 아닌 다른 인종과 연관시킬 수 있다’고 주장합니다.

그들은 다음과 같이 계속합니다.

‘반대로, FairFace 데이터 세트에서 다른 인종 또는 민족 레이블로 분류된 개인은 CLIP에 의해 해당 레이블과 연관됩니다. 이 결과는 CLIP이 사회 과학자들이 설명한 “하이포데센트” 규칙을 학습한 가능성을 시사합니다. 즉, 다인종 계통의 개인은 다인종 계통의 부모 중 하나보다 소수자 또는 불리한 부모 그룹에 속하는 것으로 더 많이 인식되고 분류됩니다.’

‘다시 말해, 흑인과 백인의 자식은 백인보다 흑인으로 더 많이 인식되고, 아시아인과 백인의 자식은 백인보다 아시아인으로 더 많이 인식됩니다.’

이 논문에는 세 가지 주요 결과가 있습니다. CLIP은 다인종 身分을 가진 사람들을 소수자 인종 분류로 분류하는 경향이 있으며, 백인이 기본 인종이며, 다른 인종은 백인에서 벗어난 정도에 따라 정의됩니다. 또한 소수자 인종에 대한 부정적 연관성이 더 높습니다.

방법과 데이터

연구자들은 다인종 주제를 처리하는 CLIP의 방식을 결정하기 위해 이전에 채택된 مور핑 기법을 사용하여 개인의 인종을 변경했습니다. 사진은 시카고 페이스 데이터베이스에서 가져왔으며, 이는 심리학적 연구를 위해 개발된 데이터 세트입니다.

연구자들은 일관성을 유지하기 위해 중립적인 표정의 이미지만을 데이터 세트에서 선택했습니다. 이전 연구와 일관성을 유지하기 위해 StyleGAN2-ADA를 사용하여 얼굴 이미지를 변경했습니다. 이 모델은 FFHQ 데이터 세트에서 훈련되었습니다.

연구자들은 흑인, 아시아인, 라틴계로 분류된 사람들의 얼굴을 백인으로 바꾸는 과정을 통해 21,000개의 1024x1024px 이미지를 생성했습니다. 그들은 CLIP에서 각 이미지에 대한 임베딩을 얻은 다음, 각 이미지에 대한 레이블을 CLIP으로부터 얻었습니다.

사용된 CLIP 버전은 CLIP-ViT-Base-Patch32 구현입니다. 저자들은 이 모델이 이전 달에 100만 번 이상 다운로드되었으며, Transformers 라이브러리에서 다운로드된 모든 CLIP 모델의 98%를 차지한다고 주장합니다.

테스트

연구자들은 다인종 주제를 처리하는 CLIP의 경향을 테스트하기 위해 모핑된 이미지의 그라디언트에서 각 이미지에 대한 CLIP이 할당한 레이블을 기록했습니다.

결과에 따르면 CLIP은 약 50%의 전환 마크에서 소수자 분류로 사람들을 그룹화하는 경향이 있습니다.

연구자들은 다음과 같이 말합니다.

‘결과는 CLIP이 백인을 기본 인종으로 인코딩한다는 것을 나타냅니다. 이는 백인과 다른 인종 또는 민족 그룹의 코사인 유사성 간에 더 강한 상관관계에 의해 지원됩니다.’

연구자들은 또한 소수자 그룹이 백인 레이블을 가진 주제보다 부정적인 개념과 더 많이 연관되어 있음을 발견했습니다.

‘증거는 이미지가 백인과 연관될 때보다 백인이 아닌 개인과 연관될 때 더 부정적인 연관성을 가짐을 나타냅니다.’

연구자들은 다음과 같이 결론을 내립니다.

‘이미지의 부정적 연관성이 CLIP이 이미지를 백인과 연관시키는 정도와 상관관계가 있음을 나타냅니다. 더 구체적으로, 우리의 결과는 이미지가 백인과 연관될수록 부정적인 연관성이 더 강하다는 것을 나타냅니다.’

이 연구는 CLIP과 같은 다중 모달 아키텍처에서 하이포데센트와 같은 편향을 이해하는 것이 중요함을 강조합니다. 이러한 편향은 모델이 학습하는 데이터에서 비롯될 수 있으며, 모델을 사용하여 생성된 이미지나 텍스트에 반영될 수 있습니다.

연구자들은 이러한 편향을 이해하고 완화하기 위한 추가 연구가 필요하다고 주장합니다. 이는 다인종 身分을 가진 개인들을 포함한 다양한 그룹에서 모델의 성능을 테스트하고, 모델이 학습하는 데이터를 다양화하는 것을 포함합니다.

최종적으로, 이 연구는 AI 모델이 편향을 학습하고 전파할 수 있으며, 이러한 편향을 이해하고 완화하기 위한 노력이 필요함을 강조합니다. 이는 AI를 포함한 기술이 사회적으로 책임감 있게 사용되기 위한 중요한 단계입니다.

* 저자의 인라인 인용을 하이퍼링크로 변환했습니다.

2022년 5월 24일 처음 게시되었습니다.