합성 데이터: 인종 편향을 해결하기 위한 얼굴 이미지의 인종 변경

UCLA 연구진은 의료 기계 학습 시스템을 훈련하는데 사용되는 데이터셋에서 얼굴의 인종을 변경하는 방법을 개발했습니다. 이는 많은 공통 데이터셋에서遭遇하는 인종 편향을 해결하기 위한 시도입니다.

새로운 기술은 새로운 기술은 평균 0.005초당 1프레임의 속도로 사진과 생리학적으로 정확한 합성 비디오를 생성할 수 있으며, 원격 의료 진단 및 모니터링을 위한 새로운 진단 시스템 개발을 지원하기 위해 설계되었습니다. 이 시스템은 원격 光oplethysmography (rPPG)를 개선하기 위한 것으로, 컴퓨터 비전 기술을 사용하여 비침습적으로 피부 아래의 혈액 공급의 체적 변화를 평가합니다.

출처: https://arxiv.org/pdf/2106.06007.pdf. 클릭하여 확대하기.

이 연구는 2020년에 영국의 Durham University에서 발표된 이전 연구 코드를 사용합니다. 그러나 새로운 응용 프로그램은 데이터의 인종을 변경하는 것보다 원래 테스트 데이터의 맥동 신호를 보존하는 것을 목표로 합니다.

인종 변환을 위한 CNN

인코더-디코더 시스템의 첫 번째 부분은 Durham 인종 전환 모델을 사용하여 VGGFace2에서 사전 훈련된 프록시 대상 프레임을 생성합니다. 이것은 인종 특성의 평면 전이를 생성하지만, 피부 색조와 톤의 변화를 포함하지 않습니다.

Durham University의 2020년 연구에서 사용된 변환 파이프라인 출처: https://arxiv.org/pdf/2004.08945.pdf. 클릭하여 확대하기.

두 번째 네트워크인 PhysResNet (PRN)은 rPPG 구성 요소를 제공합니다. PhysResNet은 시각적 외관과 피부 아래의 혈액 볼륨 이동을 정의하는 색상 변화를 학습하도록 설계되었습니다.

아래 왼쪽: 2020년 Durham 연구에서 얻은 결과, PPG 정보가 없음. 중간 왼쪽: 인종 변환에 포함된 PPG 정보. 클릭하여 확대하기.

UCLA 프로젝트에서 제안하는 아키텍처는 rPPG 기술을 개선하며, 피부 색조 보정을 사용하지 않아도 31%의 성능 향상을 보여줍니다.

UCLA 네트워크는 혈액 볼륨 및 분포 정보를 성공적으로 보존합니다. 클릭하여 확대하기.

UCLA 연구진은 향후 연구에서 인종 편향을 해결하기 위한 더 많은 도전을 수행하기를 희망하며, 더 높은 해상도의 비디오를 생성하기를 희망합니다.

인종적으로 다양한 데이터셋의 부족

경제적 및 실용적인 상황은 의료 연구에서 인종적으로 다양한 데이터셋을 생성하는 데 장애물이 되었습니다. 데이터는 지역적으로 생성되며, 많은 요인이 데이터 주체의 빈도에 영향을 미칩니다.

다크 스킨을 가진 주체는 현재 rPPG 데이터셋에서 크게 과소 대표되고 있으며, 세 가지 주요 데이터베이스의 내용은 0%, 5%, 10%입니다.

원주민을 위한 피부 톤 세계 지도

카우카시안 데이터의 동질성

2019년 새로운 연구 발표된 연구에서 미국 병원에서 널리 사용되는 알고리즘이 카우카시안 주체를 위한 편향이 있음을 발견했습니다.

규모 및 아키텍처의 잠재적 제한

일부 제한은 인종적으로 제한된 데이터셋을 생성하는 데 실용적인 문제입니다. 데이터의 다양성이 넓을수록 더 잘 일반화되지만, 각 데이터 하위 집합에 대한 훈련 시간, 주의, 및 자원이 줄어듭니다.

이로 인해 모델은 널리 적용될 수 있지만, 데이터 크기, 배치 크기, 및 제한된 하드웨어 자원에 의한 잠재 공간의 제약으로 인해 특정 결과를 얻을 수 없습니다.

PPG 시뮬레이션을 위한 합성 아바타

UCLA 논문은 또한 2020년에 Microsoft Research에서 수행된 인종적으로 유연한 합성 아바타에 대한 이전 연구를 언급합니다. 이 연구에서는 3D 이미지 합성을 사용하여 PPG 정보가 풍부한 얼굴 비디오를 생성합니다.

Microsoft 연구에서 생성된 합성 아바타, PPG 데이터가 포함된 레이 트레이싱 이미지 출처: https://arxiv.org/pdf/2010.12949.pdf. 클릭하여 확대하기.