합성 데이터: 의료 데이터 세트의 편향을 해결하기 위해 얼굴 이미지의 인종 변경

UCLA 연구원들은 많은 일반적인 데이터 세트가 겪고 있는 인종 편견을 바로잡기 위해 의료 기계 학습 시스템을 훈련하는 데 사용되는 데이터 세트에서 얼굴의 겉보기 인종을 변경하는 방법을 개발했습니다.

The 새로운 기술 프레임당 평균 0.005초의 속도로 사실적이고 생리학적으로 정확한 합성 비디오를 생성할 수 있으며 COVID 제한 아래 크게 확장된 분야인 원격 의료 진단 및 모니터링을 위한 새로운 진단 시스템 개발을 지원하기를 희망합니다. 이 시스템은 원격 광혈류측정법의 적용 가능성을 개선하기 위한 것입니다(rPPG)는 비침습적 방식으로 혈액 공급의 체적 변화를 감지하기 위해 얼굴 비디오 콘텐츠를 평가하는 컴퓨터 비전 기술입니다.

출처: https://arxiv.org/pdf/2106.06007.pdf. 확대하려면 클릭하십시오.

컨볼루션 신경망(CNN)을 활용하는 작업은 이전 연구 코드를 통합하지만 출판 2020년 영국의 Durham 대학에 의해 새로운 애플리케이션은 2020년 연구처럼 데이터의 겉보기 경주를 시각적으로 변경하는 것이 아니라 원본 테스트 데이터의 박동 신호를 보존하기 위한 것입니다.

인종 변환을 위한 CNN

인코더-디코더 시스템의 첫 번째 부분은 미리 훈련된 Durham 경주 전송 모델을 사용합니다. VGG페이스2, Durham 연구의 이전 백인-아프리카 구성 요소로 프록시 대상 프레임을 생성합니다. 이는 인종적 특성의 평면적 전달을 생성하지만 환자의 혈류 상태에 대한 시각적 생리학적 지표를 나타내는 색상 및 색조의 변화를 포함하지 않습니다.

Durham University의 2020년 연구에서 나온 변형 파이프라인으로, 그 중 일부는 새로운 UCLA 연구에 통합되었습니다. 출처: https://arxiv.org/pdf/2004.08945.pdf. 확대하려면 클릭하십시오.

PRN(PhysResNet)이라는 두 번째 네트워크는 rPPG 구성 요소를 제공합니다. PhysResNet은 피하 혈액량 이동을 정의하는 시각적 모양과 색상 변화를 모두 학습하도록 훈련되었습니다.

왼쪽 하단, PPG 정보가 부족한 2020 Durham 연구에서 얻은 결과. 왼쪽 중간, 인종 변환에 통합된 PPG 정보. 클릭하면 확대됩니다.

UCLA 프로젝트가 제안하는 아키텍처는 피부색 증강이 없는 경우에도 경쟁 rPPG 기술을 능가하며, MAE 및 RMSE.

UCLA 네트워크는 혈액량 및 분포 정보를 성공적으로 보존합니다. 클릭하면 확대됩니다.

UCLA 연구원들은 향후 연구에서 이 의료 영상 분야의 인종적 편견을 시정하기 위해 더 광범위한 도전에 착수하기를 희망하며, 문제의 시스템이 80×80 픽셀 해상도로 제한되기 때문에 이후의 계획이 고해상도 비디오를 출력하기를 희망합니다. – 원격 의료의 한계에 합리적으로 적합하지만 이상적이지는 않습니다.

인종적으로 다양한 데이터 세트 부족

인종적으로 다양한 데이터 세트로 이어지는 경제적이고 실용적인 상황은 몇 년 동안 의학 연구의 장애물이었습니다. 데이터는 편협하게 생성되는 경향이 있으며, 많은 요인이 데이터 주체의 백인 중심 동질성에 기여합니다. 여기에는 연구가 진행되는 도시의 소수 인구 통계 구성 및 백인이 아닌 주체가 나타나는 정도에 영향을 미칠 수 있는 기타 사회 경제적 요인이 포함됩니다. 연구원이 원하는 서양 데이터 세트에서 더 많은 글로벌 적용 가능성을 가질 수 있습니다.

피부색이 짙은 피험자의 비율이 높은 국가에서는 데이터 수집에 필요한 장비와 리소스가 부족한 경우가 많습니다.

American Journal of Physical Anthropology의 원주민을 위한 피부색 세계 지도.

현재 피부색이 어두운 피험자는 rPPG 데이터 세트에서 특히 과소 표현되어 이 목적을 위해 일반적으로 사용되는 세 가지 기본 데이터베이스 콘텐츠의 0%, 5% 및 10%를 나타냅니다.

동종 백인 데이터

2019년 새로운 연구 출판 in 과학 미국 병원 치료에 널리 보급된 알고리즘이 백인 피험자에게 크게 편향되어 있음을 발견했습니다. 이 연구는 흑인이 분류 및 더 깊은 수준의 병원 입원에서 전문 치료에 회부될 가능성이 적다는 것을 발견했습니다.

말레이시아와 호주의 연구자들이 그 해에 추가 연구 확립 된 아시아를 포함한 세계 여러 지역의 데이터 세트 생성에 대한 '자체 인종 편향'의 일반적인 문제.

규모 및 아키텍처의 잠재적 한계

제한된 민족성 데이터 세트로 이어진 일부 제한 사항은 본질적으로 윤리적이기보다는 실용적입니다. 기여하는 데이터의 폭이 넓을수록 해당 데이터에 포함된 주제 전반에 걸쳐 더 잘 일반화되지만 훈련 루틴이 인종을 포함한 데이터의 단일 특성 내에서 패턴을 직관할 가능성이 적습니다. 데이터의 식별 가능한 각 하위 집합에 대해 주의와 리소스를 사용할 수 있습니다.

이는 데이터 크기의 제약, 배치 크기의 경제성 및 제한된 하드웨어 리소스의 기능으로 잠재 공간의 실질적인 제한으로 인해 광범위하게 적용할 수 있지만 덜 구체적인 결과를 얻는 모델로 이어질 수 있습니다.

다른 극단에서는 입력 데이터를 인종을 포함하여 보다 제한된 특성 세트로 제한하여 효과적이고 세분화된 결과를 얻을 수 있지만 결과는 제한된 데이터에 '과적합'될 가능성이 있으며 광범위하게 적용할 수 없습니다. 원래 데이터 세트 주제를 얻은 동일한 지리적 영역에 있는 보이지 않는 주제에 걸쳐 있습니다.

PPG 시뮬레이션을 위한 합성 아바타

UCLA 논문은 또한 2020년 Microsoft Research에서 인종적으로 유연한 합성 아바타를 사용하여 3D 이미지 합성을 활용하여 PPG 정보가 풍부한 얼굴 비디오를 만드는 이전 작업에 주목합니다.

PPG 데이터가 포함된 광선 추적 이미지로 Microsoft 연구에서 만든 합성 아바타. 출처: https://arxiv.org/pdf/2010.12949.pdf. 확대하려면 클릭하십시오.