감시
‘저하된’ 합성 얼굴은 얼굴 이미지 인식을 개선하는데 도움이 될 수 있다

핵심 포인트실제 감시 영상처럼 스타일링된 합성 얼굴은 인식 정확도를 크게 떨어뜨리는 도메인 격차를 해소할 수 있다.
더 보기
- 실제 감시 영상처럼 스타일링된 합성 얼굴은 인식 정확도를 크게 떨어뜨리는 도메인 격차를 해소할 수 있다.
- 레거시 CCTV 시스템은 기술 부채를 안고 있어 현대적인 얼굴 인식 훈련에 열악한 데이터 소스가 된다.
- 적대적 조작은 대상 시스템의 스타일을 도입함으로써 인식을 공격하는 대신 오히려 인식에 기여할 수 있다.
미시간 주립대학교 연구진은 합성 얼굴이 딥페이크 세계에서 잠시 벗어나 유익하게 쓰일 방법을 고안했다. 이미지 인식 시스템의 정확도를 높이는 데 활용하는 것이다.
새로 개발한 제어 가능한 얼굴 합성 모듈(CFSM)은 실제 감시 영상의 스타일로 얼굴을 다시 생성한다. 유명인 사진을 모은 인기 오픈소스 데이터셋의 전반적으로 더 높은 품질에 의존하지 않는다는 뜻이다. 그런 데이터셋에는 실제 CCTV 시스템의 얼굴 흐림, 낮은 해상도, 센서 노이즈 같은 결함이 충분히 반영되지 않으며, 이러한 요인은 인식 정확도에 영향을 준다.
CFSM은 딥페이크 시스템처럼 머리 자세나 표정 등 일반적인 특징을 사실적으로 모사하려는 것이 아니다. 스타일 전이를 이용해 대상 인식 시스템의 스타일을 따르는 다양한 대체 영상을 생성하는 데 목적이 있다.
시스템은 대상 시스템의 스타일 도메인을 모방하고 해상도와 여러 특이한 결함에 맞춰 출력을 조정한다. 비용 때문에 업그레이드될 가능성이 낮은 구형 시스템이 활용 대상이다. 한때 첨단이었을 수 있는 출력도 지금은 품질이 낮아 차세대 얼굴 인식 기술에 거의 기여하지 못하기 때문이다.
연구진은 실험을 통해, 노이즈가 많고 품질이 낮은 데이터를 다뤄야 하는 이미지 인식 시스템에서 기존 최고 수준을 상당히 개선했음을 확인했다.

얼굴 인식 모델이 대상 시스템의 한계에 적응하도록 훈련하는 과정. 출처: http://cvlab.cse.msu.edu/pdfs/Liu_Kim_Jain_Liu_ECCV2022_supp.pdf
또한 유용한 부산물도 발견했다. 대상 데이터셋의 특성을 파악하고 서로 비교할 수 있어, 앞으로 다양한 CCTV 시스템을 위한 비교, 벤치마킹, 맞춤형 데이터셋 생성이 더 쉬워진 것이다.
이 방법은 기존 데이터셋에도 적용할 수 있으며, 사실상 도메인 적응을 수행해 얼굴 인식 시스템에 더 적합하게 만든다.
새 논문의 제목은 제약 없는 얼굴 인식을 위한 제어 가능하고 유도된 얼굴 합성이다. 미국 국가정보국장실(ODNI, IARPA)의 일부 지원을 받았으며, MSU 컴퓨터과학·공학과 연구자 네 명이 작성했다.
주요 내용
저품질 얼굴 인식(LQFR)은 최근 몇 년간 중요한 연구 분야가 되었다. 공공·지방 당국은 문제 해결에 주기적으로 자원을 다시 투입하지 않으려고 내구성과 긴 수명을 갖춘 감시 시스템을 구축했다. 그 결과 많은 구형 감시망은 기계학습 데이터 소스로 적응하는 측면에서 기술 부채를 떠안았다.

구형 및 최근 영상 감시 시스템에서 나타나는 다양한 얼굴 해상도. 출처: https://arxiv.org/pdf/1805.11519.pdf
다행히 확산 모델과 다른 노이즈 기반 모델은 이런 문제 해결에 특히 적합하다. 최근 인기 있고 효과적인 이미지 합성 시스템 다수는 처리 과정에서 저해상도 이미지를 업스케일링한다. 이는 이미지와 영화를 비트맵 데이터가 아닌 신경망 데이터로 저장하는 신경망 압축 기술에도 필수적이다.
얼굴 인식의 과제 중 하나는 가장 작고 정보가 부족한 저해상도 이미지에서 추출할 수 있는 최소한의 특징으로 최대한 정확한 결과를 얻는 것이다. 저해상도에서 얼굴을 식별하거나 생성하는 것이 유용하기 때문만은 아니다. 로컬 GPU의 가용 VRAM 안에서 훈련되는 모델의 형성 중인 잠재 공간을 통과할 수 있는 이미지 크기에도 기술적 한계가 있다.
이런 의미에서 «특징»이라는 말은 혼동을 줄 수 있다. 공원 벤치 데이터셋에서도 특징을 얻을 수 있기 때문이다. 컴퓨터 비전에서 특징은 이미지에서 추출되는 구별되는 특성을 뜻한다. 교회의 윤곽, 산, 얼굴 데이터셋에 나타난 얼굴 요소의 배치 등 어떤 이미지에도 해당한다.
컴퓨터 비전 알고리즘은 이제 이미지와 영상의 해상도를 높이는 데 능숙하다. 이에 저해상도이거나 손상된 구형 감시 자료를 «개선»하는 여러 방법이 제안되었다. 범죄 수사에서 특정인이 현장에 있었다는 사실을 입증하는 등, 이러한 개선 결과를 법적 목적으로 활용할 가능성도 있다.
오인식 가능성은 때때로 뉴스의 주요 소재가 된문제다. 그와 별개로, 낮은 수준의 특징을 사용하는 얼굴 인식 시스템은 원칙적으로 그런 높은 해상도와 선명도를 필요로 하지 않으므로, 개인을 확실히 식별하려고 저해상도 영상을 초해상도화하거나 변형할 필요는 없어야 한다. 이런 변환에는 실제로 비용도 많이 들고, 그 타당성과 적법성에 관해 되풀이되는 의문도 생긴다.
더 많은 저품질 유명인 사진이 필요하다
얼굴 인식 시스템이 고해상도에서의 신원과 기존 감시 체계의 저품질 영상 사이 관계를 더 잘 이해하여, 구형 시스템의 출력을 있는 그대로 활용해 특징을 추출할 수 있다면 더 유용할 것이다. 이는 인간의 생김새에서 기계학습 특징을 추출한다는 뜻이다. 기존 감시 체계는 바꾸기 어렵고 대체할 수 없는 경우도 많다.
문제는 표준에 있다. 웹에서 수집한 MS-Celeb-1M과 WebFace260M 등은 연구진이 현재 최고 수준에 비해 작거나 큰 진전을 측정할 일관된 기준을 제공하므로 연구계에 널리 채택되었다.

마이크로소프트의 인기 MS-Celeb1m 데이터셋 예시. 출처: https://www.microsoft.com/en-us/research/project/ms-celeb-1m-challenge-recognizing-one-million-celebrities-real-world/
하지만 저자들은 이 데이터셋으로 훈련한 얼굴 인식(FR) 알고리즘이 많은 구형 감시 시스템 출력의 시각적 «도메인»에는 적합하지 않다고 주장한다.
논문은 다음과 같이 설명한다.*
«최고 수준(SoTA)의 FR 모델도 실제 비통제 환경의 감시 이미지에서는 잘 작동하지 않는다. 웹에서 수집한 유명인 얼굴의 대규모 훈련 데이터셋은 부분적으로 통제된 환경에 해당하고, 실제 환경의 센서 노이즈, 낮은 해상도, 움직임 흐림, 난류 효과 등 다양한 변화를 담지 못하는 도메인 이동 문제가 있기 때문이다.
«예를 들어 최고 수준 모델 중 하나가 비통제 환경의 IJB-S 데이터셋에서 보고한 1:1 검증 정확도는 부분적으로 통제된 LFW보다 약 30% 낮다.
«한 가지 해결책은 비통제 환경의 대규모 얼굴 데이터셋을 구축하는 것이다. 그러나 수만 명이 포함된 훈련 데이터셋은 수작업 라벨링 비용이 높아 구축하기가 극히 어렵다.»
논문은 구형 또는 저가 감시 시스템의 다양한 출력에 맞추려 한 기존 방법들이 «블라인드» 데이터 증강을 사용했다고 설명한다. 반면 CFSM은 훈련 중 대상 시스템의 실제 출력에서 직접 피드백을 받고, 스타일 전이로 그 도메인을 모방하도록 적응한다.

컴퓨터 비전 공동체를 지배하는 소수의 데이터셋에 자주 등장하는 배우 나탈리 포트먼도 이 CFSM 예시의 신원 중 하나다. 실제 대상 모델의 도메인에서 받은 피드백으로 스타일에 맞는 도메인 적응을 수행한다.
저자들이 설계한 아키텍처는 빠른 그래디언트 부호 방법(FGSM)으로 대상 시스템의 실제 출력에서 얻은 스타일과 특성을 구별하여 «가져온다». 이미지 생성 부분은 훈련하면서 대상 시스템을 더 충실하게 따르도록 개선된다. 대상 시스템의 저차원 스타일 공간에서 오는 피드백은 낮은 수준의 특성에 관한 것이며 가장 일반적인 파생 시각 기술자에 해당한다.
저자들은 설명한다.
«FR 모델의 피드백 덕분에 합성 이미지는 FR 성능에 더 유익하며, 이 이미지로 훈련한 FR 모델의 일반화 능력이 크게 향상된다.»
실험
연구진은 MSU의 이전 연구를 실험 틀로 삼았다. 같은 실험 절차에 따라 웹에서 수집한 유명인 사진만으로 이루어진 MS-Celeb-1m을 라벨이 있는 훈련 데이터셋으로 사용했다. 공정한 비교를 위해 85,700개 클래스의 이미지 390만 장을 포함하는 MS1M-V2도 사용했다.
대상 데이터는 홍콩중문대학교의 WiderFace 데이터셋이었다. 까다로운 상황에서 얼굴을 검출하도록 설계된 매우 다양한 이미지 집합으로, 여기서 이미지 70,000장을 사용했다.
평가에는 네 얼굴 인식 벤치마크 IJB-B, IJB-C, IJB-S 및 TinyFace를 사용했다.
CFSM은 MS-Celeb-1m 훈련 데이터의 약 10%인 이미지 약 40만 장으로 훈련했다. 배치 크기는 32, 반복 횟수는 125,000회였고, Adam 최적화기와 매우 낮은 학습률 1e-4를 사용했다.
대상 얼굴 인식 모델은 ResNet-50의 변형을 백본으로 사용하고 훈련 중 ArcFace 손실 함수를 적용했다. 또한 구성요소 제거 및 비교 실험을 위해 CFSM으로 모델을 훈련했으며, 아래 결과 표에서는 «ArcFace»로 표시했다.
저자들은 주요 결과를 다음과 같이 설명한다.
«ArcFace 모델은 얼굴 식별과 검증 작업 모두에서 모든 기준 모델을 능가하며 새로운 최고 성능을 달성한다.»
구형 또는 사양이 낮은 감시 시스템의 여러 특성에서 도메인을 추출하는 능력은 시스템 간 분포 유사성을 비교·평가할 수 있게 한다. 각 시스템을 후속 연구에 활용할 수 있는 시각적 스타일로 표현할 수도 있다.
저자들은 지금껏 연구 및 컴퓨터 비전 공동체가 해결할 문제로만 여겼던 기술들도 이 시스템에서 유용하게 활용될 수 있다고 덧붙였다.
«CFSM은 적대적 조작이 공격을 넘어 시각 작업의 인식 정확도를 높이는 데 쓰일 수 있음을 보여준다. 또한 학습한 스타일 기저에 기반한 데이터셋 유사성 척도를 정의했다. 이 기저는 라벨이나 예측기에 의존하지 않고 스타일 차이를 포착한다.
«우리 연구는 비통제 환경의 FR을 위한 제어 가능하고 유도된 얼굴 합성 모델의 역량을 제시하고, 데이터셋 간 차이에 대한 이해를 제공했다고 믿는다.»
* 저자가 논문 본문 속 참고문헌 인용을 하이퍼링크로 바꾸었다.
2022년 8월 1일 처음 게시됨.















