‘창의적’ 얼굴 인증에 대한 생성적 적대적 네트워크

스탠퍼드 대학교의 새로운 논문은 생성적 적대적 네트워크(GAN)를 사용하여 실제 얼굴과 동일한 본질적인 ID 정보를 포함하는 대체 얼굴 이미지를 생성하여 데이트 앱과 같은 플랫폼의 얼굴 인증 시스템을 속이는 새로운 방법을 제안했습니다.

이 방법은 데이트 앱 Tinder와 Bumble의 얼굴 인증 프로세스를 성공적으로 우회했으며, 한 경우에는 성별을 바꾼(남성) 얼굴을 원본 身份(여성)로 인증하는 데에도 성공했습니다.

논문의 저자가 포함된 다양한 생성된 身份. 출처: https://arxiv.org/pdf/2203.15068.pdf

저자는 이 연구가 특정 身份 특성을 포함하는 생성된 이미지로 얼굴 인증을 우회하는 첫 번째 시도라고 말합니다.

이 기술은 사용자 업로드 이미지에서 얼굴 인증을 수행하는 두 개의 데이트 앱에 대해 검증되었으며, 사용자 지정 로컬 얼굴 인증 시스템에서 테스트되었습니다.

새로운 논문은 Face Verification Bypass라는 제목을 가지고 있으며, 스탠퍼드 대학교 전기 공학부의 연구자인 Sanjana Sarda가 작성했습니다.

얼굴 공간 제어

특정 특성을 포함하는 이미지로 얼굴 인증을 우회하는 것은 적대적 공격의 일반적인 방법입니다. 그러나 이 새로운 연구는 생성적 적대적 네트워크의 잠재 공간을 제어하여 일관된 대체 身份를 생성할 수 있을 것이라고 제안합니다.

일관성과 탐색 가능성은 생성적 적대적 네트워크의 잠재 공간에서 주요 도전 과제였습니다. 성공적으로 훈련된 생성적 적대적 네트워크는 특성을 한 클래스에서 다른 클래스로 쉽게 이동할 수 있는 지도를 제공하지 않습니다.

Gradient-weighted Class Activation Mapping(Grad-CAM)와 같은 기술을 사용하여 잠재적인 방향을 설정할 수 있습니다. 그러나 이러한 방법은 여전히 제한적입니다.

생성적 적대적 네트워크의 잠재 공간에서 남성과 여성 身份를 변환하는 과정.

이러한 기술을 사용하여 일관된 대체 身份를 생성할 수 있습니다.

방법

저자는 두 개의 데이터셋을 사용하여 실험을 수행했습니다. 첫 번째 데이터셋은 310개의 저자의 얼굴 이미지로 구성되어 있으며, 두 번째 데이터셋은 108,501개의 이미지로 구성되어 있습니다.

로컬 얼굴 인증 모델은 FaceNet과 DeepFace를 기반으로 구축되었습니다. 각 이미지에는 128차원 벡터가 할당되었습니다.

StyleGAN 모델을 사용하여 저자의 얼굴 이미지를 생성했습니다. 생성된 이미지는 실제 이미지와 다르지만, 여전히 저자의 身份를 포함하고 있었습니다.

StarGAN V2 모델을 사용하여 더 높은 품질의 이미지를 생성했습니다. 이 모델은 더 다양한 이미지와 더 높은 해상도를 생성할 수 있었습니다.

검증 실험

저자는 생성된 이미지를 사용하여 얼굴 인증 모델을 테스트했습니다. 생성된 이미지는 실제 이미지와 비교하여 검증되었습니다.

검증 실험의 결과.

저자는 생성된 이미지를 사용하여 실제 이미지와 비교하여 검증했습니다. 생성된 이미지는 실제 이미지와 다르지만, 여전히 저자의 身份를 포함하고 있었습니다.

저자는 생성된 이미지를 사용하여 얼굴 인증 모델을 테스트했습니다. 생성된 이미지는 실제 이미지와 비교하여 검증되었습니다.

StarGAN V2를 사용하여 생성된 이미지.

저자는 생성된 이미지를 사용하여 실제 이미지와 비교하여 검증했습니다. 생성된 이미지는 실제 이미지와 다르지만, 여전히 저자의 身份를 포함하고 있었습니다.

결론

이 연구는 생성적 적대적 네트워크를 사용하여 얼굴 인증 시스템을 우회하는 새로운 방법을 제안합니다. 이 방법은 일관된 대체 身份를 생성할 수 있으며, 실제 이미지와 비교하여 검증할 수 있습니다.
 

2022년 3월 30일 처음 게시되었습니다.