40% 이상의 얼굴 인식 인증 시스템을 우회할 수 있는 ‘마스터 페이스’ 개발

이스라엘의 연구자들은 여러 아이디를 가장할 수 있는 ‘마스터’ 얼굴 이미지를 생성할 수 있는 신경망을 개발했습니다. 이 연구는 StyleGAN 생성적 적대 신경망(GAN)을 통해 9개의 합성된 얼굴만으로도 40% 이상의 인구를 가장할 수 있는 ‘마스터 키’를 생성할 수 있음을 시사합니다.

이 연구는 텔아비브의 블라바트닉 컴퓨터 과학 학교와 전기 공학 학교 간의 협력입니다.

시스템을 테스트한 연구자들은 단일 생성된 얼굴이 매사추세츠 대학교의 레이블이 지정된 야생 얼굴(LFW) 오픈 소스 데이터베이스의 모든 아이디 중 20%를解锁할 수 있음을 발견했습니다. 이는 얼굴 인식 시스템의 개발과 테스트를 위한 일반적인 저장소이며, 이스라엘 시스템의 벤치마크 데이터베이스입니다.

이스라엘 시스템 워크플로우, StyleGAN 생성기를 사용하여 ‘마스터 페이스’를 찾는 과정. 소스: https://arxiv.org/pdf/2108.01077.pdf

이 새로운 방법은 기계 학습 프레임워크에 대한 특권 수준의 액세스가 필요한 시에나 대학교의 이전 연구보다 개선되었습니다. 대조적으로, 새로운 방법은 공개적으로 사용 가능한 자료에서 일반화된 특징을 추론하고 이를 사용하여 많은 아이디를 가장할 수 있는 얼굴 특징을 생성합니다.

진화하는 마스터 페이스

StyleGAN은 이 접근법에서 블랙 박스 최적화 방법으로 처음 사용되며, 이는 높은 차원 데이터에 중점을 둡니다. 이는 인증 시스템을 만족시키는 가장广泛하고 일반화된 얼굴 특징을 찾는 것이 중요하기 때문입니다.

이 프로세스는 초기 패스에서 인코딩되지 않은 아이디를 포함하도록 반복적으로 반복됩니다. 다양한 테스트 조건에서 연구자들은 9개의 생성된 이미지로 40-60%의 인증을 얻을 수 있음을 발견했습니다.

다양한 커버리지 검색 방법, 포함하여 LM-MA-ES,에서 얻은 ‘마스터 페이스’의 연속 그룹. 각 이미지 아래에 평균 집합 커버리지(MSC, 정확도 지표)가 표시됩니다.

시스템은 현재 ‘후보자’가 이전 패스에서 생성된 후보자 중 p-백분위수보다 더 일반화될 가능성이 높은지 추정하는 신경망 예측器와 결합된 진화 알고리즘을 사용합니다.

이스라엘 시스템의 아키텍처에서 생성된 후보자의 필터링.

LM-MA-ES

이 프로젝트는 2017년 기계 학습을 위한 자동 알고리즘 설계 연구 그룹이 주도한 이니셔티브를 위해 개발된 제한된 메모리 행렬 적응(LM-MA-ES) 알고리즘을 사용합니다. 이는 높은 차원 블랙 박스 최적화에 적합한 접근법입니다.

LM-MA-ES는 후보자를 임의로 출력합니다. 이는 프로젝트의 의도에 적합하지만, 아이디를 가장 잘하는 얼굴을 찾는 데 필요한 추가 구성 요소입니다. 따라서 연구자들은 작업에 가장 적합한 얼굴을 분류하는 ‘성공 예측자’ 신경 분류기를 생성했습니다.

이스라엘 얼굴 인식 스푸핑 프로젝트에서 사용된 성공 예측자의 이론.

평가

시스템은 세 가지 CNN 기반 얼굴 설명자, 즉 SphereFace, FaceNet 및 Dlib에 대해 테스트되었습니다. 각 시스템 아키텍처에는 유사성 지표와 손실 함수가 포함되어 있으며, 이는 시스템의 정확도 점수를 검증하는 데 유용합니다.

성공 예측자는 세 개의 완전 연결된 레이어로 구성된 피드 포워드 신경망입니다. 첫 번째 레이어는 일관성을 보장하기 위해 배치 정규화(BatchNorm regularization)를 사용합니다. 네트워크는 ADAM을 최적화기로 사용하며, 32개의 입력 이미지로 구성된 배치에 대해 0.001의 학습률을 사용합니다.

세 가지 아키텍처의 출력.

세 가지 알고리즘 모두 동일한 5개의 시드 세트를 사용하여 26,400개의 피트니스 함수 호출을 통해 훈련되었습니다.

연구자들은 더 긴 훈련 프로세스가 시스템에ประโยชน이 되지 않는다는 것을 이미 발견했습니다. 효과적으로, 이스라엘 접근법은 모델 훈련의 초기 단계에서 주요 데이터를 추출하려고 하는데, 이는 높은 특징만이 아직 발견된 단계입니다. 이는 프레임워크 경제성 측면에서 어느 정도의 선물입니다.

페이스북의 파이썬 기반 NeverGrad 그라디언트 무료 최적화 환경에서 기준 결과를 설정한 후, 시스템은 다양한 알고리즘, 포함하여 디퍼런셜 에볼루션(Differential Evolution) 유리적 접근법에 대해 프로파일링되었습니다.

연구자들은 디블리브(Dlib) 기반의 ‘탐욕적’ 접근법이 경쟁자들을 능가하며, 42-64%의 테스트 데이터 세트를解锁할 수 있는 9개의 마스터 페이스를 생성하는 데 성공했음을 발견했습니다. 시스템의 성공 예측기를 적용하면 이러한 매우 유리한 결과가さらに 개선됩니다.

논문은 ‘아이디에 대한 정보가 없더라도 얼굴 기반 인증은 매우 취약하다’고 주장하며, 연구자들은 자신의 이니셔티브를 얼굴 인식 시스템의 보안 침입 방법론에 대한 유효한 접근법으로 간주합니다.