Anderson의 관점

생성적 적대 신경망을 활용한 ‘창의적’ 얼굴 인증

Martin Anderson
Unite.AI를 Google의 선호 소스에 추가
핵심 포인트스탠퍼드의 GAN 방식은 성별이 전환된 이미지를 사용해 Tinder와 Bumble의 얼굴 인증을 우회했습니다.
더 보기
  • 스탠퍼드의 GAN 방식은 성별이 전환된 이미지를 사용해 Tinder와 Bumble의 얼굴 인증을 우회했습니다.
  • StarGAN V2는 StyleGAN보다 더 높은 품질의 다양한 얼굴을 생성하여 현지 인증을 더 잘 통과했습니다.
  • 이 기술은 변형된 얼굴에 신원 특징을 주입하여 인증 시스템에서 일관된 대체 신원을 가능하게 합니다.

스탠퍼드 대학교의 새 논문은 데이트 앱 같은 플랫폼의 얼굴 인증 시스템을 속이기 위한 초기 단계의 방법을 제안했습니다. 생성적 적대 신경망(GAN)을 사용해 실제 얼굴과 동일한 핵심 신원 정보를 담은 대체 얼굴 이미지를 만드는 방식입니다.

이 방법은 Tinder와 Bumble의 얼굴 인증 절차를 성공적으로 우회했으며, 한 사례에서는 성별을 남성으로 바꾼 얼굴도 원래 여성의 신원에 해당하는 진짜 얼굴로 받아들여졌습니다.

논문 저자의 고유한 인코딩을 담고 있는 여러 생성 신원. 저자는 위의 첫 번째 이미지에 나타나 있습니다. 출처: https://arxiv.org/pdf/2203.15068.pdf

논문 저자의 고유한 인코딩을 담고 있는 여러 생성 신원. 저자는 위의 첫 번째 이미지에 나타나 있습니다. 출처: https://arxiv.org/pdf/2203.15068.pdf

저자에 따르면, 이 연구는 특정 신원 특성을 담으면서도 다른 신원이나 상당히 달라진 신원을 표현하려는 생성 이미지로 얼굴 인증을 우회한 첫 시도입니다.

이 기술은 맞춤형 로컬 얼굴 인증 시스템에서 시험되었고, 이어 사용자가 올린 이미지에 얼굴 인증을 수행하는 두 데이트 앱을 대상으로 한 블랙박스 테스트에서도 좋은 결과를 보였습니다.

새 논문의 제목은 Face Verification Bypass이며, 스탠퍼드 대학교 전기공학과 연구원 Sanjana Sarda의 연구입니다.

얼굴 공간 제어

얼굴이나 도로 표지판 등에서 얻은 신원 고유의 특징을 가공 이미지에 ‘주입’하는 것은 적대적 공격의 기본적인 수법입니다. 그러나 새 연구는 다른 가능성을 제시합니다. 연구 분야에서 GAN의 잠재 공간을 점점 더 능숙하게 제어할 수 있게 되면, 사용자의 신원과 다른 일관된 대체 신원을 만드는 아키텍처의 개발이 가능해질 수 있다는 것입니다. 나아가 이를 모르는 사용자의 웹 공개 이미지에서 신원 특징을 추출해 인위적인 ‘그림자’ 신원에 끌어다 쓸 수도 있습니다.

생성적 적대 신경망이 등장한 이후, GAN 잠재 공간의 주요 과제는 일관성과 탐색 가능성이었습니다. 훈련 이미지 모음을 잠재 공간에 성공적으로 흡수한 GAN도 한 클래스의 특징을 다른 클래스로 ‘밀어 넣는’ 간단한 지도를 제공하지는 않습니다.

기울기 가중 클래스 활성화 매핑(Grad-CAM) 같은 기법과 도구는 정해진 클래스 사이의 잠재 방향을 찾고 변환을 가능하게 할 수 있습니다(아래 이미지 참조). 하지만 특징의 얽힘이라는 추가 과제 때문에 보통은 근사적인 경로에 머물며, 전환을 정밀하게 제어하는 데 한계가 있습니다.

GAN 잠재 공간의 인코딩된 벡터 사이를 대략적으로 이동하면서, 데이터에서 얻은 남성 신원을 복잡하고 불가해한 잠재 공간의 여러 선형 초평면 중 하나의 반대편에 있는 여성 인코딩으로 밀어 넣는 모습. 이미지 출처 자료: https://www.youtube.com/watch?v=dCKbRCUyop8

GAN 잠재 공간의 인코딩된 벡터 사이를 대략적으로 이동하면서, 데이터에서 얻은 남성 신원을 복잡하고 불가해한 잠재 공간의 여러 선형 초평면 중 하나의 반대편에 있는 여성 인코딩으로 밀어 넣는 모습. 이미지 출처 자료: https://www.youtube.com/watch?v=dCKbRCUyop8

신원 고유의 특징을 ‘동결’해 보호하면서 잠재 공간의 다른 위치에 있는 변형 가능한 인코딩으로 옮기는 능력은, 기계 시스템이 다른 사람으로 해석하는 일관된 인물, 나아가 애니메이션으로도 만들 수 있는 인물을 생성할 가능성을 열어 줍니다.

방법

저자는 실험에 두 데이터셋을 사용했습니다. 첫째는 서로 다른 조명, 나이, 촬영 각도로 4년에 걸쳐 찍은 자신의 얼굴 이미지 310장으로 구성된 인간 사용자 데이터셋이며, Caffe를 통해 얼굴을 추출하고 잘랐습니다. 둘째는 인종적으로 균형 잡힌 FairFace 데이터셋의 이미지 108,501장으로, 마찬가지로 얼굴을 추출하고 잘랐습니다.

로컬 얼굴 인증 모델은 FaceNet과 DeepFace의 기본 구현에서 파생되었고, ConvNet Inception으로 사전 훈련되었습니다. 각 이미지는 128차원 벡터로 표현되었습니다.

이 접근법은 FairFace의 훈련된 하위 집합에 속하는 얼굴 이미지를 사용합니다. 얼굴 인증을 통과하려면 이미지의 프로베니우스 노름으로 계산한 거리를 데이터베이스의 대상 사용자와 비교합니다. 임계값 0.7보다 작은 이미지는 같은 신원으로 간주하며, 그렇지 않으면 인증 실패로 간주합니다.

StyleGAN 모델은 저자의 개인 데이터셋으로 미세 조정되어 알아볼 수 있는 신원 변형을 생성했지만, 생성 이미지 중 어느 것도 훈련 데이터와 같지는 않았습니다. 데이터의 과적합을 피하고 다양한 출력을 만들기 위해 판별기의 처음 네 층을 동결했습니다.

기본 StyleGAN 모델로 다양한 이미지를 얻었지만 해상도와 충실도가 낮았으므로, 초기 이미지를 목표 얼굴 쪽으로 훈련할 수 있는 StarGAN V2로 두 번째 시도를 했습니다.

StarGAN V2 모델은 FairFace 검증 세트를 사용해 약 10시간 사전 훈련되었으며, 배치 크기는 4, 검증 크기는 8이었습니다. 가장 성공적인 접근법에서는 저자의 개인 데이터셋을 소스로, 훈련 데이터를 참조로 사용했습니다.

검증 실험

이미지 1000장의 하위 집합을 바탕으로 얼굴 인증 모델을 구축해, 그중 임의의 이미지를 검증하도록 했습니다. 검증을 통과한 이미지는 이후 저자 본인의 신원과 대조하여 시험했습니다.

왼쪽은 논문 저자의 실제 사진, 가운데는 인증에 실패한 임의의 이미지, 오른쪽은 저자로 인증을 통과한 데이터셋의 관련 없는 이미지입니다.

왼쪽은 논문 저자의 실제 사진, 가운데는 인증에 실패한 임의의 이미지, 오른쪽은 저자로 인증을 통과한 데이터셋의 관련 없는 이미지입니다.

실험의 목표는 대상 신원을 규정하는 특징을 유지하면서, 지각되는 시각적 신원의 차이를 최대한 크게 만드는 것이었습니다. 이는 영상 처리에서 패턴과 템플릿 검색에 사용하는 척도인 마할라노비스 거리로 평가했습니다.

기본 생성 모델의 저해상도 결과는 로컬 얼굴 인증을 통과했지만 다양성이 제한적이었습니다. StarGAN V2는 인증을 통과하는 다양한 이미지를 만드는 데 더 뛰어났습니다.

표시된 모든 이미지가 로컬 얼굴 인증을 통과했습니다. 위는 저해상도 StyleGAN 기본 생성 결과이며, 아래는 더 높은 해상도와 품질의 StarGAN V2 생성 결과입니다.

표시된 모든 이미지가 로컬 얼굴 인증을 통과했습니다. 위는 저해상도 StyleGAN 기본 생성 결과이며, 아래는 더 높은 해상도와 품질의 StarGAN V2 생성 결과입니다.

위의 마지막 세 이미지는 저자 자신의 얼굴 데이터셋을 소스와 참조 모두로 사용했습니다. 반면 앞선 이미지들은 훈련 데이터를 참조로, 저자의 데이터셋을 소스로 사용했습니다.

생성된 이미지는 저자의 신원을 기준으로 데이트 앱 Bumble과 Tinder의 얼굴 인증 시스템에서 시험되었고 인증을 통과했습니다. 저자 얼굴의 ‘남성’ 버전도 Bumble의 인증을 통과했지만, 수락되기 전에 생성 이미지의 조명을 조정해야 했습니다. Tinder는 남성 버전을 받아들이지 않았습니다.

저자의 여성 신원을 남성으로 바꾼 버전들.

저자의 여성 신원을 남성으로 바꾼 버전들.

결론

이것은 GAN 잠재 공간 조작의 맥락에서 신원 투영에 관한 선구적 실험입니다. 이 영역은 이미지 합성과 딥페이크 연구에서 여전히 매우 어려운 과제입니다. 그럼에도 이 연구는 매우 구체적인 특징을 다양한 신원에 일관되게 삽입하고, 다른 사람으로 해석되는 ‘대체’ 신원을 만드는 개념을 제시합니다.

 

2022년 3월 30일 처음 게시되었습니다.

머신러닝 분야 작가이자 인간 이미지 합성 도메인 전문가. Metaphysic.ai에서 연구 콘텐츠 책임자를 역임했으며, DNEG의 Brahma.ai로 통합될 때까지 근무했습니다.
웹사이트: martinanderson.ai
연락처: martin@martinanderson.ai