우리의 무의식적인 딥페이크 감지 능력은 미래의 자동화 시스템을 구동할 수 있다

호주에서 수행된 새로운 연구에 따르면 우리의 뇌는 복잡한 딥페이크를 인식하는 데 능숙하다고 합니다. 즉, 우리가 의식적으로 보는 이미지들이 실제로 있다고 믿는 경우에도 말입니다.

이 발견은 또한 사람들의 신경 반응을 사용하여 딥페이크 감지 시스템을 훈련할 가능성을 시사합니다. 즉, 이미지의 딥페이크 특성은 혼란스러운 추정에서가 아니라 우리의 직관적인 인식 메커니즘에서 훈련될 수 있습니다.

‘뇌는 실제와 실제와 유사한 얼굴 사이의 차이를 ‘인식’할 수 있지만, 관찰자는 의식적으로 그것들을 구별할 수 없습니다. 우리의 연구 결과는 가짜 얼굴 인식, 가짜 이미지 식별에 대한 질문, 그리고 가짜 이미지의 오남용을 방지하기 위한 보호 기준을 설정하는 방식에 대한 시사점을 제공합니다.’

이 결과는 가짜 이미지에 대한 사람들의 반응을 평가하기 위한 테스트를 통해 나왔습니다. 테스트에는 명백하게 가짜 얼굴, 자동차, 실내 공간, 그리고 거꾸로 된 얼굴의 이미지 등이 포함되었습니다.

테스트에 사용된 다양한 이미지와 접근 방식

연구진은 다음과 같이 말합니다:

‘우리의 결과는 관찰자가 짧은 시간 동안 이미지를 본 후 가짜 얼굴을 식별할 수 있음을 보여줍니다. 그러나 실제 얼굴과 가짜 얼굴을 구별하는 것은 더 어려웠습니다. 때때로 가짜 얼굴을 실제 얼굴보다 더 실제로 여겼습니다.’

‘그러나 시간 분해 能動적 EEG와 다변량 패턴 분류 방법을 사용하여 실제 얼굴과 실제와 유사한 얼굴을 구별할 수 있음을 발견했습니다.’

‘이러한 발견은 가짜 얼굴 인식과 관련하여 새로운 증거를 제공하며, 점점 더 실제와 유사한 GAN 생성 얼굴에 대한 의미를 제공합니다.’

연구진은 이러한 연구 결과가 적용된 사이버 보안 분야에서 의미가 있을 수 있다고 말합니다. 즉, 딥페이크 학습 분류기는 의식적인 추정보다는 EEG 기록을 통해 가짜 이미지에 대한 무의식적인 반응을 측정하여 훈련되어야 합니다.

연구진은 다음과 같이 말합니다:

‘이것은 얼굴을 인식할 수 없는 사람들조차도 익숙한 얼굴에 더 강한 자율적 반응을 보인다는 연구 결과와 유사합니다. 우리의 연구 결과는 실제와 실제와 유사한 얼굴을 구별하는 뇌 반응과 행동 사이에 차이가 있음을 보여줍니다.’

이 연구는 Are you for real? Decoding realistic AI-generated faces from neural activity라는 제목으로 시드니 대학교, 맥쿼리 대학교, 웨스턴 시드니 대학교, 그리고 퀸즐랜드 대학교의 4명의 연구진이 수행했습니다.

데이터

이 연구 결과는 가짜 이미지와 실제 이미지의 차이를 구별하는 인간의 능력을 평가하기 위한 더广泛한 연구의 일부에서 나왔습니다.

연구진은 NVIDIA에서 제공한 GAN(Generative Adversarial Networks) 이미지들을 사용했습니다.

NVIDIA에서 제공한 GAN 생성 얼굴 이미지

데이터는 25개의 얼굴, 자동차, 그리고 침실 이미지를 포함했으며, 렌더링 수준은 ‘비실제적’에서 ‘실제적’까지 다양했습니다. 얼굴 비교를 위해 연구진은 NVIDIA의 Flickr-Faces-HQ(FFHQ) 데이터셋을 사용했습니다. 다른 시나리오 비교를 위해 LSUN 데이터셋을 사용했습니다.

이미지는 테스트 대상자에게 올바른 방향이나 거꾸로 된 방향으로 표시되었으며, 모든 이미지는 256×256 픽셀로 크기가 조정되었습니다.

모든 자료가 준비된 후, 450개의 자극 이미지가 테스트를 위해 수집되었습니다.

테스트 데이터의 대표적인 예

테스트

테스트는最初에 온라인으로 수행되었으며, 200명의 참가자가 다양한 이미지들을 판단했습니다. 이미지들은 200ms 동안 표시되었으며, 빈 화면이 나타날 때까지 참가자는 이미지가 실제인지 가짜인지 판단해야했습니다. 각 이미지는 한번만 표시되었으며, 전체 테스트는 3-5분 정도 소요되었습니다.

두번째 테스트는 참가자들이 EEG 기계에 연결된 상태에서 수행되었습니다. 각 참가자는 40개의 이미지를 포함한 20개의 시퀀스를 수행해야했습니다. 전체 테스트에서 18,000개의 이미지가 표시되었습니다.

수집된 EEG 데이터는 MATLAB과 CoSMoMVPA 툴박스를 사용하여 분석되었습니다. 리브-원-아웃 크로스 밸리데이션 스키마를 사용하여 선형 판별 분석(LDA)이 수행되었습니다.

LDA 분류기는 가짜 자극에 대한 뇌 반응과 참가자의 의견을 구별할 수 있었습니다.

결과

연구진은 EEG 테스트 참가자들이 가짜 얼굴과 실제 얼굴을 구별할 수 있는지 알아보기 위해 결과를 집계하고 처리했습니다. 참가자들은 실제 얼굴과 비실제적인 가짜 얼굴을 쉽게 구별할 수 있었습니다. 그러나 실제와 유사한 가짜 얼굴을 구별하는 것은 더 어려웠습니다. 이미지의 방향은 거의 차이를 주지 못했습니다.

두번째 테스트의 행동적 구별

그러나 EEG 데이터는 다른 이야기를 рассказ했습니다.

연구진은 다음과 같이 말합니다:

‘관찰자들이 실제와 가짜 얼굴을 구별하는 데 어려움을 겪었고 가짜 얼굴을 과잉 분류했지만, EEG 데이터는 이러한 구별에 대한 의미 있는 정보를 포함하고 있음을 발견했습니다. 이 정보는 처리의 비교적 짧은 단계에 제한되었습니다.’

EEG 정확도와 참가자의 의견 사이의 차이

연구진은 참가자들이 가짜 얼굴을 암묵적으로 식별하는 데 어려움을 겪었지만, 이러한 얼굴들은 인간의 시각 시스템에서 뚜렷한 표현을 가지고 있음을 발견했습니다.

이러한 발견은 연구진이 미래의 보안 메커니즘에 대한 잠재적인 적용에 대해 추측하게 만들었습니다:

‘사이버 보안이나 딥페이크와 같은 적용된 환경에서 실제와 유사한 얼굴의 감지 능력을 조사하는 것은 신경 이미지 데이터에 기계 학습 분류기를 적용하는 것이 행동적 성능을 목표로 하는 것보다 더 효과적일 수 있습니다.’

그들은 다음과 같이 결론지었습니다:

‘가짜 얼굴 감지에 대한 뇌와 행동의 불일치를 이해하는 것은 인공적으로 생성된 정보의 잠재적으로 유해하고 普遍적인 확산을 다루는 방식에 대한 실제적인 의미를 가질 것입니다.’

* 인라인 인용을 하이퍼링크로 변환한 것입니다.

2022년 7월 11일 처음 게시되었습니다.