Nasze Podświadome Umiejętności Wykrywania Deepfake’ów Mogą Napędzać Przyszłe Zautomatyzowane Systemy

Nowe badania z Australii sugerują, że nasz mózg jest zręczny w rozpoznawaniu zaawansowanych deepfake’ów, nawet gdy świadomie uważamy, że widzimy prawdziwe obrazy.

Wyniki sugerują również możliwość wykorzystania odpowiedzi neuronalnych ludzi na twarze deepfake (zamiast ich oświadczeń) do szkolenia zautomatyzowanych systemów wykrywania deepfake’ów. Takie systemy byłyby szkolone na cechach deepfake’ów, a nie na oszacowaniach prawdopodobieństwa, ale na naszych instynktownych mechanizmach rozpoznawania tożsamości twarzy.

‘[C]hociaż mózg może „rozpoznać” różnicę między prawdziwymi a realistycznymi twarzami, obserwatorzy nie mogą świadomie ich odróżnić. Nasze wyniki dotyczące dysocjacji między odpowiedzią mózgu a zachowaniem mają implikacje dla tego, jak badamy percepcję twarzy, jakie pytania stawiamy, gdy pytamy o identyfikację fałszywych obrazów, i jakie możliwe sposoby moglibyśmy ustalić standardy ochrony przed nadużyciem fałszywych obrazów.’

Wyniki pojawiły się w rundach testowych zaprojektowanych w celu oceny sposobu, w jaki ludzie reagują na fałszywe obrazy, w tym obrazy wyraźnie fałszywych twarzy, samochodów, wnętrz i odwróconych (tj. do góry nogami) twarzy.

Różne iteracje i podejścia do eksperymentów, które obejmowały dwa grupy osób badanych, które musiały zaklasyfikować krótko wyświetlany obraz jako „fałszywy” lub „prawdziwy”. Pierwsza runda odbyła się na Amazon Mechanical Turk, z 200 wolontariuszami, podczas gdy druga runda obejmowała mniejszą liczbę wolontariuszy, którzy odpowiadali na testy podłączeni do maszyn EEG. Źródło: https://tijl.github.io/tijl-grootswagers-pdf/Moshel_et_al_-_2022_-_Are_you_for_real_Decoding_realistic_AI-generated_.pdf

Artykuł twierdzi:

‘Nasze wyniki dowodzą, że nawet przy krótkim spojrzeniu obserwatorzy mogą zauważyć fałszywe twarze. Jednak mają trudności z odróżnieniem prawdziwych twarzy od fałszywych i czasami uważają fałszywe twarze za bardziej prawdziwe niż prawdziwe twarze.

‘Jednak przy użyciu czasowo-rozwiązanych EEG i metod klasyfikacji wzorców, stwierdziliśmy, że można było odróżnić nieprawdziwe i realistyczne twarze od prawdziwych twarzy za pomocą aktywności mózgu.

‘Ta dysocjacja między zachowaniem a odpowiedzią neuronalną w przypadku realistycznych twarzy daje ważne nowe dowody na temat percepcji fałszywych twarzy, a także implikacje dotyczące coraz bardziej realistycznej klasy twarzy generowanych przez GAN.’

Artykuł sugeruje, że nowa praca ma „kilka implikacji” w dziedzinie cyberbezpieczeństwa, i że rozwój systemów wykrywania deepfake’ów powinien być napędzany przez podświadome odpowiedzi, mierzone na podstawie odczytów EEG w odpowiedzi na fałszywe obrazy, a nie przez świadome oszacowanie wiarygodności obrazu.

Autorzy komentują:

‘To przypomina wyniki, które osoby z prosopagnozą, które nie mogą zachowawczo klasyfikować lub rozpoznać twarzy jako znane lub nieznane, wykazują silniejsze odpowiedzi autonomiczne na znane twarze niż nieznane twarze.

‘Podobnie, to, co udowodniliśmy w tym badaniu, to fakt, że chociaż nie mogliśmy odróżnić prawdziwych twarzy od realistycznych, różnica ta była widoczna w aktywności neuronalnej. Zamiast tego, obserwatorzy błędnie identyfikowali 69% prawdziwych twarzy jako fałszywe.’

Nowa praca jest zatytułowana Czy jesteś prawdziwy? Dekodowanie realistycznych twarzy generowanych przez AI z aktywności neuronalnej, i pochodzi od czterech badaczy z Uniwersytetu w Sydney, Macquarie University, Western Sydney University i Uniwersytetu w Queensland.

Dane

Wyniki pojawiły się w ramach szerszego badania zdolności ludzi do odróżniania fałszywych, hiperrealistycznych (ale nadal fałszywych) i prawdziwych obrazów, przeprowadzonego w dwóch rundach testowych.

Badacze wykorzystali obrazy stworzone przez Generative Adversarial Networks (GAN), udostępnione przez NVIDIA.

Obrazy twarzy ludzi wygenerowane przez GAN, udostępnione przez NVIDIA. Źródło: https://drive.google.com/drive/folders/1EDYEYR3IB71-5BbTARQkhg73leVB9tam

Dane składały się z 25 twarzy, samochodów i sypialni, na poziomach renderowania od „nieprawdziwego” do „prawdziwego”. Do porównania twarzy (tj. dla odpowiednich materiałów niefałszywych) autorzy wykorzystali wybór z danych źródłowych zestawu danych NVIDIA Flickr-Faces-HQ (FFHQ) zestawu danych. Do porównania innych scenariuszy wykorzystali materiały z zestawu danych LSUN.

Obrazy były ostatecznie prezentowane osobom badanym albo w sposób normalny, albo odwrócony, i na różnych częstotliwościach, a wszystkie obrazy zostały przeskalowane do 256×256 pikseli.

Po zebraniu wszystkich materiałów, 450 obrazów testowych zostało wybranych do testów.

Przykładowe obrazy testowe.

Testy

Testy same były początkowo przeprowadzane online, za pomocą jsPsych na pavlovia.org, z 200 uczestnikami oceniającymi różne podzbiory zebranych danych testowych. Obrazy były prezentowane przez 200 ms, po czym następował pusty ekran, który utrzymywał się do momentu, gdy widz podjął decyzję, czy wyświetlany obraz jest „fałszywy” czy „prawdziwy”. Każdy obraz był prezentowany tylko raz, a cały test trwał 3-5 minut.

Druga, bardziej ujawniająca runda wykorzystywała osoby badane podłączone do maszyn EEG, i była prezentowana na platformie Psychopy2. Każda z dwudziestu sekwencji zawierała 40 obrazów, a 18 000 obrazów zostało przedstawionych w całym teście.

Zebrane dane EEG zostały odkodowane za pomocą MATLAB z pakietem CoSMoMVPA, przy użyciu metody leave-one-out cross-validation z liniową analizą dyskryminacyjną (LDA).

Klasyfikator LDA był składnikiem, który mógł odróżnić odpowiedź mózgu na fałszywe bodźce i opinie osób badanych na temat tego, czy obraz jest fałszywy.

Wyniki

Zainteresowani tym, czy osoby badane mogą odróżnić fałszywe twarze, badacze agregowali i przetwarzali wyniki, stwierdzając, że uczestnicy mogli łatwo odróżnić prawdziwe twarze od nieprawdziwych, ale mieli trudności z identyfikacją realistycznych, generowanych przez GAN fałszywych twarzy. To, czy obraz był odwrócony, nie wydawało się mieć większego znaczenia.

Rozróżnianie behawioralne prawdziwych i generowanych syntetycznie twarzy, w drugiej rundzie.

Jednak dane EEG opowiedziały inną historię.

Artykuł stwierdza:

‘Chociaż obserwatorzy mieli trudności z odróżnieniem prawdziwych twarzy od fałszywych i skłonni byli do nadklasyfikowania fałszywych twarzy, dane EEG zawierały informacje istotne dla tego rozróżnienia, które znacząco różniły się między realistycznymi i nieprawdziwymi, i które wydawały się ograniczone do stosunkowo krótkiego etapu przetwarzania.’

Tu różnica między dokładnością EEG a opinią osób badanych (tj. czy twarze są fałszywe) nie są identyczne, a przechwytywanie EEG jest bliższe prawdy niż percepcja osób zaangażowanych.

Badacze dochodzą do wniosku, że chociaż obserwatorzy mogą mieć trudności z nieświadomym identyfikowaniem fałszywych twarzy, te twarze mają „odrębne reprezentacje w ludzkim systemie wzrokowym”.

Różnica ta spowodowała, że badacze zaczęli spekulować na temat potencjalnego zastosowania swoich odkryć w przyszłych mechanizmach bezpieczeństwa:

‘W zastosowaniu praktycznym, takim jak cyberbezpieczeństwo lub Deepfakes, badanie zdolności wykrywania realistycznych twarzy może być najlepiej prowadzone przy użyciu klasyfikatorów machine learning stosowanych do danych neuroobrazowych, a nie ukierunkowanych na zachowanie.’

Kończą:

‘Zrozumienie dysocjacji między mózgiem a zachowaniem w przypadku wykrywania fałszywych twarzy będzie miało praktyczne implikacje dla sposobu, w jaki będziemy radzić sobie z potencjalnie szkodliwym i powszechnym rozprzestrzenianiem sztucznie generowanych informacji.’

* Moja konwersja odniesień wewnętrznych do linków.

Pierwotnie opublikowane 11 lipca 2022.