Kemampuan Bawah Sadar Kami untuk Mendeteksi Deepfake Dapat Menggerakkan Sistem Otomatis Masa Depan

Penelitian baru dari Australia menunjukkan bahwa otak kita sangat terampil dalam mengenali deepfake yang canggih, bahkan ketika kita secara sadar percaya bahwa gambar yang kita lihat adalah nyata.

Temuan ini lebih lanjut mengimplikasikan kemungkinan menggunakan respons neural orang terhadap wajah deepfake (bukan pernyataan pendapat mereka) untuk melatih sistem deteksi deepfake otomatis. Sistem tersebut akan dilatih pada karakteristik deepfake gambar, bukan dari perkiraan kebenaran gambar, tetapi dari mekanisme persepsi kita yang intuitif untuk pengenalan identitas wajah.

‘[A]lthough the brain can ‘recognise’ the difference between real and realistic faces, observers cannot consciously tell them apart. Our findings of the dissociation between brain response and behaviour have implications for how we study fake face perception, the questions we pose when asking about fake image identification, and the possible ways in which we can establish protective standards against fake image misuse.’

Hasil ini muncul dari serangkaian pengujian yang dirancang untuk mengevaluasi cara orang merespons gambar palsu, termasuk gambar wajah palsu, mobil, ruang interior, dan wajah terbalik (yaitu terbalik).

Berbagai iterasi dan pendekatan untuk eksperimen, yang melibatkan dua kelompok subjek uji yang perlu mengklasifikasikan gambar yang ditampilkan singkat sebagai ‘palsu’ atau ‘nyata’. Ronde pertama dilakukan di Amazon Mechanical Turk, dengan 200 relawan, sedangkan ronde kedua melibatkan sejumlah kecil relawan yang merespons tes sambil terhubung ke mesin EEG. Sumber: https://tijl.github.io/tijl-grootswagers-pdf/Moshel_et_al_-_2022_-_Are_you_for_real_Decoding_realistic_AI-generated_.pdf

Makalah ini menyatakan:

‘Hasil kami menunjukkan bahwa dengan hanya sekilas, pengamat mungkin dapat mendeteksi wajah palsu. Namun, mereka memiliki kesulitan untuk membedakan wajah nyata dari wajah palsu dan, dalam beberapa kasus, percaya bahwa wajah palsu lebih nyata daripada wajah nyata.

‘Namun, dengan menggunakan EEG waktu-resolusi dan metode klasifikasi pola multivariat, kami menemukan bahwa memungkinkan untuk mendekode wajah palsu yang tidak realistis dan realistis dari wajah nyata menggunakan aktivitas otak.

‘Dissosiasi antara perilaku dan respons neural untuk wajah realistis menghasilkan bukti baru tentang persepsi wajah palsu serta implikasi yang melibatkan kelas wajah yang semakin realistis yang dihasilkan oleh GAN.’

Makalah ini menyarankan bahwa penelitian baru ini memiliki ‘beberapa implikasi’ dalam keamanan siber terapan, dan bahwa pengembangan klasifikasi deepfake harus didorong oleh respons bawah sadar, seperti yang diukur pada pembacaan EEG dalam menanggapi gambar palsu, bukan oleh perkiraan sadar pengamat tentang kebenaran gambar.

Penulis mengomentari:

‘Hal ini mengingatkan pada temuan bahwa individu dengan prosopagnosia yang tidak dapat mengenali wajah sebagai familiar atau tidak familiar secara perilaku, namun menampilkan respons otomatik yang lebih kuat terhadap wajah yang familiar daripada wajah yang tidak familiar.

‘Secara serupa, apa yang kami tunjukkan dalam studi ini adalah bahwa meskipun kami dapat mendekode perbedaan antara wajah nyata dan wajah palsu dari aktivitas otak, perbedaan itu tidak terlihat secara perilaku. Sebaliknya, pengamat salah mengidentifikasi 69% dari wajah nyata sebagai palsu.’

Penelitian baru ini berjudul Are you for real? Decoding realistic AI-generated faces from neural activity, dan berasal dari empat peneliti dari University of Sydney, Macquarie University, Western Sydney University, dan The University of Queensland.

Data

Hasil ini muncul dari penelitian yang lebih luas tentang kemampuan manusia untuk membedakan gambar palsu yang jelas, hiper-realistik (tetapi masih palsu), dan gambar nyata, yang dilakukan dalam dua ronde pengujian.

Peneliti menggunakan gambar yang dihasilkan oleh Generative Adversarial Networks (GANs), dibagikan oleh NVIDIA.

Gambar wajah manusia yang dihasilkan oleh NVIDIA. Sumber: https://drive.google.com/drive/folders/1EDYEYR3IB71-5BbTARQkhg73leVB9tam

Data terdiri dari 25 wajah, mobil, dan kamar tidur, dengan tingkat rendering yang bervariasi dari ‘tidak realistis’ hingga ‘realistis’. Untuk perbandingan wajah (yaitu untuk materi non-palsu yang sesuai), penulis menggunakan seleksi dari data sumber NVIDIA’s source Flickr-Faces-HQ (FFHQ) dataset. Untuk perbandingan skenario lain, mereka menggunakan materi dari LSUN dataset.

Gambar akan ditampilkan kepada subjek uji baik dalam posisi yang benar atau terbalik, dan pada berbagai frekuensi, dengan semua gambar diubah ukurannya menjadi 256×256 piksel.

Setelah semua materi dikumpulkan, 450 gambar stimulus dikurasi untuk pengujian.

Contoh representatif dari data pengujian.

Tests

Pengujian itu sendiri awalnya dilakukan secara online, melalui jsPsych di pavlovia.org, dengan 200 peserta yang menilai berbagai subset dari data pengujian yang dikumpulkan. Gambar ditampilkan selama 200ms, diikuti oleh layar kosong yang akan bertahan sampai pengamat membuat keputusan tentang apakah gambar yang ditampilkan adalah palsu atau nyata. Setiap gambar hanya ditampilkan sekali, dan pengujian seluruhnya memakan waktu 3-5 menit untuk diselesaikan.

Ronde kedua dan lebih mengungkapkan menggunakan subjek secara langsung yang dilengkapi dengan monitor EEG, dan disajikan pada platform Psychopy2. Setiap dari dua puluh urutan berisi 40 gambar, dengan 18.000 gambar yang disajikan di seluruh pengujian.

Data EEG yang dikumpulkan didekode melalui MATLAB dengan toolbox CoSMoMVPA, menggunakan skema leave-one-out cross-validation di bawah Analisis Diskriminan Linier (LDA).

Klasifikasi LDA adalah komponen yang dapat membedakan antara reaksi otak terhadap stimulus palsu dan pendapat subjek tentang apakah gambar itu palsu.

Results

Peneliti tertarik untuk melihat apakah subjek uji EEG dapat membedakan antara wajah palsu dan nyata, mereka mengumpulkan dan memproses hasilnya, menemukan bahwa peserta dapat membedakan wajah nyata dari wajah palsu yang tidak realistis dengan mudah, tetapi tampaknya berjuang untuk mengidentifikasi wajah palsu yang realistis, dihasilkan oleh GAN. Apakah gambar itu terbalik atau tidak tampaknya tidak membuat perbedaan besar.

Diskriminasi perilaku wajah nyata dan wajah sintetis yang dihasilkan, pada ronde kedua.

Namun, data EEG menceritakan cerita yang berbeda.

Makalah ini menyatakan:

‘Meskipun pengamat memiliki kesulitan untuk membedakan wajah nyata dari wajah palsu dan cenderung mengklasifikasikan wajah palsu, data EEG mengandung informasi sinyal yang relevan dengan perbedaan ini yang berbeda secara signifikan antara wajah realistis dan tidak realistis, dan sinyal ini tampaknya dibatasi pada tahap pemrosesan yang relatif singkat.’

Di sini, perbedaan antara akurasi EEG dan pendapat yang dilaporkan oleh subjek (yaitu tentang apakah gambar wajah itu palsu atau tidak) tidak identik, dengan capture EEG yang mendekati kebenaran lebih dekat daripada persepsi manifest dari orang yang terlibat.

Peneliti menyimpulkan bahwa meskipun pengamat mungkin memiliki kesulitan untuk mengidentifikasi wajah palsu secara tidak sadar, wajah tersebut memiliki ‘representasi yang berbeda dalam sistem visual manusia’.

Perbedaan yang ditemukan telah menyebabkan peneliti untuk berspekulasi tentang potensi penerapan temuan mereka untuk mekanisme keamanan di masa depan:

‘Dalam pengaturan yang diterapkan seperti keamanan siber atau Deepfakes, memeriksa kemampuan deteksi untuk wajah realistis mungkin dilakukan dengan menggunakan klasifikasi mesin pembelajaran yang diterapkan pada data neuroimaging daripada target kinerja perilaku.’

Mereka menyimpulkan:

‘Memahami dissosiasi antara otak dan perilaku untuk deteksi wajah palsu akan memiliki implikasi praktis untuk cara kita menangani penyebaran informasi yang dihasilkan secara artificial yang berpotensi merusak dan universal.’

* Konversi saya dari kutipan inline ke tautan.

Publikasi pertama 11 Juli 2022.