Sudut Anderson

Kemampuan Bawah Sadar Kita untuk Mendeteksi Deepfake Dapat Mendukung Sistem Otomatis Masa Depan

Martin Anderson
Tambahkan Unite.AI ke sumber pilihan Anda di Google
Poin utamaData EEG ngungkapake sinyal saraf bawah sadar bisa mbedakake pasuryan asli saka palsu…
Lihat selengkapnya
  • Data EEG ngungkapake sinyal saraf bawah sadar bisa mbedakake pasuryan asli saka palsu sanajan pamirsa kanthi sadar gagal.
  • Panliten kasebut nyaranake nglatih detektor deepfake ing aktivitas otak tinimbang pertimbangan manungsa subyektif kanggo akurasi sing luwih apik.
  • Peserta salah ngenali 69% pasuryan asli minangka palsu, nyorot ora bisa dipercaya persepsi sadar kanggo deteksi deepfake.

Penelitian baru dari Australia mengindikasikan bahwa otak kita sangat terampil dalam mengenali deepfake yang canggih, bahkan ketika kita secara sadar percaya bahwa gambar yang kita lihat adalah nyata.

Temuan ini lebih lanjut mengimplikasikan kemungkinan menggunakan respons neural orang terhadap wajah deepfake (bukan pernyataan pendapat mereka) untuk melatih sistem deteksi deepfake otomatis. Sistem tersebut akan dilatih pada karakteristik deepfake gambar, bukan dari perkiraan kebenaran gambar, tetapi dari mekanisme persepsi kita yang intuitif untuk pengenalan identitas wajah.

Walaupun otak dapat mengenali perbedaan antara wajah asli dan wajah yang tampak realistis, pengamat tidak dapat membedakannya secara sadar. Temuan kami tentang pemisahan antara respons otak dan perilaku berimplikasi pada cara kita mempelajari persepsi wajah palsu, pertanyaan yang kita ajukan mengenai identifikasi gambar palsu, serta kemungkinan cara menetapkan standar perlindungan terhadap penyalahgunaan gambar palsu.

Hasil ini muncul dari serangkaian pengujian yang dirancang untuk mengevaluasi cara orang merespons gambar palsu, termasuk gambar wajah palsu, mobil, ruang interior, dan wajah terbalik (yaitu terbalik).

Berbagai iterasi dan pendekatan untuk eksperimen, yang melibatkan dua kelompok subjek uji yang perlu mengklasifikasikan gambar yang ditampilkan singkat sebagai 'palsu' atau 'nyata'. Ronde pertama dilakukan di Amazon Mechanical Turk, dengan 200 relawan, sedangkan ronde kedua melibatkan sejumlah kecil relawan yang merespons tes sambil terhubung ke mesin EEG. Sumber: https://tijl.github.io/tijl-grootswagers-pdf/Moshel_et_al_-_2022_-_Are_you_for_real_Decoding_realistic_AI-generated_.pdf

Berbagai iterasi dan pendekatan untuk eksperimen, yang melibatkan dua kelompok subjek uji yang perlu mengklasifikasikan gambar yang ditampilkan singkat sebagai ‘palsu’ atau ‘nyata’. Ronde pertama dilakukan di Amazon Mechanical Turk, dengan 200 relawan, sedangkan ronde kedua melibatkan sejumlah kecil relawan yang merespons tes sambil terhubung ke mesin EEG. Sumber: https://tijl.github.io/tijl-grootswagers-pdf/Moshel_et_al_-_2022_-_Are_you_for_real_Decoding_realistic_AI-generated_.pdf

Makalah ini menyatakan:

‘Hasil kami menunjukkan bahwa dengan hanya sekilas, pengamat mungkin dapat mendeteksi wajah palsu. Namun, mereka memiliki kesulitan untuk membedakan wajah nyata dari wajah palsu dan, dalam beberapa kasus, percaya bahwa wajah palsu lebih nyata daripada wajah nyata.

‘Namun, dengan menggunakan EEG waktu-resolusi dan metode klasifikasi pola multivariat, kami menemukan bahwa memungkinkan untuk mendekode wajah palsu yang tidak realistis dan realistis dari wajah nyata menggunakan aktivitas otak.

‘Dissosiasi antara perilaku dan respons neural untuk wajah realistis menghasilkan bukti baru tentang persepsi wajah palsu serta implikasi yang melibatkan kelas wajah yang semakin realistis yang dihasilkan oleh GAN.’

Makalah ini menyarankan bahwa penelitian baru ini memiliki ‘beberapa implikasi’ dalam keamanan siber terapan, dan bahwa pengembangan pengklasifikasi deepfake mungkin sebaiknya dipandu oleh respons bawah sadar, seperti yang diukur pada pembacaan EEG dalam menanggapi gambar palsu, bukan oleh perkiraan sadar pengamat tentang kebenaran gambar.

Penulis berkomentar*:

‘Hal ini mengingatkan pada temuan bahwa individu dengan prosopagnosia yang tidak dapat mengenali wajah sebagai familiar atau tidak familiar secara perilaku, namun menampilkan respons otomatik yang lebih kuat terhadap wajah yang familiar daripada wajah yang tidak familiar.

‘Secara serupa, apa yang kami tunjukkan dalam studi ini adalah bahwa meskipun kami dapat mendekode perbedaan antara wajah asli dan wajah palsu yang realistis dari aktivitas otak, perbedaan itu tidak terlihat secara perilaku. Sebaliknya, pengamat salah mengidentifikasi 69% dari wajah nyata sebagai palsu.’

Penelitian baru ini berjudul Are you for real? Decoding realistic AI-generated faces from neural activity, dan berasal dari empat peneliti dari University of Sydney, Macquarie University, Western Sydney University, dan The University of Queensland.

Data

Hasil ini muncul dari penelitian yang lebih luas tentang kemampuan manusia untuk membedakan gambar palsu yang jelas, hiper-realistik (tetapi masih palsu), dan gambar nyata, yang dilakukan dalam dua ronde pengujian.

Peneliti menggunakan gambar yang dihasilkan oleh Generative Adversarial Networks (GANs), dibagikan oleh NVIDIA.

Gambar wajah manusia hasil GAN yang disediakan oleh NVIDIA.

Gambar wajah manusia hasil GAN yang disediakan oleh NVIDIA. Sumber: https://drive.google.com/drive/folders/1EDYEYR3IB71-5BbTARQkhg73leVB9tam

Data terdiri dari 25 wajah, mobil, dan kamar tidur, dengan tingkat rendering yang bervariasi dari ‘tidak realistis’ hingga ‘realistis’. Untuk perbandingan wajah (yaitu untuk materi non-palsu yang sesuai), penulis menggunakan seleksi dari data sumber sumber Flickr-Faces-HQ (FFHQ) milik NVIDIA dataset. Untuk perbandingan skenario lain, mereka menggunakan materi dari LSUN dataset.

Gambar akan ditampilkan kepada subjek uji baik dalam posisi yang benar atau terbalik, dan pada berbagai frekuensi, dengan semua gambar diubah ukurannya menjadi 256×256 piksel.

Setelah semua materi dikumpulkan, 450 gambar stimulus dikurasi untuk pengujian.

Contoh representatif dari data pengujian.

Contoh representatif dari data pengujian.

Pengujian

Pengujian itu sendiri awalnya dilakukan secara online, melalui jsPsych di pavlovia.org, dengan 200 peserta yang menilai berbagai subset dari data pengujian yang dikumpulkan. Gambar ditampilkan selama 200ms, diikuti oleh layar kosong yang akan bertahan sampai pengamat membuat keputusan tentang apakah gambar yang ditampilkan adalah palsu atau nyata. Setiap gambar hanya ditampilkan sekali, dan pengujian seluruhnya memakan waktu 3-5 menit untuk diselesaikan.

Ronde kedua dan lebih mengungkapkan menggunakan subjek secara langsung yang dilengkapi dengan monitor EEG, dan disajikan pada platform Psychopy2. Setiap dari dua puluh urutan berisi 40 gambar, dengan 18.000 gambar yang disajikan di seluruh pengujian.

Data EEG yang dikumpulkan didekode melalui MATLAB dengan toolbox CoSMoMVPA, menggunakan skema leave-one-out cross-validation di bawah Analisis Diskriminan Linier (LDA).

Pengklasifikasi LDA adalah komponen yang dapat membedakan antara reaksi otak terhadap stimulus palsu dan pendapat subjek tentang apakah gambar itu palsu.

Hasil

Peneliti tertarik untuk melihat apakah subjek uji EEG dapat membedakan antara wajah palsu dan nyata, mereka mengumpulkan dan memproses hasilnya, menemukan bahwa peserta dapat membedakan wajah nyata dari wajah palsu yang tidak realistis dengan mudah, tetapi tampaknya berjuang untuk mengidentifikasi wajah palsu yang realistis, dihasilkan oleh GAN. Apakah gambar itu terbalik atau tidak tampaknya tidak membuat perbedaan besar.

Diskriminasi perilaku wajah nyata dan wajah sintetis yang dihasilkan, pada ronde kedua.

Diskriminasi perilaku wajah nyata dan wajah sintetis yang dihasilkan, pada ronde kedua.

Namun, data EEG menceritakan cerita yang berbeda.

Makalah ini menyatakan:

‘Meskipun pengamat memiliki kesulitan untuk membedakan wajah nyata dari wajah palsu dan cenderung terlalu sering mengklasifikasikan wajah sebagai palsu, data EEG mengandung informasi sinyal yang relevan dengan perbedaan ini yang berbeda secara signifikan antara wajah realistis dan tidak realistis, dan sinyal ini tampaknya dibatasi pada tahap pemrosesan yang relatif singkat.’

Di sini, perbedaan antara akurasi EEG dan pendapat yang dilaporkan oleh subjek (yaitu tentang apakah gambar wajah itu palsu atau tidak) tidak identik, dengan capture EEG yang mendekati kebenaran lebih dekat daripada persepsi manifest dari orang yang terlibat.

Di sini, perbedaan antara akurasi EEG dan pendapat yang dilaporkan oleh subjek (yaitu tentang apakah gambar wajah itu palsu atau tidak) tidak identik, dengan capture EEG yang mendekati kebenaran lebih dekat daripada persepsi manifest dari orang yang terlibat.

Peneliti menyimpulkan bahwa meskipun pengamat mungkin memiliki kesulitan untuk mengidentifikasi wajah palsu secara tidak sadar, wajah tersebut memiliki ‘representasi yang berbeda dalam sistem visual manusia’.

Perbedaan yang ditemukan telah menyebabkan peneliti untuk berspekulasi tentang potensi penerapan temuan mereka untuk mekanisme keamanan di masa depan:

‘Dalam pengaturan yang diterapkan seperti keamanan siber atau Deepfakes, memeriksa kemampuan deteksi untuk wajah realistis mungkin dilakukan dengan menggunakan pengklasifikasi pembelajaran mesin yang diterapkan pada data neuroimaging daripada target kinerja perilaku.’

Mereka menyimpulkan:

‘Memahami dissosiasi antara otak dan perilaku untuk deteksi wajah palsu akan memiliki implikasi praktis untuk cara kita menangani penyebaran informasi yang dihasilkan secara artifisial yang berpotensi merusak dan universal.’

 

* Konversi saya dari rujukan dalam teks ke tautan.

Publikasi pertama 11 Juli 2022.

Penulis tentang pembelajaran mesin, spesialis domain dalam sintesis gambar manusia. Mantan kepala konten riset di Metaphysic.ai, hingga dibubarkannya menjadi Brahma.ai milik DNEG.
Website: martinanderson.ai
Kontak: martin@martinanderson.ai