มุมมองของ Anderson

ทักษะการตรวจจับ Deepfake ที่ไม่รู้ตัวของเราอาจเป็นพลังในการขับเคลื่อนระบบอัตโนมัติในอนาคต

Martin Anderson
เพิ่ม Unite.AI ลงในแหล่งข้อมูลที่คุณต้องการบน Google
ประเด็นสำคัญข้อมูล EEG เผยสัญญาณประสาทใต้จิตสำนึกสามารถแยกแยะใบหน้าจริงจากปลอมได้…
ดูเพิ่มเติม
  • ข้อมูล EEG เผยสัญญาณประสาทใต้จิตสำนึกสามารถแยกแยะใบหน้าจริงจากปลอมได้ แม้ผู้ชมไม่รู้ตัวในระดับจิตสำนึก
  • การศึกษาชี้ให้เห็นว่าการฝึกเครื่องตรวจจับดีพเฟกบนกิจกรรมสมองแทนการตัดสินตามอัตวิสัยของมนุษย์จะให้ความแม่นยำที่ดีกว่า
  • ผู้เข้าร่วมระบุใบหน้าจริงผิดเป็นปลอมถึง 69% ซึ่งเน้นย้ำถึงความไม่น่าเชื่อถือของการรับรู้ในระดับจิตสำนึกสำหรับการตรวจจับดีพเฟก

การวิจัยใหม่จากออสเตรเลียชี้ให้เห็นว่าสมองของเรามีความสามารถในการรับรู้ deepfakes ที่ซับซ้อนได้ดี แม้ว่าเราจะเชื่ออย่างรู้ตัวว่าภาพที่เรากำลังดูเป็นภาพจริงก็ตาม

การค้นพบดังกล่าวยังชี้ให้เห็นว่าอาจใช้การตอบสนองของสมองต่อใบหน้า deepfakes (มากกว่าความคิดเห็นของบุคคล) เพื่อฝึกอบรมระบบตรวจจับ deepfakes อัตโนมัติ ระบบดังกล่าวจะเรียนรู้ลักษณะของภาพดีปเฟกจากกลไกการรับรู้ตัวตนของใบหน้าตามสัญชาตญาณของเรา แทนที่จะอาศัยการประเมินความน่าเชื่อถือที่สับสน

‘แม้สมองสามารถ ‘รับรู้’ ความแตกต่างระหว่างใบหน้าจริงและใบหน้าที่มีลักษณะเหมือนจริง แต่ผู้สังเกตไม่สามารถบอกความแตกต่างระหว่างใบหน้าเหล่านั้นได้อย่างรู้ตัว ผลการวิจัยของเราที่พบความแตกต่างระหว่างการตอบสนองของสมองและพฤติกรรมมีผลกระทบต่อวิธีการศึกษาการรับรู้ใบหน้าปลอม การถามคำถามเกี่ยวกับการระบุภาพปลอม และวิธีการที่เราสามารถกำหนดมาตรฐานการป้องกันการใช้ภาพปลอมในทางที่ผิด’

ผลการวิจัยดังกล่าวเกิดขึ้นจากการทำการทดลองหลายรอบเพื่อประเมินวิธีการที่ผู้คนตอบสนองต่อภาพที่ไม่แท้จริง รวมถึงภาพใบหน้าปลอม รถยนต์ ห้องภายใน และใบหน้าที่ถูกกลับหัว (กลับด้าน)

วิธีและรูปแบบต่าง ๆ ของการทดลอง ซึ่งผู้เข้าร่วม 2 กลุ่มต้องจำแนกภาพที่แสดงเพียงชั่วครู่ว่าเป็น 'ปลอม' หรือ 'จริง'
วิธีและรูปแบบต่าง ๆ ของการทดลอง ซึ่งผู้เข้าร่วม 2 กลุ่มต้องจำแนกภาพที่แสดงเพียงชั่วครู่ว่าเป็น ‘ปลอม’ หรือ ‘จริง’ รอบแรกดำเนินการผ่าน Amazon Mechanical Turk โดยมีอาสาสมัคร 200 คน ส่วนรอบที่สองใช้อาสาสมัครจำนวนน้อยกว่า ซึ่งตอบแบบทดสอบขณะเชื่อมต่อกับเครื่อง EEG ที่มา: https://tijl.github.io/tijl-grootswagers-pdf/Moshel_et_al_-_2022_-_Are_you_for_real_Decoding_realistic_AI-generated_.pdf

บทความวิจัยระบุว่า:

‘ผลการวิจัยของเราบ่งชี้ว่าผู้สังเกตอาจระบุใบหน้าปลอมได้จากการมองเพียงชั่วครู่ แต่พวกเขามีความยากในการแยกแยะระหว่างใบหน้าจริงและใบหน้าปลอม และในบางกรณี ผู้สังเกตเชื่อว่าใบหน้าปลอมเป็นใบหน้าจริงมากกว่าใบหน้าจริง’

‘อย่างไรก็ตาม โดยใช้ EEG ที่แยกวิเคราะห์ตามเวลาและวิธีจำแนกรูปแบบหลายตัวแปร เราพบว่าสามารถแยกใบหน้าปลอมทั้งแบบไม่สมจริงและแบบสมจริงออกจากใบหน้าจริงได้จากกิจกรรมของสมอง’

‘ความแตกต่างระหว่างพฤติกรรมและการตอบสนองของสมองต่อใบหน้าปลอมที่มีลักษณะเหมือนจริงทำให้เกิดหลักฐานใหม่ที่สำคัญเกี่ยวกับการรับรู้ใบหน้าปลอม และมีนัยต่อกลุ่มใบหน้าที่สร้างด้วย GAN ซึ่งมีความสมจริงเพิ่มขึ้นเรื่อย ๆ’

การวิจัยนี้ชี้ให้เห็นว่าผลการวิจัยมีผลกระทบต่อการประยุกต์ใช้ในด้านความปลอดภัยของไซเบอร์ และการสร้างระบบตรวจจับ deepfakes อัตโนมัติอาจควรอาศัยการตอบสนองในระดับจิตใต้สำนึกที่วัดด้วย EEG ต่อภาพปลอม มากกว่าการประเมินความจริงแท้ของภาพอย่างรู้ตัวโดยผู้ดู
ผู้เขียนบทความวิจัยระบุว่า*:

‘สิ่งนี้ทำให้นึกถึงผลการวิจัยที่บุคคลที่มีอาการ prosopagnosia ไม่สามารถจำแนกหรือรู้จักใบหน้าได้ แต่แสดงการตอบสนองทางอัตโนมัติที่เข้มข้นกว่าต่อใบหน้าที่คุ้นเคยมากกว่าใบหน้าที่ไม่คุ้นเคย‘

‘ในทำนองเดียวกัน เราสามารถถอดรหัสความแตกต่างระหว่างใบหน้าจริงกับใบหน้าปลอมที่สมจริงจากกิจกรรมของระบบประสาทได้อย่างแม่นยำ แต่ไม่พบความแตกต่างดังกล่าวในพฤติกรรม และผู้สังเกตระบุใบหน้าจริงว่าเป็นใบหน้าปลอมถึง 69%’

งานวิจัยใหม่นี้มีชื่อว่า คุณเป็นคนจริงหรือไม่? การถอดรหัสใบหน้าปลอมที่มีลักษณะเหมือนจริงจากกิจกรรมของสมอง และมาจากนักวิจัย 4 คนจากมหาวิทยาลัยซิดนีย์ มหาวิทยาลัยแมคควอรี มหาวิทยาลัยซิดนีย์ตะวันตก และมหาวิทยาลัยควีนส์แลนด์

ข้อมูล

ผลการวิจัยมาจากการศึกษาความสามารถของมนุษย์ในการแยกแยะภาพปลอมที่เห็นได้ชัด ภาพปลอมที่สมจริงมาก และภาพจริง โดยทดสอบ 2 รอบ

นักวิจัยใช้ภาพที่สร้างโดย Generative Adversarial Networks (GANs) ที่เผยแพร่โดย NVIDIA

ภาพใบหน้ามนุษย์ที่สร้างโดย GANs ของ NVIDIA
ภาพใบหน้ามนุษย์ที่สร้างโดย GANs ของ NVIDIA Source: https://drive.google.com/drive/folders/1EDYEYR3IB71-5BbTARQkhg73leVB9tam

ข้อมูลประกอบด้วย 25 ใบหน้า รถยนต์ และห้องนอน ที่มีระดับการแสดงผลตั้งแต่ ‘ไม่เหมือนจริง’ ถึง ‘เหมือนจริง’ สำหรับการเปรียบเทียบใบหน้า (เช่น สำหรับวัสดุไม่ปลอม) ผู้เขียนใช้ข้อมูลจากแหล่งข้อมูลของ ชุดข้อมูลต้นฉบับ Flickr-Faces-HQ (FFHQ) ของ NVIDIA dataset สำหรับการเปรียบเทียบสถานการณ์อื่น ๆ พวกเขาใช้วัสดุจาก LSUN dataset

ภาพจะถูกนำเสนอให้กับผู้เข้าร่วมทดสอบในลักษณะต่าง ๆ รวมถึงการแสดงภาพในแนวตั้งหรือกลับหัว และในความถี่ต่าง ๆ โดยทุกภาพจะถูกปรับขนาดให้ 256×256 พิกเซล

หลังจากที่รวบรวมข้อมูลทั้งหมดแล้ว มีการคัดเลือกภาพสิ่งเร้า 450 ภาพสำหรับการทดลอง

ตัวอย่างข้อมูลทดสอบ
ตัวอย่างข้อมูลทดสอบ

การทดลอง

การทดลองดำเนินการออนไลน์ผ่าน jsPsych บน pavlovia.org โดยมีผู้เข้าร่วมทดสอบ 200 คนในการประเมินข้อมูลทดสอบต่าง ๆ ภาพจะถูกแสดงเป็นเวลา 200 มิลลิวินาที ตามด้วยหน้าจอเปล่าที่จะคงอยู่จนกว่าผู้ดูจะตัดสินใจว่าภาพที่แสดงเป็น ‘ปลอม’ หรือ ‘จริง’ แต่ละภาพจะถูกแสดงเพียงครั้งเดียว และการทดลองทั้งหมดใช้เวลา 3-5 นาทีในการดำเนินการจนเสร็จ

การทดลองรอบที่สองใช้ผู้เข้าร่วมทดสอบที่ติดตั้งเครื่องมือ EEG และดำเนินการบนแพลตฟอร์ม Psychopy2 แต่ละลำดับจากทั้งหมด 20 ลำดับประกอบด้วย 40 ภาพ โดยมีภาพทั้งหมด 18,000 ภาพที่นำเสนอในการทดลอง

ข้อมูล EEG ที่รวบรวมถูกถอดรหัสโดยใช้ MATLAB และ CoSMoMVPA toolbox โดยใช้ leave-one-out cross-validation scheme ภายใต้ Linear Discriminant Analysis (LDA)

ตัวจำแนก LDA เป็นองค์ประกอบที่แยกความแตกต่างระหว่างปฏิกิริยาของสมองต่อสิ่งเร้าปลอมกับความคิดเห็นของผู้เข้าร่วมเองว่าภาพนั้นเป็นภาพปลอมหรือไม่

ผลลัพธ์

นักวิจัยสนใจที่จะดูว่าผู้เข้าร่วมทดสอบสามารถแยกแยะระหว่างใบหน้าปลอมและใบหน้าจริงได้หรือไม่ และพบว่าผู้เข้าร่วมทดสอบสามารถแยกแยะระหว่างใบหน้าจริงและใบหน้าปลอมที่ไม่เหมือนจริงได้ง่าย แต่มีความยากในการระบุใบหน้าปลอมที่สมจริงซึ่งสร้างด้วย GAN การกลับภาพหัวลงดูเหมือนจะมีผลเพียงเล็กน้อย

การแยกแยะระหว่างใบหน้าจริงและใบหน้าปลอมที่มีลักษณะเหมือนจริงในรอบที่สอง
การแยกแยะระหว่างใบหน้าจริงและใบหน้าปลอมที่มีลักษณะเหมือนจริงในรอบที่สอง

อย่างไรก็ตาม ข้อมูล EEG บ่งชี้ถึงเรื่องอื่น

‘แม้ว่าผู้สังเกตจะมีความยากในการแยกแยะระหว่างใบหน้าจริงและใบหน้าปลอม และมีแนวโน้มจำแนกใบหน้าเป็นภาพปลอมมากเกินไป แต่ข้อมูล EEG มีข้อมูลสัญญาณที่เกี่ยวข้องกับการแยกแยะระหว่างใบหน้าจริงและใบหน้าปลอม และสัญญาณนี้แตกต่างอย่างมีนัยสำคัญระหว่างใบหน้าแบบสมจริงกับแบบไม่สมจริง อีกทั้งดูเหมือนจำกัดอยู่ในช่วงการประมวลผลที่ค่อนข้างสั้น’

ความแม่นยำของ EEG กับความคิดเห็นที่ผู้เข้าร่วมรายงานว่าภาพใบหน้าเป็นภาพปลอมหรือไม่ไม่ตรงกัน โดยข้อมูล EEG เข้าใกล้ความจริงมากกว่าการรับรู้อย่างชัดแจ้งของผู้เข้าร่วม
ความแม่นยำของ EEG กับความคิดเห็นที่ผู้เข้าร่วมรายงานว่าภาพใบหน้าเป็นภาพปลอมหรือไม่ไม่ตรงกัน โดยข้อมูล EEG เข้าใกล้ความจริงมากกว่าการรับรู้อย่างชัดแจ้งของผู้เข้าร่วม

นักวิจัยสรุปว่าแม้ว่าผู้สังเกตจะมีความยากในการระบุใบหน้าปลอม แต่ใบหน้าเหล่านั้นมีการแสดงผลที่แตกต่างในระบบการมองเห็นของมนุษย์

‘ในการใช้งานเชิงปฏิบัติ เช่น ไซเบอร์ซีเคียวริตี้หรือ Deepfakes การตรวจจับใบหน้าปลอมที่มีลักษณะเหมือนจริงอาจต้องใช้การเรียนรู้ของเครื่องโดยใช้ข้อมูลภาพถ่ายสมอง แทนที่จะมุ่งวัดผลจากพฤติกรรม’

‘การทำความเข้าใจความแตกต่างระหว่างสมองและพฤติกรรมในการตรวจจับใบหน้าปลอมจะมีผลกระทบต่อวิธีการที่เราต้องจัดการกับการแพร่กระจายอย่างทั่วถึงและอาจเป็นอันตรายของข้อมูลที่สร้างขึ้นโดยระบบประดิษฐ์’

 

* การแปลงอ้างอิงภายในให้เป็นลิงก์

เผยแพร่ครั้งแรกเมื่อวันที่ 11 กรกฎาคม 2022

ผู้เขียนด้านการเรียนรู้ของเครื่อง, ผู้เชี่ยวชาญด้านการสังเคราะห์ภาพมนุษย์. อดีตหัวหน้าฝ่ายเนื้อหาการวิจัยที่ Metaphysic.ai, จนกระทั่งการรวมเข้าเป็น Brahma.ai ของ DNEG.
เว็บไซต์: martinanderson.ai
ติดต่อ: martin@martinanderson.ai