มุมมองของ Anderson
ตรวจจับ Deepfake ด้วยลักษณะชีวมิติที่เป็นเอกลักษณ์ของมนุษย์
เพิ่ม Unite.AI ลงในแหล่งข้อมูลที่คุณต้องการบน Google
งานวิจัยใหม่จากนักวิจัยในอิตาลีและเยอรมนีเสนอวิธีตรวจจับวิดีโอ Deepfake จากพฤติกรรมทางชีวมิติของใบหน้าและเสียง แทนการพึ่งร่องรอยผิดปกติที่ระบบสังเคราะห์ใบหน้าทิ้งไว้ วิธีใส่ลายน้ำที่มีค่าใช้จ่ายสูง หรือแนวทางอื่นที่ยุ่งยากกว่า
เฟรมเวิร์กนี้ต้องได้รับวิดีโอจริงของบุคคลเป้าหมายที่หลากหลายอย่างน้อย 10 วิดีโอ แต่ไม่จำเป็นต้องฝึก ฝึกใหม่ หรือเพิ่มข้อมูลฝึกเฉพาะแต่ละกรณี เพราะโมเดลภายในได้เรียนรู้ระยะห่างของเวกเตอร์ที่คาดว่าจะพบระหว่างวิดีโอจริงกับวิดีโอปลอมในลักษณะที่นำไปใช้ได้ทั่วไปแล้ว
การเรียนรู้แบบเปรียบต่างเป็นพื้นฐานของ POI-Forensics เวกเตอร์ที่สกัดจากข้อมูลอ้างอิงเฉพาะแต่ละบุคคลถูกเปรียบเทียบกับเวกเตอร์ชนิดเดียวกันในวิดีโอที่อาจปลอม โดยใช้ลักษณะจากทั้งภาพและเสียง แหล่งที่มา: https://arxiv.org/pdf/2204.03083.pdf
แนวทางที่ชื่อ POI-Forensics นี้อาศัยลักษณะการเคลื่อนไหวและเสียงที่เป็นเอกลักษณ์ของบุคคลจริงซึ่งถูกนำตัวตนไปทำ Deepfake
ระบบเช่นนี้อาจช่วยให้สร้างระบบยืนยันความแท้ที่เตรียมไว้ล่วงหน้าและทำงานอัตโนมัติเต็มรูปแบบสำหรับคนดัง นักการเมือง อินฟลูเอนเซอร์ YouTube และบุคคลอื่นที่มีวิดีโอให้เข้าถึงจำนวนมากได้ อีกทั้งอาจปรับเป็นแพลตฟอร์มให้เหยื่อ Deepfake ทั่วไปใช้พิสูจน์ความไม่แท้ของสื่อที่ใช้โจมตีตน
ภาพแสดงคุณลักษณะที่สกัดจากวิดีโอจริงและปลอมของบุคคลสี่คนใน POI-Forensics ผ่าน เฟรมเวิร์ก t-SNE
ผู้เขียนอ้างว่า POI-Forensics ทำสถิติระดับแนวหน้าใหม่ในการตรวจจับ Deepfake โดยรายงานว่าคะแนน AUC ในชุดข้อมูลที่ใช้กันทั่วไปเพิ่มขึ้น 3%, 10% และ 7% สำหรับวิดีโอคุณภาพสูง คุณภาพต่ำ และวิดีโอที่ถูกโจมตี ตามลำดับ นักวิจัยสัญญาว่าจะเผยแพร่ โค้ด ในเร็วๆ นี้
ประสิทธิภาพของ POI-Forensics เทียบกับกรอบงาน SOTA คู่แข่ง pDFDC, DeepFakeTIMIT, FakeAVCelebV2 และ KoDF การฝึกในแต่ละกรณีใช้ FaceForensics++ และ ID-Reveal ของผู้เขียนบน VoxCeleb2 ผลครอบคลุมวิดีโอคุณภาพสูงและต่ำ
ผู้เขียนระบุว่า:
“การฝึกใช้เฉพาะวิดีโอจริงที่เห็นใบหน้าขณะพูด ดังนั้นตัวตรวจจับจึงไม่ขึ้นกับวิธีดัดแปลงวิธีใดโดยเฉพาะ และมีความสามารถในการนำไปใช้กับกรณีอื่นได้สูงสุด นอกจากนี้ วิธีของเราตรวจจับได้ทั้งการโจมตีแบบช่องทางเดียว ได้แก่ เสียงอย่างเดียวหรือวิดีโออย่างเดียว และหลายช่องทาง ได้แก่ เสียงร่วมกับวิดีโอ อีกทั้งทนต่อวิดีโอคุณภาพต่ำหรือเสียหาย เพราะอาศัยเพียงคุณลักษณะเชิงความหมายระดับสูง”
บทความ ใหม่นี้นำองค์ประกอบบางส่วนจากโครงการ ID-Reveal ปี 2021 ซึ่งอาศัยข้อมูลภาพของผู้เขียนบางคนมาใช้ บทความมีชื่อ Audio-Visual Person-of-Interest DeepFake Detection และเป็นความร่วมมือระหว่างมหาวิทยาลัย Federico II ในนาโปลี กับมหาวิทยาลัยเทคนิคมิวนิก
การแข่งขันด้าน Deepfake และการตรวจจับ
การเอาชนะระบบตรวจจับลักษณะนี้ต้องอาศัยระบบ Deepfake และระบบสังเคราะห์มนุษย์ที่อย่างน้อยจำลองสัญญาณชีวมิติทางภาพและเสียงของบุคคลเป้าหมายได้ เทคโนโลยีเช่นนี้ยังต้องใช้เวลาอีกหลายปี และมีแนวโน้มจะจำกัดอยู่ในระบบปิดแบบกรรมสิทธิ์ที่มีราคาสูงของบริษัทเทคนิคพิเศษทางภาพ ซึ่งได้เปรียบจากความร่วมมือและการมีส่วนร่วมของบุคคลที่ถูกจำลอง หรือผู้ดูแลกองมรดกในกรณีผู้เสียชีวิต
แนวทางก่อนหน้าของผู้เขียน ID-Reveal ใช้ข้อมูลภาพเท่านั้น แหล่งที่มา: https://arxiv.org/pdf/2012.02512.pdf
วิธี Deepfake ที่ประสบความสำเร็จและเป็นที่นิยม เช่น FaceSwap และ DeepFaceLab/Live ปัจจุบันยังไม่สามารถจำลองชีวมิติได้ละเอียดเช่นนี้ อย่างดีที่สุดจึงอาศัย นักเลียนแบบที่มีความสามารถ แล้วนำตัวตนปลอมไปซ้อนทับ และโดยทั่วไปมักใช้วิดีโอจากสภาพแวดล้อมจริงของคนที่มีลักษณะคล้ายกันมากกว่า โครงสร้างโค้ดหลักปี 2017 ที่มีความเป็นโมดูลต่ำและยังเป็นต้นทางของ DFL กับ FaceSwap ก็ไม่ได้เอื้อให้เพิ่มความสามารถนี้
ชุดโปรแกรม Deepfake สองตัวหลักนี้อาศัย autoencoder ส่วนแนวทางสังเคราะห์มนุษย์อื่นอาจใช้ Generative Adversarial Network (GAN) หรือ Neural Radiance Field (NeRF) เพื่อสร้างตัวตนมนุษย์ขึ้นใหม่ แต่ทั้งสองสายวิจัยยังต้องทำงานอีกหลายปี แม้เพียงเพื่อสร้างวิดีโอมนุษย์ที่สมจริงเหมือนภาพถ่ายอย่างสมบูรณ์
ยกเว้นด้านเสียงหรือเสียงพูดปลอม การจำลองชีวมิติยังอยู่ลำดับท้ายๆ ของโจทย์ที่การสังเคราะห์ภาพมนุษย์ต้องเผชิญ อย่างไรก็ตาม การสร้างสีสันของเสียงและคุณภาพเสียงอื่นขึ้นใหม่ไม่ได้จำลองนิสัยเฉพาะ สัญญาณที่บ่งบอกตัวตน หรือวิธีประกอบความหมายในการพูดของบุคคลจริง ดังนั้น แม้เสียงที่ AI สร้างจะสมบูรณ์แบบ ก็ไม่ได้ลบกำแพงป้องกันที่ความแท้ทางชีวมิติอาจมอบให้
เฉพาะใน Arxiv ก็มีการ เผยแพร่แนวทางและนวัตกรรมตรวจจับ Deepfake หลายอย่างทุกสัปดาห์ วิธีล่าสุดมีทั้ง ความสอดคล้องระหว่างเสียงกับใบหน้า, ฮิสโตแกรมรูปแบบไบนารีเฉพาะที่ (FF-LBPH), การรับรู้ของมนุษย์ต่อเสียง Deepfake, การวิเคราะห์ขอบใบหน้า, การคำนึงถึงการลดคุณภาพของวิดีโอ และ นิติวิทยาศาสตร์เชิงวิถี หรือ Forensic Ballistics รวมถึงแนวทางอื่นอีกมาก
การวิเคราะห์ฮิสโตแกรมแบบแบ่งส่วนเป็นหนึ่งในเทคนิคล่าสุดที่เสนอเพื่อปรับปรุงการตรวจจับ Deepfake แหล่งที่มา: https://arxiv.org/pdf/2203.09928.pdf
แนวทาง ข้อมูล และสถาปัตยกรรม
POI-Forensics ยืนยันตัวตนแบบหลายช่องทาง โดยใช้ soft biometrics หรือลักษณะชีวมิติจากสัญญาณทางภาพและเสียง เฟรมเวิร์กมีเครือข่ายเสียงและวิดีโอแยกกัน ซึ่งสร้างข้อมูลเวกเตอร์ลักษณะเฉพาะเพื่อนำไปเทียบกับคุณลักษณะชนิดเดียวกันที่สกัดจากวิดีโอซึ่งอาจเป็น Deepfake ที่กำลังตรวจสอบ
สถาปัตยกรรมเชิงแนวคิดของ POI-Forensics
สามารถวิเคราะห์คลิปเป้าหมายแยกด้านเสียงหรือวิดีโอ หรือรวมทั้งสองด้าน เพื่อให้ได้ดัชนีความคล้ายคลึงของบุคคลที่สนใจ (POI) ฟังก์ชันความสูญเสียแบบเปรียบต่างที่ใช้อาศัย ความร่วมมือทางวิชาการ ปี 2021 ระหว่าง Google Research, Boston University, Snap Inc. (SNAP ) และ MIT
ชุดข้อมูลพื้นฐานแบ่งตามตัวบุคคล ใช้ 4608 บุคคลสำหรับฝึกและอีก 512 บุคคลสำหรับตรวจสอบความถูกต้อง โดยตัด 500 บุคคลที่อยู่ใน FakeAVCelebV2 ซึ่งเป็นชุดข้อมูลทดสอบที่กล่าวถึงด้านล่างออก เพื่อไม่ให้ผลลัพธ์เอนเอียง
เครือข่ายทั้งสองฝึกเป็นเวลา 12 เอพ็อก โดยมีขนาดแบตช์สูงผิดปกติที่ระบุเป็น 2304 แบตช์ต่อเอพ็อก แต่ละแบตช์ประกอบด้วยช่วงวิดีโอ 8×8 ช่วง หรือ 8 ช่วงสำหรับแต่ละคนจาก 8 คน ใช้ตัวปรับค่า Adam กับ การลดค่าน้ำหนักแบบแยกส่วน ที่อัตราการเรียนรู้ 10−4 และค่าการลดน้ำหนัก 0.01
การทดสอบและผลลัพธ์
ชุดข้อมูล Deepfake ที่ทดสอบ ได้แก่ ชุดข้อมูลรุ่นตัวอย่างของ DeepFake Detection Challenge ซึ่งมีการสลับใบหน้าของ 68 บุคคล โดยเลือก 44 บุคคลที่มีวิดีโอเกี่ยวข้องมากกว่า 9 วิดีโอ รวมเป็นวิดีโอจริง 920 และวิดีโอปลอม 2925 วิดีโอ; DeepFake-TIMIT ซึ่งเป็นชุดข้อมูลจาก GAN ที่มีวิดีโอ 320 วิดีโอของ 32 บุคคล และระบุยอดรวมวิดีโอจริง 290 กับวิดีโอปลอม 580 วิดีโอ ความยาวอย่างน้อย 4 วินาที; FakeAVCelebV2 ซึ่งมีวิดีโอจริง 500 วิดีโอจาก Voxceleb2 และวิดีโอปลอมประมาณ 20,000 วิดีโอจากหลายชุดข้อมูล โดยเพิ่มเสียงโคลนปลอมด้วย SV2TTS เพื่อให้เข้ากันได้; และ KoDF ชุดข้อมูล Deepfake เกาหลีที่มี 403 บุคคลซึ่งถูกปลอมด้วย FaceSwap, DeepFaceLab และ FSGAN รวมทั้ง First Order Motion Models (FOMM) สามแบบ
ชุดข้อมูลหลังยังมีการสังเคราะห์ใบหน้าที่ขับเคลื่อนด้วยเสียงจาก ATFHP และผลลัพธ์จาก Wav2Lip โดยผู้เขียนใช้ชุดข้อมูลที่ดัดแปลงมาซึ่งมีวิดีโอจริง 276 และวิดีโอปลอม 544 วิดีโอ
ตัวชี้วัดประกอบด้วยพื้นที่ใต้เส้นโค้ง ROC (AUC) และอัตราแจ้งเตือนผิดประมาณ 10% ซึ่งอาจเป็นปัญหาสำหรับเฟรมเวิร์กที่นำข้อมูลปลอมมาฝึกด้วย แต่ข้อกังวลนี้ถูกขจัดไปจากการที่ POI-Forensics รับเฉพาะวิดีโอจริงเป็นอินพุต
เปรียบเทียบวิธีกับตัวตรวจจับ Deepfake ของ Seferbekov ซึ่งได้อันดับหนึ่งใน การแข่งขัน Kaggle Deepfake Detection; FTCN หรือ Fully Temporal Convolution Network ซึ่งเป็นความร่วมมือของมหาวิทยาลัยเซี่ยเหมินในจีนกับ Microsoft (MSFT ) Research Asia; LipForensics งานร่วมปี 2021 ของ Imperial College London กับ Facebook; และ ID-Reveal โครงการก่อนหน้าของผู้วิจัยบางคนที่ไม่ใช้ข้อมูลเสียง และใช้โมเดลรูปร่างสามมิติที่ปรับเปลี่ยนได้ร่วมกับเกมแบบปฏิปักษ์เพื่อตรวจจับผลลัพธ์ปลอม
ผลลัพธ์ในตารางข้างต้นแสดงว่า POI-Forensics ทำได้ดีกว่าวิธีอ้างอิงชั้นนำ Seferbekov อยู่ 2.5% ใน AUC และ 1.5% ในความแม่นยำ ส่วนผลในชุดข้อมูลอื่นที่คุณภาพสูงมีการแข่งขันใกล้เคียงกันมากกว่า
อย่างไรก็ตาม วิธีใหม่มีข้อได้เปรียบเด่นชัดเหนือวิธีอ้างอิงคู่แข่งทุกวิธีสำหรับวิดีโอคุณภาพต่ำ ซึ่งยังเป็น บริบทที่น่าจะพบได้มากที่สุด ที่ Deepfake อาจหลอกผู้ชมทั่วไปได้ โดยอาศัยสภาพการณ์ในโลกจริง
ผู้เขียนยืนยันว่า:
“ในสถานการณ์ที่ท้าทายนี้ มีเพียงแนวทางที่อาศัยตัวตนเท่านั้นที่ยังให้ผลดี เพราะอาศัยคุณลักษณะเชิงความหมายระดับสูงซึ่งทนต่อความเสียหายของภาพได้ค่อนข้างดี”
เมื่อพิจารณาว่า POI-Forensics ใช้วิดีโอจริงเท่านั้นเป็นข้อมูลต้นทาง ความสำเร็จนี้จึงยิ่งมีน้ำหนัก และชี้ว่าการใช้ลักษณะชีวมิติที่เป็นของเหยื่อ Deepfake เองเป็นแนวทางที่ควรพัฒนาต่อ เพื่อออกจากสงครามเย็นด้านร่องรอยผิดปกติระหว่างซอฟต์แวร์ Deepfake กับระบบตรวจจับ
ในการทดสอบสุดท้าย นักวิจัยเพิ่มสัญญาณรบกวนแบบปฏิปักษ์ลงในอินพุต ซึ่งเป็นวิธีที่หลอกตัวจำแนกได้อย่างน่าเชื่อถือ เทคนิค fast gradient sign method ที่มีมานานแล้วก็ยังได้ผลดีเป็นพิเศษในแง่นี้
ตามที่คาด กลยุทธ์โจมตีแบบปฏิปักษ์ลดอัตราความสำเร็จของทุกวิธีในทุกชุดข้อมูล โดย AUC ลดลง 10–38% อย่างไรก็ตาม มีเพียง POI-Forensics และ ID-Reveal ซึ่งเป็นวิธีก่อนหน้าของผู้เขียน ที่รักษาประสิทธิภาพระดับสมเหตุสมผลไว้ได้ในสถานการณ์นี้ จึงบ่งชี้ว่าคุณลักษณะระดับสูงที่เกี่ยวกับ soft biometrics ทนต่อการหลบเลี่ยงการตรวจจับ Deepfake ได้อย่างโดดเด่น
ผู้เขียนสรุปว่า:
“โดยรวม เราเชื่อว่าวิธีของเราเป็นก้าวแรก โดยเฉพาะการใช้คุณลักษณะเชิงความหมายระดับสูงเป็นทิศทางที่มีแนวโน้มสำหรับการวิจัยในอนาคต นอกจากนี้ การวิเคราะห์หลายช่องทางยังอาจเสริมด้วยข้อมูลจากโดเมนอื่น เช่น ข้อมูลข้อความ”
เผยแพร่ครั้งแรกวันที่ 8 เมษายน 2022
