การเปิดเผยการแก้ไข AI ที่เล็กแต่สำคัญในวิดีโอที่แท้จริง

ในปี 2019 ประธานสภาผู้แทนราษฎรสหรัฐฯ นэнซี เพโลซี ถูกโจมตีโดยการแก้ไขวิดีโอแบบดีปแฟกที่มุ่งเป้าไปที่เธอ โดยการแก้ไขวิดีโอที่แท้จริงเพื่อให้เธอดูเหมือนเมา – ซึ่งเป็นเหตุการณ์ที่ไม่เกิดขึ้นจริง และถูกแชร์หลายล้านครั้งบนโซเชียลมีเดียก่อนที่ความจริงจะถูกเปิดเผย (และอาจส่งผลกระทบต่อทุนการเมืองของเธอจากผู้ที่ไม่ได้ติดตามเรื่องราว)

แม้ว่าการสร้างภาพลวงนี้ต้องใช้การแก้ไขภาพและเสียงที่ง่ายๆ มากกว่าการใช้ AI แต่ก็ยังคงเป็นตัวอย่างสำคัญของวิธีการที่การเปลี่ยนแปลงเล็กๆ ในการแสดงภาพและเสียงที่แท้จริงสามารถส่งผลกระทบอย่างรุนแรงได้

ในขณะนั้น สภาพแวดล้อมของดีปแฟกถูกครอบงำโดยระบบการเปลี่ยนใบหน้าที่ใช้แอลกอริทึม ออโต้เอนโคเดอร์ ซึ่งปรากฏตัวครั้งแรกในปี 2017 และไม่ได้ปรับปรุงคุณภาพมาตั้งแต่นั้น ระบบเหล่านี้จะพบว่ามันยากที่จะสร้างการเปลี่ยนแปลงเล็กๆ แต่สำคัญ หรือติดตามการวิจัยสมัยใหม่ เช่น การแก้ไขน้ำเสียง

เฟรมเวิร์ก ‘Neural Emotion Director’ ที่เพิ่งเปิดตัวในปี 2022 เปลี่ยนอารมณ์ของใบหน้าที่มีชื่อเสียง Source: https://www.youtube.com/watch?v=Li6W8pRDMJQ

สิ่งต่างๆ ได้เปลี่ยนแปลงไปแล้ว อุตสาหกรรมภาพยนตร์และโทรทัศน์สนใจอย่างจริงจังในการแก้ไขการแสดงของนักแสดงโดยใช้การเรียนรู้ของเครื่องในหลังการผลิต และการอำนวยความสะดวกของ AI ในการแก้ไขหลังการผลิตได้รับการวิพากษ์วิจารณ์最近

การคาดการณ์หรือสร้างความต้องการนี้ สภาพแวดล้อมการวิจัยการสร้างภาพและวิดีโอส่งผลให้เกิดโครงการมากมายที่ให้ ‘การแก้ไขท้องถิ่น’ ของการบันทึกใบหน้า แทนที่จะเปลี่ยนใบหน้าทั้งหมด: โครงการเหล่านี้รวมถึง Diffusion Video Autoencoders; Stitch it in Time; ChatFace; MagicFace; และ DISCO

การแก้ไขน้ำเสียงด้วยโครงการ MagicFace ในเดือนมกราคม 2025 Source: https://arxiv.org/pdf/2501.02260

ใบหน้าใหม่ ริ้วรอยใหม่

อย่างไรก็ตาม เทคโนโลยีที่เปิดใช้งานพัฒนามากกว่าวิธีการตรวจจับพวกมันอย่างมาก เกือบทุกวิธีการตรวจจับดีปแฟกที่ปรากฏในเอกสารวิชาการกำลังติดตามวิธีการดีปแฟกของเมื่อวานโดยใช้เซตข้อมูลของเมื่อวาน จนถึงสัปดาห์นี้ ไม่มีวิธีการใดที่กล่าวถึงศักยภาพที่เพิ่มขึ้นของระบบ AI ในการสร้างการเปลี่ยนแปลงท้องถิ่นเล็กๆ ในวิดีโอ

ตอนนี้ วิทยานิพนธ์ใหม่จากอินเดียได้กลับมาที่จุดนี้ โดยมีระบบที่พยายามระบุใบหน้าที่ถูกแก้ไข (มากกว่าการเปลี่ยน) โดยใช้เทคนิคที่อาศัย AI:

การตรวจจับการแก้ไขท้องถิ่นในดีปแฟก: วิดีโอที่แท้จริงถูกเปลี่ยนแปลงเพื่อสร้างการปลอมโดยมีการเปลี่ยนแปลงเล็กๆ เช่น คิ้วที่ยกขึ้น ลักษณะเพศที่เปลี่ยนแปลง และการเปลี่ยนแปลงน้ำเสียงไปสู่ความขุ่นเคือง (แสดงด้วยเฟรมเดียว)

ระบบของผู้เขียนมุ่งเน้นไปที่การระบุดีปแฟกที่เกี่ยวข้องกับการจัดการใบหน้าที่มีศักยภาพและท้องถิ่น – ชั้นการปลอมที่ถูกละเลยอื่นๆ แทนที่จะเน้นไปที่ความไม่สอดคล้องกันทั่วไประหว่างใบหน้าหรือความไม่ตรงกันของอัตลักษณ์ ระบบนี้มุ่งเน้นไปที่การเปลี่ยนแปลงที่ละเอียดอ่อน เช่น การเปลี่ยนแปลงน้ำเสียงเล็กๆ หรือการแก้ไขคุณลักษณะใบหน้าเฉพาะ

วิธีการนี้ใช้เครื่องหมาย Action Units (AUs) ในระบบการเข้ารหัสใบหน้า (FACS) ซึ่งกำหนดพื้นที่ใบหน้าที่สามารถเปลี่ยนแปลงได้ 64 พื้นที่ ซึ่งรวมกันเพื่อสร้างน้ำเสียง

บางส่วนของส่วนประกอบน้ำเสียง 64 ส่วนใน FACS Source: https://www.cs.cmu.edu/~face/facs.htm

ผู้เขียนประเมินวิธีการของตนเทียบกับวิธีการแก้ไขล่าสุดหลายวิธีและรายงานการเพิ่มขึ้นของประสิทธิภาพอย่างต่อเนื่อง ทั้งกับเซตข้อมูลเก่าและเวกเตอร์ 攻撃ที่ใหม่กว่ามาก:

‘โดยการใช้คุณลักษณะที่อิงจาก AU เพื่อชี้นำการแสดงวิดีโอที่เรียนรู้ผ่าน Masked Autoencoders (MAE) วิธีการของเราสามารถจับภาพการเปลี่ยนแปลงท้องถิ่นที่สำคัญสำหรับการตรวจจับการแก้ไขใบหน้าได้อย่างมีประสิทธิภาพ

‘วิธีการนี้ช่วยให้เราสามารถสร้างการแสดงแบบลาตันต์ที่รวมทั้งการแก้ไขท้องถิ่นและการเปลี่ยนแปลงที่กว้างขึ้นในวิดีโอที่มีศูนย์กลางที่ใบหน้า โดยให้คำตอบที่ครอบคลุมและยืดหยุ่นสำหรับการตรวจจับดีปแฟก’

วิทยานิพนธ์ใหม่ ชื่อเรื่อง คือ การตรวจจับการแก้ไขดีปแฟกที่มีการกระจายโดยใช้การแสดงวิดีโอที่ชี้นำโดย Action Unit และมาจากผู้เขียนสามคนจากสถาบันเทคโนโลยีอินเดียที่ Madras

วิธีการ

ตามแนวทางที่ VideoMAE วิธีการใหม่นี้เริ่มต้นด้วยการนำการตรวจจับใบหน้ามาใช้กับวิดีโอและตัวอย่างเฟรมที่มีระยะห่างเท่ากันซึ่งมีศูนย์กลางอยู่ที่ใบหน้าที่ตรวจจับได้ เฟรมเหล่านี้ถูกแบ่งออกเป็น 3D หีบ (เช่น พื้นที่ที่มีการทำงานตามเวลา) แต่ละพื้นที่จับภาพรายละเอียดพื้นที่และเวลาในท้องถิ่น

<img class=" wp-image-215019" src="https://www.unite.ai/wp-content/uploads/2025/04/schema.jpg" alt="สเคมาวิธีการใหม่: วิดีโอเข้าถูกประมวลผลด้วยการตรวจจับใบหน้าเพื่อแยกเฟรมที่มีระยะห่างเท่ากันซึ่งมีศูนย์กลางที่ใบหน้า ซึ่งจากนั้นจะถูกแบ่งออกเป็น 'ท่อ' หีบและผ่านเข้าไปในตัวเข้ารหัสที่รวมการแสดงแบบลาตันต์จากงานพรีเท็กซ์ที่พรีเทรนไว้สองงาน ผลลัพธ์เวกเตอร์ถูกใช้โดยคลาสสิฟายเออร์เพื่อกำหนดว่าวิดีโอนั้นเป็นของจริงหรือปลอม

แต่ละ 3D หีบที่มีหน้าต่างขนาดคงที่ของพิกเซล (เช่น 16×16) จากจำนวนเฟรมที่ต่อเนื่องกันเล็กๆ (เช่น 2) ซึ่งช่วยให้โมเดลเรียนรู้การเคลื่อนไหวและเปลี่ยนแปลงน้ำเสียงในระยะสั้น – ไม่ใช่แค่ดูเหมือนใบหน้า แต่ เคลื่อนไหวอย่างไร

หีบเหล่านี้ถูกฝังและ เข้ารหัสตำแหน่ง ก่อนที่จะถูกส่งเข้าไปในตัวเข้ารหัสที่ออกแบบมาเพื่อแยกแยะคุณลักษณะที่สามารถแยกความแตกต่างระหว่างวิดีโอที่แท้จริงและปลอมได้

ผู้เขียนยอมรับว่าสิ่งนี้เป็นเรื่องที่ยากโดยเฉพาะอย่างยิ่งเมื่อเผชิญกับการเปลี่ยนแปลงเล็กๆ และแก้ไขปัญหานี้โดยการสร้างตัวเข้ารหัสที่รวมการแสดงสองประเภทที่เรียนรู้ โดยใช้ กลไกการดึงดูดข้าม เพื่อรวมพวกมัน สิ่งนี้มีจุดมุ่งหมายเพื่อสร้างพื้นที่คุณลักษณะที่ละเอียดอ่อนและยืดหยุ่นมากขึ้นสำหรับการตรวจจับการแก้ไขท้องถิ่น

งานพรีเท็กซ์

การแสดงแรกเป็นตัวเข้ารหัสที่ฝึกฝนด้วยงานพรีเท็กซ์แบบอัตโนมัติ โดยมีการซ่อนส่วนใหญ่ของวิดีโอ ตัวเข้ารหัสเรียนรู้ที่จะสร้างส่วนขาดเหล่านี้ใหม่ โดยบังคับให้เข้าใจรูปแบบพื้นที่และเวลา เช่น การเคลื่อนไหวของใบหน้าหรือความสอดคล้องตามเวลา

การฝึกงานพรีเท็กซ์เกี่ยวข้องกับการซ่อนส่วนของวิดีโอเข้าและใช้เซตอัพตัวเข้ารหัส-ตัวถอดรหัสเพื่อสร้างเฟรมเดิมหรือแผนที่หน่วยการกระทำต่อเฟรมขึ้นมาใหม่ขึ้นอยู่กับงาน

อย่างไรก็ตาม วิทยานิพนธ์ระบุว่าสิ่งนี้ไม่ได้ให้ความไวต่อการตรวจจับการแก้ไขที่ละเอียดอ่อน และผู้เขียนจึงแนะนำตัวเข้ารหัสที่สองที่ฝึกฝนเพื่อตรวจจับหน่วยการกระทำของใบหน้า (AUs) สำหรับงานนี้ โมเดลเรียนรู้ที่จะสร้างแผนที่หน่วยการกระทำที่หนาแน่นสำหรับแต่ละเฟรม โดยอาศัยการเข้ารหัสที่ซ่อนบางส่วน

ตัวอย่างเพิ่มเติมของหน่วยการกระทำของใบหน้า (FAUs หรือ AUs) Source: https://www.eiagroup.com/the-facial-action-coding-system/

เมื่อตัวเข้ารหัสทั้งสองถูกพรีเทรนแล้ว การแสดงผลของพวกมันจะถูกผสมผสานโดยใช้การดึงดูดข้าม แทนที่จะรวมคุณลักษณะทั้งสองชุดเพียงอย่างเดียว โมเดลจะใช้คุณลักษณะที่อิงจาก AU เป็น คำถาม ที่ชี้นำการดึงดูดความสนใจเหนือคุณลักษณะที่เรียนรู้จากงานพรีเท็กซ์แบบอัตโนมัติ

ผลลัพธ์คือการแสดงแบบลาตันต์ที่รวมทั้งบริบทการเคลื่อนไหวและรายละเอียดระดับน้ำเสียงในท้องถิ่น พื้นที่คุณลักษณะที่ผสมผสานนี้จะถูกใช้สำหรับงานการจำแนกประเภทสุดท้าย: การคาดเดาว่าวิดีโอนั้นเป็นของจริงหรือปลอม

ข้อมูลและการทดสอบ

การนำไปใช้

ผู้เขียนนำระบบไปใช้โดยการประมวลผลวิดีโอเข้าด้วยเฟรมเวิร์กการตรวจจับใบหน้า FaceXZoo ที่ใช้ PyTorch โดยได้รับเฟรม 16 เฟรมที่มีศูนย์กลางที่ใบหน้าจากแต่ละคลิป งานพรีเท็กซ์ที่กล่าวถึงข้างต้นถูกฝึกฝนบนเซตข้อมูล CelebV-HQ ซึ่งประกอบด้วยวิดีโอใบหน้า 35,000 วิดีโอที่มีคุณภาพสูง

ตัวอย่างจากวิทยานิพนธ์ดั้งเดิมจากเซตข้อมูล CelebV-HQ ที่ใช้ในโครงการใหม่ Source: https://arxiv.org/pdf/2207.12393

ครึ่งหนึ่งของตัวอย่างข้อมูลถูกซ่อน ซึ่งบังคับให้ระบบเรียนรู้หลักการทั่วไปแทนการ การปรับให้เหมาะสมมากเกินไป กับข้อมูลแหล่ง

สำหรับงานการสร้างเฟรมใหม่ โมเดลถูกฝึกให้คาดเดาบริเวณที่หายไปของเฟรมวิดีโอโดยใช้ ข้อเสีย L1 โดยย่อความแตกต่างระหว่างเนื้อหาที่แท้จริงและเนื้อหาที่สร้างขึ้นใหม่

สำหรับงานที่สอง โมเดลถูกฝึกให้สร้างแผนที่สำหรับหน่วยการกระทำของใบหน้า 16 หน่วย ซึ่งแต่ละหน่วยแสดงถึงการเคลื่อนไหวของกล้ามเนื้อที่ละเอียดอ่อนในพื้นที่ เช่น คิ้ว ผู้หญิง จมูก และริมฝีปาก โดยใช้ข้อเสีย L1

หลังการพรีเทรน ตัวเข้ารหัสทั้งสองถูกผสมผสานและปรับให้เหมาะสมสำหรับการตรวจจับดีปแฟกโดยใช้เซตข้อมูล FaceForensics++ ซึ่งมีวิดีโอที่แท้จริงและปลอม

เซตข้อมูล FaceForensics++ เป็นจุดยึดหลักในการตรวจจับดีปแฟกมาตั้งแต่ปี 2017 แม้ว่าจะล้าสมัยในด้านเทคนิคการสร้างใบหน้าล่าสุดก็ตาม Source: https://www.youtube.com/watch?v=x2g48Q2I2ZQ

ในการแก้ไขปัญหา ความไม่สมดุลของชั้นเรียน ผู้เขียนใช้ Focal Loss (รูปแบบหนึ่งของ ข้อเสียความไม่แน่นอนแบบครอสเอนโทรปี) ซึ่งเน้นไปที่ตัวอย่างที่ท้าทายมากกว่าในช่วงการฝึก

การฝึกทั้งหมดดำเนินการบน GPU RTX 4090 เดียวที่มี VRAM 24Gb โดยมีขนาดแบตช์ 8 สำหรับ 600 เอพพอค (การตรวจสอบข้อมูลทั้งหมด) โดยใช้ พรีเทรน จุดเริ่มต้นจาก VideoMAE เพื่อสร้างน้ำหนักสำหรับงานพรีเท็กซ์ทั้งสอง

การทดสอบ

การประเมินเชิงปริมาณและคุณภาพดำเนินการเทียบกับวิธีการตรวจจับดีปแฟกหลายวิธี: FTCN; RealForensics; Lip Forensics; EfficientNet+ViT; Face X-Ray; Alt-Freezing; CADMM; LAANet; และ BlendFace’s SBI ในทุกกรณี โค้ดแหล่งที่มาสำหรับเฟรมเวิร์กเหล่านี้มีอยู่

การทดสอบมุ่งเน้นไปที่ดีปแฟกที่แก้ไขท้องถิ่น โดยที่เฉพาะส่วนหนึ่งของคลิปต้นฉบับถูกเปลี่ยนแปลง เทคนิคที่ใช้ในการทดสอบเหล่านี้รวมถึง Diffusion Video Autoencoders (DVA); Stitch It In Time (STIT); Disentangled Face Editing (DFE); Tokenflow; VideoP2P; Text2Live; และ FateZero

ผู้เขียนระบุ:

‘เพื่อให้แน่ใจว่ามีการครอบคลุมการเปลี่ยนแปลงใบหน้าแบบต่างๆ อย่างครอบคลุม เราได้รวมคุณลักษณะใบหน้าและคุณลักษณะที่แตกต่างกันไว้ สำหรับการแก้ไขคุณลักษณะใบหน้า เราเปลี่ยนขนาดตา ระยะห่างระหว่างตาและคิ้ว อัตราส่วนจมูก ระยะห่างระหว่างจมูกและปาก อัตราส่วนริมฝีปาก และอัตราส่วนแก้ม สำหรับการแก้ไขคุณลักษณะใบหน้า เราเปลี่ยนน้ำเสียง เช่น ยิ้ม โกรธ ความขุ่นเคือง และความเศร้า

‘ความหลากหลายนี้มีความสำคัญอย่างยิ่งในการตรวจสอบความแข็งแกร่งของโมเดลในการตรวจจับดีปแฟก ในทั้งหมด เราได้สร้างวิดีโอ 50 วิดีโอสำหรับเทคนิคการแก้ไขแต่ละอย่างและตรวจสอบความแข็งแกร่งของวิธีการของเราในการตรวจจับดีปแฟก’

เซตข้อมูลดีปแฟกที่เก่ากว่านี้ยังรวมอยู่ในการทดสอบด้วย เช่น Celeb-DFv2 (CDF2); DeepFake Detection (DFD); DeepFake Detection Challenge (DFDC); และ WildDeepfake (DFW)

เมตริกการประเมิน ได้แก่ พื้นที่ใต้เส้นโค้ง (AUC); ความแม่นยำเฉลี่ย; และคะแนน F1 เฉลี่ย

การเปรียบเทียบในดีปแฟกที่แก้ไขท้องถิ่นล่าสุดแสดงให้เห็นว่าวิธีการที่เสนอให้เหนือกว่าวิธีอื่นๆ ทั้งหมด โดยมีการเพิ่มขึ้น 15 ถึง 20 เปอร์เซ็นต์ในทั้ง AUC และความแม่นยำเฉลี่ยเมื่อเทียบกับวิธีที่ดีที่สุดถัดไป

ผู้เขียนให้การเปรียบเทียบการตรวจจับที่มองเห็นได้สำหรับมุมมองที่แก้ไขท้องถิ่น (ซึ่งเราสามารถแสดงได้เพียงบางส่วนเนื่องจากขาดพื้นที่):

วิดีโอที่แท้จริงถูกเปลี่ยนแปลงโดยใช้การแก้ไขท้องถิ่นสามแบบเพื่อสร้างการปลอมที่มีลักษณะคล้ายกับของจริง มีเฟรมตัวอย่างพร้อมกับคะแนนการตรวจจับการปลอมเฉลี่ยสำหรับวิธีการแต่ละวิธี ในขณะที่เครื่องตรวจจับที่มีอยู่ต้องดิ้นรนกับการแก้ไขเหล่านี้ วิธีการที่เสนอให้ได้คะแนนความน่าเชื่อถือสูงกว่าสำหรับการปลอมเหล่านี้

นักวิจัยแสดงความคิดเห็น:

‘วิธีการตรวจจับดีปแฟกที่มีอยู่ [LAANet], [SBI], [AltFreezing] และ [CADMM] มีประสิทธิภาพลดลงอย่างมากเมื่อเผชิญกับวิธีการสร้างดีปแฟกที่ใหม่กว่า วิธีการที่มีอยู่เหล่านี้แสดง AUC ต่ำถึง 48-71% ซึ่งแสดงให้เห็นถึงความสามารถในการทั่วไปที่ไม่ดีสำหรับดีปแฟกที่ใหม่กว่า

‘ในทางกลับกัน วิธีการของเรามีการทั่วไปที่แข็งแกร่ง โดยบรรลุ AUC ในช่วง 87-93% ความคล้ายคลึงกันนี้เห็นได้ชัดในกรณีของความแม่นยำเฉลี่ยเช่นกัน ตามที่แสดงด้านล่าง วิธีการของเรายังได้รับประสิทธิภาพสูงในเซตข้อมูลดีปแฟกแบบดั้งเดิม โดยเกิน AUC 90% และแข่งขันกับวิธีการตรวจจับดีปแฟกที่ใหม่กว่า’

การแสดงผลในเซตข้อมูลดีปแฟกแบบดั้งเดิมแสดงให้เห็นว่าวิธีการที่เสนอให้แข่งขันกับวิธีการที่นำมาใช้ล่าสุด โดยบ่งชี้ถึงความสามารถในการทั่วไปที่แข็งแกร่งในหลายประเภทของการปลอม

ผู้เขียนสังเกตว่าการทดสอบเหล่านี้เกี่ยวข้องกับโมเดลที่สามารถมองว่าเป็นแบบเก่า ซึ่งถูกนำมาใช้ก่อนปี 2020

เพื่อแสดงให้เห็นถึงประสิทธิภาพของโมเดลใหม่ในลักษณะที่กว้างขึ้น ผู้เขียนให้ตารางที่กว้างขึ้นที่ด้านท้าย ซึ่งเรามีพื้นที่เพียงบางส่วนเท่านั้น:

ในตัวอย่างเหล่านี้ วิดีโอที่แท้จริงถูกเปลี่ยนแปลงโดยใช้การแก้ไขท้องถิ่นสามแบบเพื่อสร้างการปลอมที่มีลักษณะคล้ายกับของจริง คะแนนความน่าเชื่อถือเฉลี่ยที่แสดงถึงการปลอมเหล่านี้บ่งชี้ว่าวิธีการที่เสนอให้ตรวจจับการปลอมเหล่านี้ได้ดีกว่าวิธีการอื่นๆ ที่นำมาใช้

ผู้เขียนแถลงว่าวิธีการของพวกเขามีคะแนนความน่าเชื่อถือมากกว่า 90% สำหรับการตรวจจับการแก้ไขท้องถิ่น ในขณะที่วิธีการตรวจจับที่มีอยู่ยังคงต่ำกว่า 50% ในงานเดียวกัน พวกเขาวิเคราะห์ความแตกต่างนี้ว่าเป็นหลักฐานของความไวต่อและความสามารถในการทั่วไปของวิธีการของตน และเป็นตัวบ่งชี้ถึงความท้าทายที่วิธีการปัจจุบันต้องเผชิญในการจัดการกับการเปลี่ยนแปลงใบหน้าที่ละเอียดอ่อนเหล่านี้

เพื่อประเมินความน่าเชื่อถือของโมเดลภายใต้สภาพแวดล้อมจริง และตามวิธีการที่กำหนดโดย CADMM ผู้เขียนทดสอบประสิทธิภาพของโมเดลในวิดีโอที่เปลี่ยนแปลงด้วยการบิดเบือนร่วมสมัย เช่น การปรับเปลี่ยนความอิ่มตัวและคอนทราสต์ มัว โป๊ะ และอาร์ติแฟคต์ของการบีบอัดแบบบล็อก เช่นเดียวกับเสียงเพิ่มเติม

ผลลัพธ์แสดงให้เห็นว่าความถูกต้องของการตรวจจับยังคงเสถียรทั่วทั้งการบิดเบือนเหล่านี้ การลดลงเดียวที่มีนัยสำคัญเกิดขึ้นเมื่อมีการแนะนำเสียงเพิ่มเติม ซึ่งทำให้ประสิทธิภาพลดลงเล็กน้อย การเปลี่ยนแปลงอื่นๆ มีผลกระทบน้อย

ภาพแสดงให้เห็นว่าความถูกต้องของการตรวจจับเปลี่ยนแปลงไปภายใต้การบิดเบือนวิดีโอต่างๆ วิธีการใหม่คงเสถียรในกรณีส่วนใหญ่ โดยมีการลดลงเล็กน้อยใน AUC การลดลงที่สำคัญที่สุดเกิดขึ้นเมื่อมีการแนะนำเสียงเพิ่มเติม

ผลลัพธ์เหล่านี้ ผู้เขียนเสนอว่า ชี้ให้เห็นว่าความสามารถของวิธีการในการตรวจจับการแก้ไขท้องถิ่นนั้นไม่ถูกขัดขวางได้ง่ายโดยการบิดเบือนคุณภาพวิดีโอทั่วไป ซึ่งสนับสนุนความแข็งแกร่งที่อาจเกิดขึ้นในสภาพแวดล้อมจริง

สรุป

การปลอมแปลง AI อยู่ในจิตสำนึกของสาธารณชนหลักๆ ในแนวคิดแบบดั้งเดิมของดีปแฟก โดยที่อัตลักษณ์ของบุคคลถูกบังคับให้เข้ากับร่างกายของบุคคลอื่นที่อาจกำลังดำเนินการซึ่งตรงกันข้ามกับหลักการของเจ้าของอัตลักษณ์ ความเข้าใจนี้กำลังปรับปรุงอย่างช้าๆ เพื่อรับทราบถึงความสามารถที่ซ่อนเร้นของระบบวิดีโอที่สร้างขึ้น (ในดีปแฟกแบบใหม่) และความสามารถของโมเดลการกระจายแบบ 잠재 (LDMs) โดยทั่วไป

ดังนั้น จึงสมเหตุสมผลที่จะคาดหวังว่าการแก้ไขท้องถิ่นที่วิทยานิพนธ์ใหม่นี้เกี่ยวข้องอาจไม่ได้รับความสนใจจากสาธารณชนจนกว่าเหตุการณ์สำคัญแบบ Pelosi จะเกิดขึ้น เนื่องจากผู้คนถูกเบี่ยงเบนไปจากความเป็นไปได้นี้โดยหัวข้อที่น่าสนใจยิ่งขึ้น เช่น การฉ้อโกงดีปแฟกแบบวิดีโอ

อย่างไรก็ตาม ไม่เหมือนกับดารานักแสดง นิโคลัส เคจ ซึ่งแสดงความกังวลอย่างต่อเนื่องเกี่ยวกับความเป็นไปได้ที่กระบวนการหลังการผลิตจะ ‘แก้ไข’ การแสดงของนักแสดง เราควรส่งเสริมความตระหนักเกี่ยวกับการ ‘แก้ไข’ วิดีโอที่ ‘ละเอียด’ ประเภทนี้ – ไม่เพียงแต่เพราะเรามีความไวต่อการเปลี่ยนแปลงเล็กๆ ของน้ำเสียงมากโดยธรรมชาติเท่านั้น แต่ยังเพราะบริบทสามารถเปลี่ยนแปลงผลกระทบของการเคลื่อนไหวใบหน้าเล็กๆ ได้อย่างมาก (พิจารณาผลกระทบที่รบกวนของการยิ้มแม้แต่ในงานศพ)

เผยแพร่ครั้งแรกวันพุธที่ 2 เมษายน 2025