มุมมองของ Anderson
นักวิจัยพบลักษณะที่คงทนของ Deepfake ซึ่งอาจช่วยในการตรวจจับระยะยาว

ประเด็นสำคัญการรบกวนความสม่ำเสมอในดีพเฟกให้สัญญาณตรวจจับที่ทนทานต่อการปรับปรุงเทคโนโลยีการสังเคราะห์
ดูเพิ่มเติม
- การรบกวนความสม่ำเสมอในดีพเฟกให้สัญญาณตรวจจับที่ทนทานต่อการปรับปรุงเทคโนโลยีการสังเคราะห์
- โมดูล P-fake Generator แปลงวิดีโอจริงเป็นดีพเฟกปลอมเพื่อฝึกตัวตรวจจับโดยไม่ต้องใช้ข้อมูลดีพเฟกจริง
- การทดสอบข้ามชุดข้อมูลแสดงให้เห็นว่าวิธีนี้มีประสิทธิภาพเหนือกว่าการตรวจจับที่ทันสมัยถึง 10 เปอร์เซ็นต์บน Deepwild
นับตั้งแต่การเกิดขึ้นของโซลูชันการตรวจจับ Deepfakes ในปี 2018 ส่วนการวิจัยด้านการมองเห็นของคอมพิวเตอร์และความปลอดภัยได้พยายามที่จะกำหนดลักษณะที่ สำคัญ ของวิดีโอ Deepfakes – สัญญาณที่สามารถต้านทานการปรับปรุงเทคโนโลยีการสังเคราะห์ใบหน้าที่ได้รับความนิยม (เช่น แพ็กเกจ Deepfake ที่ใช้โครงข่ายเข้ารหัสอัตโนมัติ เช่น DeepFaceLab และ FaceSwap และการใช้ โครงข่ายปฏิปักษ์เชิงกำเนิด (GAN) เพื่อสร้างซ้ำ จำลองหรือเปลี่ยนแปลงใบหน้าของมนุษย์)
สัญญาณบ่งชี้หลายอย่าง เช่น การขาดการกระพริบตา ถูกทำให้ไม่เกี่ยวข้องโดยการปรับปรุง Deepfakes ในขณะที่การใช้เทคนิค digital provenance (เช่น Content Authenticity Initiative ที่นำโดย Adobe ) – รวมถึงแนวทาง blockchain และ การทำเครื่องหมายดิจิทัล ของภาพถ่ายต้นฉบับ – อาจต้องมีการเปลี่ยนแปลงที่กว้างขวางและแพงในการเปลี่ยนแปลงรูปภาพต้นฉบับที่มีอยู่บนอินเทอร์เน็ต หรือจะต้องอาศัยความพยายามร่วมกันอย่างมีนัยสำคัญระหว่างประเทศและรัฐบาลในการสร้างระบบการตรวจสอบและยืนยันตัวตน
ดังนั้นจึงมีประโยชน์อย่างมากหากสามารถระบุลักษณะที่พื้นฐานและทนทาน ในเนื้อหาภาพและวิดีโอที่มีใบหน้าที่ถูกเปลี่ยนแปลง สร้างขึ้น หรือเปลี่ยนแปลงตัวตน; ลักษณะที่สามารถอนุมานได้โดยตรงจากวิดีโอที่ถูกปลอมโดยไม่ต้องมีการยืนยันขนาดใหญ่ การ การแฮชสินทรัพย์แบบคริปโต การตรวจสอบบริบท การประเมินความเป็นไปได้ การตรวจจับอาร์ติแฟคต์หรือแนวทางอื่นๆ ที่ใช้ในการตรวจจับ Deepfakes
Deepfakes ในเฟรม
การวิจัยร่วมใหม่ระหว่างจีนและออสเตรเลียเชื่อว่าได้ค้นพบ “จอกศักดิ์สิทธิ์” ในรูปแบบของ การหยุดชะงักของความสม่ำเสมอ
ผู้เขียนได้พัฒนาวิธีการที่จะเทียบเคียงความสมบูรณ์ของพื้นที่และความต่อเนื่องของเวลาในระหว่างวิดีโอที่แท้จริงและวิดีโอที่มีเนื้อหาของ Deepfakes และพบว่าการแทรกแซงใดๆ ของ Deepfakes จะทำให้ความสม่ำเสมอของภาพถูกขัดขวาง ไม่ว่าจะเป็นอย่างไร
ส่วนหนึ่งเป็นเพราะกระบวนการ Deepfakes จะแบ่งวิดีโอออกเป็นเฟรมและใช้ผลกระทบของโมเดล Deepfakes ที่ได้รับการฝึกอบรมในแต่ละเฟรม (ที่ถูกแทนที่) การกระจาย Deepfakes ที่ได้รับความนิยมทำในลักษณะเดียวกับแอนิเมเตอร์ ในด้านนี้ โดยให้ความสนใจกับความถูกต้องของแต่ละเฟรมมากกว่าความสม่ำเสมอของวิดีโอโดยรวม

จากเอกสาร: A) ความแตกต่างระหว่างประเภทของข้อมูล นี่เราเห็นว่าการรบกวนของ p-fake เปลี่ยนแปลงคุณภาพพื้นที่-เวลา ของภาพในลักษณะเดียวกับ Deepfakes โดยไม่ต้องเปลี่ยนแปลงตัวตน B) การวิเคราะห์สัญญาณรบกวนของข้อมูลทั้งสามประเภท โดยแสดงว่า p-fake เหมือนกับการรบกวนของ Deepfakes C) การแสดงภาพเวลา ของสามประเภทของข้อมูล โดยมีข้อมูลจริงแสดงให้เห็นถึงความสมบูรณ์ที่มากกว่าในการแกว่ง D) การแสดงภาพ T-SNE ของคุณลักษณะที่สกัดจากวิดีโอจริง วิดีโอปลอม และวิดีโอ p-fake. Source: https://arxiv.org/pdf/2207.10402.pdf
นี่ไม่ใช่วิธีที่ตัวเข้ารหัสวิดีโอจัดการลำดับเฟรมเมื่อสร้างหรือประมวลผลการบันทึกต้นฉบับ ในการประหยัดขนาดไฟล์หรือทำให้วิดีโอเหมาะสมสำหรับการสตรีมมิ่ง ข้อมูลจำนวนมากถูกทิ้งโดยตัวเข้ารหัสวิดีโอ แม้ว่าจะอยู่ในคุณภาพสูงสุด ตัวเข้ารหัสวิดีโอจะจัดสรร เฟรมหลัก (ตัวแปรที่สามารถตั้งค่าโดยผู้ใช้) – ภาพที่ไม่ถูกบีบอัดที่เกิดขึ้นที่ช่วงเวลาหนึ่งในวิดีโอ
เฟรมระหว่างเฟรมหลักถูกประมาณการเป็นรูปแบบของเฟรม และจะใช้ข้อมูลจากเฟรมหลักข้างเคียงให้มากที่สุด แทนที่จะเป็นเฟรมที่สมบูรณ์ในตัวเอง

ทางซ้ายมือ เฟรมหลักหรือ ‘i-เฟรม’ ถูกเก็บไว้ในวิดีโอที่บีบอัด โดยมีค่าใช้จ่ายของขนาดไฟล์ ทางขวามือ เฟรมระหว่าง ‘เดลต้า’ ใช้ซ้ำส่วนใดๆ ของเฟรมหลักที่มีข้อมูลมากกว่า Source: https://blog.video.ibm.com/streaming-video-tips/keyframes-interframe-video-compression/ Source: https://blog.video.ibm.com/streaming-video-tips/keyframes-interframe-video-compression/
ในลักษณะนี้ บล็อก (ที่มี x จำนวนเฟรม ขึ้นอยู่กับการตั้งค่าเฟรมหลัก) อาจถือเป็นหน่วยที่เล็กที่สุดที่ถูกพิจารณาในตัวเข้ารหัสวิดีโอวิดีโอที่บีบอัด แทนที่จะเป็นเฟรมใดๆ โดยเฉพาะ แม้แต่เฟรมหลักเองที่เรียกว่า i-เฟรม ก็เป็นส่วนหนึ่งของหน่วยนั้น
ในแง่ของการแอนิเมชั่นแบบดั้งเดิม ตัวเข้ารหัสวิดีโอทำหน้าที่ การTweening โดยมีเฟรมหลักทำหน้าที่เป็นเสาสำหรับเฟรมระหว่างที่คำนวณขึ้น ซึ่งเรียกว่า เฟรมเดลต้า

ในทางตรงกันข้าม การซ้อนทับของ Deepfakes ให้ความสนใจกับเฟรมแต่ละเฟรมโดยไม่พิจารณาบริบทที่กว้างขึ้น และไม่ได้คำนึงถึงวิธีการที่การบีบอัดและการเข้ารหัสแบบบล็อกจะส่งผลต่อลักษณะของวิดีโอ “แท้จริง”

การมองใกล้ๆ ความไม่ต่อเนื่องระหว่างคุณภาพของวิดีโอที่แท้จริง (ทางซ้าย) และวิดีโอที่ถูกขัดขวางโดย Deepfakes (ทางขวา)
แม้ว่าบาง Deepfakes ที่ดีกว่าจะใช้การประมวลผลหลังการผลิตอย่างกว้างขวาง ในแพ็คเกจ เช่น After Effects และแม้ว่า DeepFaceLab จะมี ความสามารถในการใช้กระบวนการ ‘การผสมผสาน’ เช่น มอชั่นเบลอร์ แต่การหลอกลวงดังกล่าวไม่ส่งผลต่อความไม่ตรงกันของความสม่ำเสมอทางพื้นที่และเวลาระหว่างวิดีโอที่แท้จริงและวิดีโอที่ถูกปลอม
เอกสารวิจัยใหม่ ชื่อ ว่า การตรวจจับ Deepfakes โดยการสร้างการหยุดชะงักของความสม่ำเสมอทางพื้นที่-เวลา และมาจากนักวิจัยที่มหาวิทยาลัย Tsinghua Department of Computer Vision Technology (VIS) ที่ Baidu Inc. (BIDU ) และมหาวิทยาลัย Melbourne
วิดีโอ ‘ปลอม’ ที่ ‘ปลอม’
นักวิจัยที่อยู่เบื้องหลังเอกสารวิจัยได้สร้างฟังก์ชันการทำงานของการวิจัยเป็นโมดูลแบบปลั๊กแอนด์เพลย์ที่เรียกว่า Pseudo-fake Generator (P-fake Generator) ซึ่งเปลี่ยนวิดีโอที่แท้จริงเป็นวิดีโอที่ ‘ปลอม’ โดยการรบกวนในลักษณะเดียวกับที่กระบวนการ Deepfakes ทำ โดยไม่ต้องทำการปลอมใดๆ
การทดสอบแสดงให้เห็นว่าโมดูลนี้สามารถเพิ่มลงในระบบตรวจจับ Deepfakes ที่มีอยู่ทั้งหมดโดยไม่ต้องใช้ทรัพยากรเพิ่มเติม และสามารถปรับปรุงประสิทธิภาพได้อย่างมาก
การค้นพบครั้งนี้สามารถช่วยแก้ไขปัญหาอีกประการหนึ่งในด้านการวิจัยการตรวจจับ Deepfakes ซึ่งก็คือการขาดข้อมูลและชุดข้อมูลที่แท้จริงและเป็นปัจจุบัน เนื่องจากการสร้าง Deepfakes เป็นกระบวนการที่ซับซ้อนและใช้เวลานาน ชุมชนได้พัฒนาชุดข้อมูล Deepfakes มาหลายชุดในช่วงห้าปีที่ผ่านมา ซึ่งหลายชุดล้าสมัยไปมากแล้ว
โดยการแยกการหยุดชะงักของความสม่ำเสมอเป็นสัญญาณที่ไม่ขึ้นอยู่กับ Deepfakes สำหรับวิดีโอที่ถูกเปลี่ยนแปลงภายหลังการบันทึก วิธีใหม่นี้ทำให้สามารถสร้างตัวอย่างและชุดข้อมูลวิดีโอที่ไม่สิ้นสุดซึ่งมุ่งเน้นไปที่ด้านนี้ของ Deepfakes

ภาพรวมของบล็อก STE ซึ่งใช้คอนโวลูชันเชิงเวลาแยกตามช่องสัญญาณเพื่อกระตุ้นให้เกิดการเข้ารหัสที่เสริมข้อมูลเชิงพื้นที่และเวลา และให้ลักษณะเฉพาะแบบเดียวกับที่พบแม้ใน Deepfake ที่น่าเชื่อถือมาก วิธีนี้สร้างวิดีโอปลอมเทียมที่มีลักษณะเฉพาะเหมือนวิดีโอที่ถูกดัดแปลงแบบ Deepfake โดยไม่ขึ้นกับแพ็กเกจเฉพาะหรือปัจจัยที่เปลี่ยนแปลงได้ เช่น พฤติกรรมของคุณลักษณะหรือสิ่งแปลกปลอมจากอัลกอริทึม
การทดสอบ
นักวิจัยได้ทำการทดสอบบนชุดข้อมูลที่มีชื่อเสียง 6 ชุดที่ใช้ในการวิจัยการตรวจจับ Deepfakes: FaceForensics++ (FF++); WildDeepFake; Deepfake Detection Challenge preview (DFDCP); Celeb-DF; Deepfake Detection (DFD); และ Face Shifter (FSh)
สำหรับ FF++ นักวิจัยได้ฝึกโมเดลของตนบนชุดข้อมูลต้นฉบับและทดสอบแต่ละชุดย่อยแยกจากกัน โดยไม่ต้องใช้วัสดุ Deepfakes ใดๆ ในการฝึกอบรม วิธีใหม่นี้สามารถเอาชนะผลลัพธ์ที่ดีที่สุดของวิธีที่มีอยู่ได้

วิธีนี้ยังได้รับตำแหน่งสูงสุดเมื่อเปรียบเทียบกับชุดข้อมูล FF++ C23 ที่บีบอัด ซึ่งให้ตัวอย่างที่มีเครื่องหมายการบีบอัดที่เชื่อถือได้ในสภาพแวดล้อมการดู Deepfakes ในโลกแห่งความเป็นจริง

ผู้เขียนแสดงความคิดเห็นว่า:
‘ผลลัพธ์ภายใน FF++ ยืนยันความเป็นไปได้ของความคิดหลักของเรา ในขณะที่ความสามารถในการทั่วไปยังคงเป็นปัญหาหลักของวิธีการตรวจจับ Deepfakes ที่มีอยู่ เนื่องจากประสิทธิภาพไม่ได้รับประกันเมื่อทดสอบบน Deepfakes ที่สร้างขึ้นโดยเทคนิคที่ไม่เคยเห็นมาก่อน ‘
‘พิจารณาเพิ่มเติมถึงความเป็นจริงของการแข่งขันระหว่างผู้ตรวจจับและผู้ปลอม การทั่วไปเป็นเกณฑ์ที่สำคัญในการวัดประสิทธิภาพของวิธีการตรวจจับในโลกแห่งความเป็นจริง’
แม้ว่านักวิจัยจะทำการทดสอบย่อยๆ (ดูเอกสารสำหรับรายละเอียด) เกี่ยวกับ ‘ความทนทาน’ และการเปลี่ยนแปลงประเภทของวิดีโอที่นำเข้า (เช่น จริง ปลอม p-faked ฯลฯ) ผลลัพธ์ที่น่าสนใจที่สุดคือการทดสอบประสิทธิภาพข้ามชุดข้อมูล
สำหรับสิ่งนี้ ผู้เขียนได้ฝึกโมเดลของตนบนเวอร์ชัน “โลกแห่งความเป็นจริง” C23 ของ FF++ และทดสอบโมเดลนี้กับชุดข้อมูล 4 ชุด โดยได้รับผลลัพธ์ที่ดีกว่าในทุกชุดตามที่ผู้เขียนระบุ

ผลลัพธ์จากการทดสอบข้ามชุดข้อมูล เอกสารระบุว่า SBI ใช้แนวทางที่คล้ายกับของตนเอง ในขณะที่นักวิจัยอ้างว่า p-fake มีประสิทธิภาพที่ดีกว่าในการหยุดชะงักของความสม่ำเสมอทางพื้นที่-เวลา
เอกสารระบุว่า:
‘ใน Deepwild ที่ท้าทายที่สุด วิธีของเราสามารถเอาชนะวิธี SOTA ได้ประมาณ 10 จุดเปอร์เซ็นต์ในแง่ของ AUC% เราคิดว่านี่เป็นเพราะความหลากหลายที่มากของ Deepfakes ใน Deepwild ซึ่งทำให้วิธีอื่นๆ ล้มเหลวในการทั่วไปได้ดีจาก Deepfakes ที่เคยเห็นมาก่อน’
เมตริกที่ใช้ในการทดสอบคือ คะแนนความแม่นยำ (ACC) พื้นที่ใต้เส้นโค้งการรับ-การปฏิเสธ (AUC) และอัตราความผิดพลาดที่เท่ากัน (EER)
การโต้กลับ?
แม้ว่าสื่อจะอธิบายความตึงเครียดระหว่างผู้พัฒนา Deepfakes และนักวิจัยการตรวจจับ Deepfakes ในแง่ของ สงครามทางเทคโนโลยี แต่ก็สามารถโต้แย้งได้ว่าผู้พัฒนา Deepfakes เพียงแคพยายามที่จะสร้างผลลัพธ์ที่น่าเชื่อถือ และความยากลำบากในการตรวจจับ Deepfakes เพิ่มขึ้นเป็นผลพลอยได้จากความพยายามเหล่านี้
ไม่ว่าผู้พัฒนา Deepfakes จะพยายามที่จะแก้ไขจุดอ่อนที่เปิดเผยใหม่นี้หรือไม่นั้น ขึ้นอยู่กับว่าพวกเขาจะรู้สึกว่าการหยุดชะงักของความสม่ำเสมอสามารถสังเกตได้ด้วยตาเปล่าว่าเป็นสัญญาณของการไม่แท้จริงหรือไม่ และด้วยเหตุนี้จึงมีค่าในการแก้ไขจากมุมมองเชิงคุณภาพ
แม้ว่าผ่านมาแล้วห้าปีตั้งแต่ Deepfakes แรกปรากฏขึ้นบนอินเทอร์เน็ต เทคโนโลยี Deepfakes ยังคงเป็นเทคโนโลยีที่ค่อนข้างใหม่ และชุมชนอาจยังคงให้ความสนใจกับรายละเอียดและความละเอียดมากกว่าบริบทที่ถูกต้องหรือการตรงกับลักษณะของวิดีโอที่บีบอัด ซึ่งต้องการ “การเสื่อมสภาพ” ของเอาต์พุต – สิ่งที่ชุมชน Deepfakes ทั้งหมดกำลังต่อสู้กันอยู่
หากมีความเห็นพ้องที่ว่าการหยุดชะงักของความสม่ำเสมอเป็นสัญญาณที่ไม่ส่งผลต่อคุณภาพ อาจไม่มีการพยายามที่จะชดเชย – แม้ว่าจะสามารถ “หักล้าง” ได้ด้วยกระบวนการหลังการประมวลผลหรือในสถาปัตยกรรมบางอย่าง ซึ่งไม่ชัดเจน
เผยแพร่ครั้งแรกเมื่อวันที่ 22 กรกฎาคม 2022












