นักวิจัยระบุลักษณะที่ทนทานของ Deepfakes ที่สามารถช่วยในการตรวจจับในระยะยาว

นับตั้งแต่การเกิดขึ้นของโซลูชันการตรวจจับ Deepfakes ในปี 2018 ส่วนการวิจัยด้านการมองเห็นของคอมพิวเตอร์และความปลอดภัยได้พยายามที่จะกำหนดลักษณะที่ สำคัญ ของวิดีโอ Deepfakes – สัญญาณที่สามารถต้านทานการปรับปรุงเทคโนโลยีการสังเคราะห์ใบหน้าแบบอัตโนมัติ (เช่น แพ็คเกจ Deepfakes แบบอัตโนมัติ เช่น DeepFaceLab และ FaceSwap และการใช้ เครือข่าย Adversarial ที่สร้างขึ้น เพื่อสร้างซ้ำ จำลองหรือเปลี่ยนแปลงใบหน้าของมนุษย์)

หลาย “ตells” เช่น การขาดการกระพริบตา ถูกทำให้ไม่เกี่ยวข้องโดยการปรับปรุง Deepfakes ในขณะที่การใช้เทคนิค digital provenance (เช่น Content Authenticity Initiative ที่นำโดย Adobe ) – รวมถึงแนวทาง blockchain และ การทำเครื่องหมายดิจิทัล ของภาพถ่ายต้นฉบับ – อาจต้องมีการเปลี่ยนแปลงที่กว้างขวางและแพงในการเปลี่ยนแปลงรูปภาพต้นฉบับที่มีอยู่บนอินเทอร์เน็ต หรือจะ需要ความพยายามร่วมกันอย่างมีนัยสำคัญระหว่างประเทศและรัฐบาลในการสร้างระบบการตรวจสอบและยืนยันตัวตน

ดังนั้นจึงมีประโยชน์อย่างมากหากสามารถระบุลักษณะที่ พื้นฐานและทนทาน ในเนื้อหาภาพและวิดีโอที่มีใบหน้าที่ถูกเปลี่ยนแปลง สร้างขึ้น หรือเปลี่ยนแปลงตัวตน; ลักษณะที่สามารถอนุมานได้โดยตรงจากวิดีโอที่ถูกปลอมโดยไม่ต้องมีการยืนยันขนาดใหญ่ การ การแฮชสินทรัพย์แบบคริปโต การตรวจสอบบริบท การประเมินความเป็นไปได้ การตรวจจับอาร์ติแฟคต์หรือแนวทางอื่นๆ ที่ใช้ในการตรวจจับ Deepfakes

Deepfakes ในเฟรม

การวิจัยร่วมใหม่ระหว่างจีนและออสเตรเลียเชื่อว่าได้ค้นพบ “ศิลาแห่งความหวัง” ในรูปแบบของ การหยุดชะงักของความสม่ำเสมอ

ผู้เขียนได้พัฒนาวิธีการที่จะเทียบเคียงความสมบูรณ์ของพื้นที่และความต่อเนื่องของเวลาในระหว่างวิดีโอที่แท้จริงและวิดีโอที่มีเนื้อหาของ Deepfakes และพบว่าการแทรกแซงใดๆ ของ Deepfakes จะทำให้ความสม่ำเสมอของภาพถูกขัดขวาง ไม่ว่าจะเป็นอย่างไร

สิ่งนี้เกิดขึ้น部分เพราะกระบวนการ Deepfakes จะแบ่งวิดีโอออกเป็นเฟรมและใช้ผลกระทบของโมเดล Deepfakes ที่ได้รับการฝึกอบรมในแต่ละเฟรม (ที่ถูกแทนที่) การกระจาย Deepfakes ที่ได้รับความนิยมทำในลักษณะเดียวกับแอนิเมเตอร์ ในด้านนี้ โดยให้ความสนใจกับความถูกต้องของแต่ละเฟรมมากกว่าความสม่ำเสมอของวิดีโอโดยรวม

จากเอกสาร: A) ความแตกต่างระหว่างประเภทของข้อมูล นี่เราเห็นว่าการรบกวนของ p-fake เปลี่ยนแปลงคุณภาพพื้นที่-เวลา ของภาพในลักษณะเดียวกับ Deepfakes โดยไม่ต้องเปลี่ยนแปลงตัวตน B) การวิเคราะห์เสียงรบกวนของสามประเภทของข้อมูล โดยแสดงว่า p-fake เหมือนกับการรบกวนของ Deepfakes C) การแสดงภาพเวลา ของสามประเภทของข้อมูล โดยมีข้อมูลจริงแสดงให้เห็นถึงความสมบูรณ์ที่มากกว่าในการแกว่ง D) การแสดงภาพ T-SNE ของคุณลักษณะที่ถูกดึงออกมาจากวิดีโอที่แท้จริง ปลอม และ p-fake. Source: https://arxiv.org/pdf/2207.10402.pdf Source: https://arxiv.org/pdf/2207.10402.pdf

สิ่งนี้ไม่ใช่วิธีการที่โค้ดคิวถูกต้องวิดีโอเมื่อการบันทึกต้นฉบับกำลังถูกทำหรือประมวลผล ในการประหยัดขนาดไฟล์หรือทำให้วิดีโอเหมาะสมสำหรับการสตรีมมิ่ง ข้อมูลจำนวนมากถูกทิ้งโดยโค้ดคิว แม้ว่าจะอยู่ในคุณภาพสูงสุด โค้ดคิวจะจัดสรร เฟรมหลัก (ตัวแปรที่สามารถตั้งค่าโดยผู้ใช้) – ภาพที่ไม่ถูกบีบอัดที่เกิดขึ้นที่ช่วงเวลาหนึ่งในวิดีโอ

เฟรมระหว่างเฟรมหลักถูกประมาณการเป็นรูปแบบของเฟรม และจะใช้ข้อมูลจากเฟรมหลักข้างเคียงให้มากที่สุด แทนที่จะเป็นเฟรมที่สมบูรณ์ในตัวเอง

ทางซ้ายมือ เฟรมหลักหรือ ‘i-เฟรม’ ถูกเก็บไว้ในวิดีโอที่บีบอัด โดยมีค่าใช้จ่ายของขนาดไฟล์ ทางขวามือ เฟรมระหว่าง ‘เดลต้า’ ใช้ซ้ำส่วนใดๆ ของเฟรมหลักที่มีข้อมูลมากกว่า Source: https://blog.video.ibm.com/streaming-video-tips/keyframes-interframe-video-compression/ Source: https://blog.video.ibm.com/streaming-video-tips/keyframes-interframe-video-compression/

ในลักษณะนี้ บล็อก (ที่มี x จำนวนเฟรม ขึ้นอยู่กับการตั้งค่าเฟรมหลัก) อาจถือเป็นหน่วยที่เล็กที่สุดที่ถูกพิจารณาในโค้ดคิววิดีโอที่บีบอัด แทนที่จะเป็นเฟรมใดๆ โดยเฉพาะ แม้แต่เฟรมหลักเองที่เรียกว่า i-เฟรม ก็เป็นส่วนหนึ่งของหน่วยนั้น

ในแง่ของการแอนิเมชั่นแบบดั้งเดิม โค้ดคิวทำหน้าที่ การTweening โดยมีเฟรมหลักทำหน้าที่เป็นเสาสำหรับเฟรมระหว่างที่ได้รับมา

ในทางตรงกันข้าม การซ้อนทับของ Deepfakes ให้ความสนใจกับเฟรมแต่ละเฟรมโดยไม่พิจารณาบริบทที่กว้างขึ้น และไม่ได้คำนึงถึงวิธีการที่การบีบอัดและการเข้ารหัสแบบบล็อกจะส่งผลต่อลักษณะของวิดีโอ “แท้จริง”

การมองใกล้ๆ ความไม่ต่อเนื่องระหว่างคุณภาพของวิดีโอที่แท้จริง (ทางซ้าย) และวิดีโอที่ถูกขัดขวางโดย Deepfakes (ทางขวา)

แม้ว่าบาง Deepfakes ที่ดีกว่าจะใช้การประมวลผลหลังการผลิตอย่างกว้างขวาง ในแพ็คเกจ เช่น After Effects และแม้ว่า DeepFaceLab จะมี ความสามารถในการใช้กระบวนการ ‘การผสมผสาน’ เช่น มอชั่นเบลอร์ แต่การหลอกลวงดังกล่าวไม่ส่งผลต่อความไม่ตรงกันของความสม่ำเสมอทางพื้นที่และเวลาระหว่างวิดีโอที่แท้จริงและวิดีโอที่ถูกปลอม

เอกสารวิจัยใหม่ ชื่อ ว่า การตรวจจับ Deepfakes โดยการสร้างการหยุดชะงักของความสม่ำเสมอทางพื้นที่-เวลา และมาจากนักวิจัยที่มหาวิทยาลัย Tsinghua Department of Computer Vision Technology (VIS) ที่ Baidu Inc. และมหาวิทยาลัย Melbourne

วิดีโอ ‘ปลอม’ ที่ ‘ปลอม’

นักวิจัยที่อยู่เบื้องหลังเอกสารวิจัยได้สร้างฟังก์ชันการทำงานของการวิจัยเป็นโมดูลแบบปลั๊กแอนด์เพลย์ที่เรียกว่า Pseudo-fake Generator (P-fake Generator) ซึ่งเปลี่ยนวิดีโอที่แท้จริงเป็นวิดีโอที่ ‘ปลอม’ โดยการรบกวนในลักษณะเดียวกับที่กระบวนการ Deepfakes ทำ โดยไม่ต้องทำการปลอมใดๆ

การทดสอบแสดงให้เห็นว่าโมดูลนี้สามารถเพิ่มลงในระบบตรวจจับ Deepfakes ที่มีอยู่ทั้งหมดโดยไม่ต้องใช้ทรัพยากรเพิ่มเติม และสามารถปรับปรุงประสิทธิภาพได้อย่างมาก

การค้นพบครั้งนี้สามารถช่วยแก้ไขปัญหาอีกประการหนึ่งในด้านการวิจัยการตรวจจับ Deepfakes ซึ่งก็คือการขาดข้อมูลและชุดข้อมูลที่แท้จริงและเป็นปัจจุบัน เนื่องจากการสร้าง Deepfakes เป็นกระบวนการที่ซับซ้อนและใช้เวลานาน ชุมชนได้พัฒนาชุดข้อมูล Deepfakes มาหลายชุดในช่วงห้าปีที่ผ่านมา ซึ่งหลายชุดมีอายุการใช้งานที่ยาวนาน

โดยการแยกการหยุดชะงักของความสม่ำเสมอเป็นสัญญาณที่ไม่ขึ้นอยู่กับ Deepfakes สำหรับวิดีโอที่ถูกเปลี่ยนแปลงหลังการบันทึก การวิธีใหม่นี้ทำให้สามารถสร้างตัวอย่างและชุดข้อมูลวิดีโอที่ไม่สิ้นสุดซึ่งมุ่งเน้นไปที่ด้านนี้ของ Deepfakes

นักวิจัยได้ทำการทดสอบบนชุดข้อมูลที่มีชื่อเสียง 6 ชุดที่ใช้ในการวิจัยการตรวจจับ Deepfakes: FaceForensics++ (FF++); WildDeepFake; Deepfake Detection Challenge preview (DFDCP); Celeb-DF; Deepfake Detection (DFD); และ Face Shifter (FSh)

สำหรับ FF++ นักวิจัยได้ฝึกโมเดลของตนบนชุดข้อมูลต้นฉบับและทดสอบแต่ละชุดย่อยแยกจากกัน โดยไม่ต้องใช้วัสดุ Deepfakes ใดๆ ในการฝึกอบรม วิธีใหม่นี้สามารถเอาชนะผลลัพธ์ของรัฐของศิลปะได้

วิธีนี้ยังได้รับตำแหน่งสูงสุดเมื่อเปรียบเทียบกับชุดข้อมูล FF++ C23 ที่บีบอัด ซึ่งให้ตัวอย่างที่มีเครื่องหมายการบีบอัดที่เชื่อถือได้ในสภาพแวดล้อมการดู Deepfakes ในโลกแห่งความเป็นจริง

ผู้เขียนแสดงความคิดเห็นว่า:

‘ผลลัพธ์ภายใน FF++ ยืนยันความเป็นไปได้ของความคิดหลักของเรา ในขณะที่ความสามารถในการทั่วไปยังคงเป็นปัญหาหลักของวิธีการตรวจจับ Deepfakes ที่มีอยู่ เนื่องจากประสิทธิภาพไม่ได้รับประกันเมื่อทดสอบบน Deepfakes ที่สร้างขึ้นโดยเทคนิคที่ไม่เคยเห็นมาก่อน ‘

‘พิจารณาเพิ่มเติมถึงความเป็นจริงของการแข่งขันระหว่างผู้ตรวจจับและผู้ปลอม การทั่วไปเป็นเกณฑ์ที่สำคัญในการวัดประสิทธิภาพของวิธีการตรวจจับในโลกแห่งความเป็นจริง’

แม้ว่านักวิจัยจะทำการทดสอบย่อยๆ (ดูเอกสารสำหรับรายละเอียด) เกี่ยวกับ ‘ความทนทาน’ และการเปลี่ยนแปลงประเภทของวิดีโอที่นำเข้า (เช่น จริง ปลอม p-faked ฯลฯ) ผลลัพธ์ที่น่าสนใจที่สุดคือการทดสอบประสิทธิภาพข้ามชุดข้อมูล

สำหรับสิ่งนี้ ผู้เขียนได้ฝึกโมเดลของตนบนเวอร์ชัน “โลกแห่งความเป็นจริง” C23 ของ FF++ และทดสอบโมเดลนี้กับชุดข้อมูล 4 ชุด โดยได้รับผลลัพธ์ที่ดีกว่าในทุกชุดตามที่ผู้เขียนระบุ

ผลลัพธ์จากการทดสอบข้ามชุดข้อมูล เอกสารระบุว่า SBI ใช้แนวทางที่คล้ายกับของตนเอง ในขณะที่นักวิจัยอ้างว่า p-fake มีประสิทธิภาพที่ดีกว่าในการหยุดชะงักของความสม่ำเสมอทางพื้นที่-เวลา

เอกสารระบุว่า:

‘ใน Deepwild ที่ท้าทายที่สุด วิธีของเราสามารถเอาชนะวิธี SOTA ได้ประมาณ 10 เปอร์เซ็นต์ในแง่ของ AUC% เราคิดว่านี่เป็นเพราะความหลากหลายที่มากของ Deepfakes ใน Deepwild ซึ่งทำให้วิธีอื่นๆ ล้มเหลวในการทั่วไปได้ดีจาก Deepfakes ที่เคยเห็นมาก่อน’

เมตริกที่ใช้ในการทดสอบคือ คะแนนความแม่นยำ (ACC) พื้นที่ใต้เส้นโค้งการรับ-การปฏิเสธ (AUC) และอัตราความผิดพลาดที่เท่ากัน (EER)

การโต้ตอบ?

แม้ว่าสื่อจะอธิบายความตึงเครียดระหว่างผู้พัฒนา Deepfakes และนักวิจัยการตรวจจับ Deepfakes ในแง่ของ สงครามทางเทคโนโลยี แต่ก็สามารถโต้แย้งได้ว่าผู้พัฒนา Deepfakes เพียงแคพยายามที่จะสร้างผลลัพธ์ที่น่าเชื่อถือ และความยากลำบากในการตรวจจับ Deepfakes เพิ่มขึ้นเป็นผลพลอยได้จากความพยายามเหล่านี้

ไม่ว่าผู้พัฒนา Deepfakes จะพยายามที่จะแก้ไขจุดอ่อนที่เปิดเผยใหม่นี้หรือไม่นั้น ขึ้นอยู่กับว่าพวกเขาจะรู้สึกว่าการหยุดชะงักของความสม่ำเสมอสามารถสังเกตได้ด้วยตาเปล่าว่าเป็นสัญญาณของการไม่แท้จริงหรือไม่ และด้วยเหตุนี้จึงมีค่าในการแก้ไขจากมุมมองเชิงคุณภาพ

แม้ว่าผ่านมาแล้วห้าปีตั้งแต่ Deepfakes แรกปรากฏขึ้นบนอินเทอร์เน็ต เทคโนโลยี Deepfakes ยังคงเป็นเทคโนโลยีที่ค่อนข้างใหม่ และชุมชนอาจยังคงให้ความสนใจกับรายละเอียดและความละเอียดมากกว่าบริบทที่ถูกต้องหรือการตรงกับลักษณะของวิดีโอที่บีบอัด ซึ่งต้องการ “การเสื่อมสภาพ” ของเอาต์พุต – สิ่งที่ชุมชน Deepfakes ทั้งหมดกำลังต่อสู้กันอยู่

หากมีความเห็นพ้องที่ว่าการหยุดชะงักของความสม่ำเสมอเป็นสัญญาณที่ไม่ส่งผลต่อคุณภาพ อาจไม่มีการพยายามที่จะชดเชย – แม้ว่าจะสามารถ “ยกเลิก” ได้ด้วยกระบวนการหลังการประมวลผลหรือในสถาปัตยกรรมบางอย่าง ซึ่งไม่ชัดเจน

เผยแพร่ครั้งแรกเมื่อวันที่ 22 กรกฎาคม 2022