มุมมองของ Anderson

นักวิจัยพบลักษณะที่คงทนของ Deepfake ซึ่งอาจช่วยในการตรวจจับระยะยาว

Martin Anderson
เพิ่ม Unite.AI ลงในแหล่งข้อมูลที่คุณต้องการบน Google
ประเด็นสำคัญการรบกวนความสม่ำเสมอในดีพเฟกให้สัญญาณตรวจจับที่ทนทานต่อการปรับปรุงเทคโนโลยีการสังเคราะห์
ดูเพิ่มเติม
  • การรบกวนความสม่ำเสมอในดีพเฟกให้สัญญาณตรวจจับที่ทนทานต่อการปรับปรุงเทคโนโลยีการสังเคราะห์
  • โมดูล P-fake Generator แปลงวิดีโอจริงเป็นดีพเฟกปลอมเพื่อฝึกตัวตรวจจับโดยไม่ต้องใช้ข้อมูลดีพเฟกจริง
  • การทดสอบข้ามชุดข้อมูลแสดงให้เห็นว่าวิธีนี้มีประสิทธิภาพเหนือกว่าการตรวจจับที่ทันสมัยถึง 10 เปอร์เซ็นต์บน Deepwild

นับตั้งแต่การเกิดขึ้นของโซลูชันการตรวจจับ Deepfakes ในปี 2018 ส่วนการวิจัยด้านการมองเห็นของคอมพิวเตอร์และความปลอดภัยได้พยายามที่จะกำหนดลักษณะที่ สำคัญ ของวิดีโอ Deepfakes – สัญญาณที่สามารถต้านทานการปรับปรุงเทคโนโลยีการสังเคราะห์ใบหน้าที่ได้รับความนิยม (เช่น แพ็กเกจ Deepfake ที่ใช้โครงข่ายเข้ารหัสอัตโนมัติ เช่น DeepFaceLab และ FaceSwap และการใช้ โครงข่ายปฏิปักษ์เชิงกำเนิด (GAN) เพื่อสร้างซ้ำ จำลองหรือเปลี่ยนแปลงใบหน้าของมนุษย์)

สัญญาณบ่งชี้หลายอย่าง เช่น การขาดการกระพริบตา ถูกทำให้ไม่เกี่ยวข้องโดยการปรับปรุง Deepfakes ในขณะที่การใช้เทคนิค digital provenance (เช่น Content Authenticity Initiative ที่นำโดย Adobe ) – รวมถึงแนวทาง blockchain และ การทำเครื่องหมายดิจิทัล ของภาพถ่ายต้นฉบับ – อาจต้องมีการเปลี่ยนแปลงที่กว้างขวางและแพงในการเปลี่ยนแปลงรูปภาพต้นฉบับที่มีอยู่บนอินเทอร์เน็ต หรือจะต้องอาศัยความพยายามร่วมกันอย่างมีนัยสำคัญระหว่างประเทศและรัฐบาลในการสร้างระบบการตรวจสอบและยืนยันตัวตน

ดังนั้นจึงมีประโยชน์อย่างมากหากสามารถระบุลักษณะที่พื้นฐานและทนทาน ในเนื้อหาภาพและวิดีโอที่มีใบหน้าที่ถูกเปลี่ยนแปลง สร้างขึ้น หรือเปลี่ยนแปลงตัวตน; ลักษณะที่สามารถอนุมานได้โดยตรงจากวิดีโอที่ถูกปลอมโดยไม่ต้องมีการยืนยันขนาดใหญ่ การ การแฮชสินทรัพย์แบบคริปโต การตรวจสอบบริบท การประเมินความเป็นไปได้ การตรวจจับอาร์ติแฟคต์หรือแนวทางอื่นๆ ที่ใช้ในการตรวจจับ Deepfakes

Deepfakes ในเฟรม

การวิจัยร่วมใหม่ระหว่างจีนและออสเตรเลียเชื่อว่าได้ค้นพบ “จอกศักดิ์สิทธิ์” ในรูปแบบของ การหยุดชะงักของความสม่ำเสมอ

ผู้เขียนได้พัฒนาวิธีการที่จะเทียบเคียงความสมบูรณ์ของพื้นที่และความต่อเนื่องของเวลาในระหว่างวิดีโอที่แท้จริงและวิดีโอที่มีเนื้อหาของ Deepfakes และพบว่าการแทรกแซงใดๆ ของ Deepfakes จะทำให้ความสม่ำเสมอของภาพถูกขัดขวาง ไม่ว่าจะเป็นอย่างไร

ส่วนหนึ่งเป็นเพราะกระบวนการ Deepfakes จะแบ่งวิดีโอออกเป็นเฟรมและใช้ผลกระทบของโมเดล Deepfakes ที่ได้รับการฝึกอบรมในแต่ละเฟรม (ที่ถูกแทนที่) การกระจาย Deepfakes ที่ได้รับความนิยมทำในลักษณะเดียวกับแอนิเมเตอร์ ในด้านนี้ โดยให้ความสนใจกับความถูกต้องของแต่ละเฟรมมากกว่าความสม่ำเสมอของวิดีโอโดยรวม

จากเอกสาร: A) ความแตกต่างระหว่างประเภทของข้อมูล นี่เราเห็นว่าการรบกวนของ p-fake เปลี่ยนแปลงคุณภาพพื้นที่-เวลา ของภาพในลักษณะเดียวกับ Deepfakes โดยไม่ต้องเปลี่ยนแปลงตัวตน B) การวิเคราะห์สัญญาณรบกวนของข้อมูลทั้งสามประเภท โดยแสดงว่า p-fake เหมือนกับการรบกวนของ Deepfakes C) การแสดงภาพเวลา ของสามประเภทของข้อมูล โดยมีข้อมูลจริงแสดงให้เห็นถึงความสมบูรณ์ที่มากกว่าในการแกว่ง D) การแสดงภาพ T-SNE ของคุณลักษณะที่ถูกดึงออกมาจากวิดีโอที่แท้จริง ปลอม และ p-fake. Source: https://arxiv.org/pdf/2207.10402.pdf

จากเอกสาร: A) ความแตกต่างระหว่างประเภทของข้อมูล นี่เราเห็นว่าการรบกวนของ p-fake เปลี่ยนแปลงคุณภาพพื้นที่-เวลา ของภาพในลักษณะเดียวกับ Deepfakes โดยไม่ต้องเปลี่ยนแปลงตัวตน B) การวิเคราะห์สัญญาณรบกวนของข้อมูลทั้งสามประเภท โดยแสดงว่า p-fake เหมือนกับการรบกวนของ Deepfakes C) การแสดงภาพเวลา ของสามประเภทของข้อมูล โดยมีข้อมูลจริงแสดงให้เห็นถึงความสมบูรณ์ที่มากกว่าในการแกว่ง D) การแสดงภาพ T-SNE ของคุณลักษณะที่สกัดจากวิดีโอจริง วิดีโอปลอม และวิดีโอ p-fake. Source: https://arxiv.org/pdf/2207.10402.pdf

นี่ไม่ใช่วิธีที่ตัวเข้ารหัสวิดีโอจัดการลำดับเฟรมเมื่อสร้างหรือประมวลผลการบันทึกต้นฉบับ ในการประหยัดขนาดไฟล์หรือทำให้วิดีโอเหมาะสมสำหรับการสตรีมมิ่ง ข้อมูลจำนวนมากถูกทิ้งโดยตัวเข้ารหัสวิดีโอ แม้ว่าจะอยู่ในคุณภาพสูงสุด ตัวเข้ารหัสวิดีโอจะจัดสรร เฟรมหลัก (ตัวแปรที่สามารถตั้งค่าโดยผู้ใช้) – ภาพที่ไม่ถูกบีบอัดที่เกิดขึ้นที่ช่วงเวลาหนึ่งในวิดีโอ

เฟรมระหว่างเฟรมหลักถูกประมาณการเป็นรูปแบบของเฟรม และจะใช้ข้อมูลจากเฟรมหลักข้างเคียงให้มากที่สุด แทนที่จะเป็นเฟรมที่สมบูรณ์ในตัวเอง

ทางซ้ายมือ เฟรมหลักหรือ 'i-เฟรม' ถูกเก็บไว้ในวิดีโอที่บีบอัด โดยมีค่าใช้จ่ายของขนาดไฟล์ ทางขวามือ เฟรมระหว่าง 'เดลต้า' ใช้ซ้ำส่วนใดๆ ของเฟรมหลักที่มีข้อมูลมากกว่า Source: https://blog.video.ibm.com/streaming-video-tips/keyframes-interframe-video-compression/

ทางซ้ายมือ เฟรมหลักหรือ ‘i-เฟรม’ ถูกเก็บไว้ในวิดีโอที่บีบอัด โดยมีค่าใช้จ่ายของขนาดไฟล์ ทางขวามือ เฟรมระหว่าง ‘เดลต้า’ ใช้ซ้ำส่วนใดๆ ของเฟรมหลักที่มีข้อมูลมากกว่า Source: https://blog.video.ibm.com/streaming-video-tips/keyframes-interframe-video-compression/ Source: https://blog.video.ibm.com/streaming-video-tips/keyframes-interframe-video-compression/

ในลักษณะนี้ บล็อก (ที่มี x จำนวนเฟรม ขึ้นอยู่กับการตั้งค่าเฟรมหลัก) อาจถือเป็นหน่วยที่เล็กที่สุดที่ถูกพิจารณาในตัวเข้ารหัสวิดีโอวิดีโอที่บีบอัด แทนที่จะเป็นเฟรมใดๆ โดยเฉพาะ แม้แต่เฟรมหลักเองที่เรียกว่า i-เฟรม ก็เป็นส่วนหนึ่งของหน่วยนั้น

ในแง่ของการแอนิเมชั่นแบบดั้งเดิม ตัวเข้ารหัสวิดีโอทำหน้าที่ การTweening โดยมีเฟรมหลักทำหน้าที่เป็นเสาสำหรับเฟรมระหว่างที่คำนวณขึ้น ซึ่งเรียกว่า เฟรมเดลต้า

ในทางตรงกันข้าม การซ้อนทับของ Deepfakes ให้ความสนใจกับเฟรมแต่ละเฟรมโดยไม่พิจารณาบริบทที่กว้างขึ้น และไม่ได้คำนึงถึงวิธีการที่การบีบอัดและการเข้ารหัสแบบบล็อกจะส่งผลต่อลักษณะของวิดีโอ “แท้จริง”

การมองใกล้ๆ ความไม่ต่อเนื่องระหว่างคุณภาพของวิดีโอที่แท้จริง (ทางซ้าย) และวิดีโอที่ถูกขัดขวางโดย Deepfakes (ทางขวา)

การมองใกล้ๆ ความไม่ต่อเนื่องระหว่างคุณภาพของวิดีโอที่แท้จริง (ทางซ้าย) และวิดีโอที่ถูกขัดขวางโดย Deepfakes (ทางขวา)

แม้ว่าบาง Deepfakes ที่ดีกว่าจะใช้การประมวลผลหลังการผลิตอย่างกว้างขวาง ในแพ็คเกจ เช่น After Effects และแม้ว่า DeepFaceLab จะมี ความสามารถในการใช้กระบวนการ ‘การผสมผสาน’ เช่น มอชั่นเบลอร์ แต่การหลอกลวงดังกล่าวไม่ส่งผลต่อความไม่ตรงกันของความสม่ำเสมอทางพื้นที่และเวลาระหว่างวิดีโอที่แท้จริงและวิดีโอที่ถูกปลอม

เอกสารวิจัยใหม่ ชื่อ ว่า การตรวจจับ Deepfakes โดยการสร้างการหยุดชะงักของความสม่ำเสมอทางพื้นที่-เวลา และมาจากนักวิจัยที่มหาวิทยาลัย Tsinghua Department of Computer Vision Technology (VIS) ที่ Baidu Inc. (BIDU ) และมหาวิทยาลัย Melbourne

วิดีโอ ‘ปลอม’ ที่ ‘ปลอม’

นักวิจัยที่อยู่เบื้องหลังเอกสารวิจัยได้สร้างฟังก์ชันการทำงานของการวิจัยเป็นโมดูลแบบปลั๊กแอนด์เพลย์ที่เรียกว่า Pseudo-fake Generator (P-fake Generator) ซึ่งเปลี่ยนวิดีโอที่แท้จริงเป็นวิดีโอที่ ‘ปลอม’ โดยการรบกวนในลักษณะเดียวกับที่กระบวนการ Deepfakes ทำ โดยไม่ต้องทำการปลอมใดๆ

การทดสอบแสดงให้เห็นว่าโมดูลนี้สามารถเพิ่มลงในระบบตรวจจับ Deepfakes ที่มีอยู่ทั้งหมดโดยไม่ต้องใช้ทรัพยากรเพิ่มเติม และสามารถปรับปรุงประสิทธิภาพได้อย่างมาก

การค้นพบครั้งนี้สามารถช่วยแก้ไขปัญหาอีกประการหนึ่งในด้านการวิจัยการตรวจจับ Deepfakes ซึ่งก็คือการขาดข้อมูลและชุดข้อมูลที่แท้จริงและเป็นปัจจุบัน เนื่องจากการสร้าง Deepfakes เป็นกระบวนการที่ซับซ้อนและใช้เวลานาน ชุมชนได้พัฒนาชุดข้อมูล Deepfakes มาหลายชุดในช่วงห้าปีที่ผ่านมา ซึ่งหลายชุดล้าสมัยไปมากแล้ว

โดยการแยกการหยุดชะงักของความสม่ำเสมอเป็นสัญญาณที่ไม่ขึ้นอยู่กับ Deepfakes สำหรับวิดีโอที่ถูกเปลี่ยนแปลงภายหลังการบันทึก วิธีใหม่นี้ทำให้สามารถสร้างตัวอย่างและชุดข้อมูลวิดีโอที่ไม่สิ้นสุดซึ่งมุ่งเน้นไปที่ด้านนี้ของ Deepfakes

ภาพรวมของบล็อก STE ซึ่งใช้คอนโวลูชันเชิงเวลาแยกตามช่องสัญญาณเพื่อกระตุ้นให้เกิดการเข้ารหัสที่เสริมข้อมูลเชิงพื้นที่และเวลา และให้ลักษณะเฉพาะแบบเดียวกับที่พบแม้ใน Deepfake ที่น่าเชื่อถือมาก วิธีนี้สร้างวิดีโอปลอมเทียมที่มีลักษณะเฉพาะเหมือนวิดีโอที่ถูกดัดแปลงแบบ Deepfake โดยไม่ขึ้นกับแพ็กเกจเฉพาะหรือปัจจัยที่เปลี่ยนแปลงได้ เช่น พฤติกรรมของคุณลักษณะหรือสิ่งแปลกปลอมจากอัลกอริทึม

ภาพรวมของบล็อก STE ซึ่งใช้คอนโวลูชันเชิงเวลาแยกตามช่องสัญญาณเพื่อกระตุ้นให้เกิดการเข้ารหัสที่เสริมข้อมูลเชิงพื้นที่และเวลา และให้ลักษณะเฉพาะแบบเดียวกับที่พบแม้ใน Deepfake ที่น่าเชื่อถือมาก วิธีนี้สร้างวิดีโอปลอมเทียมที่มีลักษณะเฉพาะเหมือนวิดีโอที่ถูกดัดแปลงแบบ Deepfake โดยไม่ขึ้นกับแพ็กเกจเฉพาะหรือปัจจัยที่เปลี่ยนแปลงได้ เช่น พฤติกรรมของคุณลักษณะหรือสิ่งแปลกปลอมจากอัลกอริทึม

การทดสอบ

นักวิจัยได้ทำการทดสอบบนชุดข้อมูลที่มีชื่อเสียง 6 ชุดที่ใช้ในการวิจัยการตรวจจับ Deepfakes: FaceForensics++ (FF++); WildDeepFake; Deepfake Detection Challenge preview (DFDCP); Celeb-DF; Deepfake Detection (DFD); และ Face Shifter (FSh)

สำหรับ FF++ นักวิจัยได้ฝึกโมเดลของตนบนชุดข้อมูลต้นฉบับและทดสอบแต่ละชุดย่อยแยกจากกัน โดยไม่ต้องใช้วัสดุ Deepfakes ใดๆ ในการฝึกอบรม วิธีใหม่นี้สามารถเอาชนะผลลัพธ์ที่ดีที่สุดของวิธีที่มีอยู่ได้

วิธีนี้ยังได้รับตำแหน่งสูงสุดเมื่อเปรียบเทียบกับชุดข้อมูล FF++ C23 ที่บีบอัด ซึ่งให้ตัวอย่างที่มีเครื่องหมายการบีบอัดที่เชื่อถือได้ในสภาพแวดล้อมการดู Deepfakes ในโลกแห่งความเป็นจริง

ผู้เขียนแสดงความคิดเห็นว่า:

‘ผลลัพธ์ภายใน FF++ ยืนยันความเป็นไปได้ของความคิดหลักของเรา ในขณะที่ความสามารถในการทั่วไปยังคงเป็นปัญหาหลักของวิธีการตรวจจับ Deepfakes ที่มีอยู่ เนื่องจากประสิทธิภาพไม่ได้รับประกันเมื่อทดสอบบน Deepfakes ที่สร้างขึ้นโดยเทคนิคที่ไม่เคยเห็นมาก่อน ‘

‘พิจารณาเพิ่มเติมถึงความเป็นจริงของการแข่งขันระหว่างผู้ตรวจจับและผู้ปลอม การทั่วไปเป็นเกณฑ์ที่สำคัญในการวัดประสิทธิภาพของวิธีการตรวจจับในโลกแห่งความเป็นจริง’

แม้ว่านักวิจัยจะทำการทดสอบย่อยๆ (ดูเอกสารสำหรับรายละเอียด) เกี่ยวกับ ‘ความทนทาน’ และการเปลี่ยนแปลงประเภทของวิดีโอที่นำเข้า (เช่น จริง ปลอม p-faked ฯลฯ) ผลลัพธ์ที่น่าสนใจที่สุดคือการทดสอบประสิทธิภาพข้ามชุดข้อมูล

สำหรับสิ่งนี้ ผู้เขียนได้ฝึกโมเดลของตนบนเวอร์ชัน “โลกแห่งความเป็นจริง” C23 ของ FF++ และทดสอบโมเดลนี้กับชุดข้อมูล 4 ชุด โดยได้รับผลลัพธ์ที่ดีกว่าในทุกชุดตามที่ผู้เขียนระบุ

ผลลัพธ์จากการทดสอบข้ามชุดข้อมูล เอกสารระบุว่า SBI ใช้แนวทางที่คล้ายกับของตนเอง ในขณะที่นักวิจัยอ้างว่า p-fake มีประสิทธิภาพที่ดีกว่าในการหยุดชะงักของความสม่ำเสมอทางพื้นที่-เวลา

ผลลัพธ์จากการทดสอบข้ามชุดข้อมูล เอกสารระบุว่า SBI ใช้แนวทางที่คล้ายกับของตนเอง ในขณะที่นักวิจัยอ้างว่า p-fake มีประสิทธิภาพที่ดีกว่าในการหยุดชะงักของความสม่ำเสมอทางพื้นที่-เวลา

เอกสารระบุว่า:

‘ใน Deepwild ที่ท้าทายที่สุด วิธีของเราสามารถเอาชนะวิธี SOTA ได้ประมาณ 10 จุดเปอร์เซ็นต์ในแง่ของ AUC% เราคิดว่านี่เป็นเพราะความหลากหลายที่มากของ Deepfakes ใน Deepwild ซึ่งทำให้วิธีอื่นๆ ล้มเหลวในการทั่วไปได้ดีจาก Deepfakes ที่เคยเห็นมาก่อน’

เมตริกที่ใช้ในการทดสอบคือ คะแนนความแม่นยำ (ACC) พื้นที่ใต้เส้นโค้งการรับ-การปฏิเสธ (AUC) และอัตราความผิดพลาดที่เท่ากัน (EER)

การโต้กลับ?

แม้ว่าสื่อจะอธิบายความตึงเครียดระหว่างผู้พัฒนา Deepfakes และนักวิจัยการตรวจจับ Deepfakes ในแง่ของ สงครามทางเทคโนโลยี แต่ก็สามารถโต้แย้งได้ว่าผู้พัฒนา Deepfakes เพียงแคพยายามที่จะสร้างผลลัพธ์ที่น่าเชื่อถือ และความยากลำบากในการตรวจจับ Deepfakes เพิ่มขึ้นเป็นผลพลอยได้จากความพยายามเหล่านี้

ไม่ว่าผู้พัฒนา Deepfakes จะพยายามที่จะแก้ไขจุดอ่อนที่เปิดเผยใหม่นี้หรือไม่นั้น ขึ้นอยู่กับว่าพวกเขาจะรู้สึกว่าการหยุดชะงักของความสม่ำเสมอสามารถสังเกตได้ด้วยตาเปล่าว่าเป็นสัญญาณของการไม่แท้จริงหรือไม่ และด้วยเหตุนี้จึงมีค่าในการแก้ไขจากมุมมองเชิงคุณภาพ

แม้ว่าผ่านมาแล้วห้าปีตั้งแต่ Deepfakes แรกปรากฏขึ้นบนอินเทอร์เน็ต เทคโนโลยี Deepfakes ยังคงเป็นเทคโนโลยีที่ค่อนข้างใหม่ และชุมชนอาจยังคงให้ความสนใจกับรายละเอียดและความละเอียดมากกว่าบริบทที่ถูกต้องหรือการตรงกับลักษณะของวิดีโอที่บีบอัด ซึ่งต้องการ “การเสื่อมสภาพ” ของเอาต์พุต – สิ่งที่ชุมชน Deepfakes ทั้งหมดกำลังต่อสู้กันอยู่

หากมีความเห็นพ้องที่ว่าการหยุดชะงักของความสม่ำเสมอเป็นสัญญาณที่ไม่ส่งผลต่อคุณภาพ อาจไม่มีการพยายามที่จะชดเชย – แม้ว่าจะสามารถ “หักล้าง” ได้ด้วยกระบวนการหลังการประมวลผลหรือในสถาปัตยกรรมบางอย่าง ซึ่งไม่ชัดเจน

 

เผยแพร่ครั้งแรกเมื่อวันที่ 22 กรกฎาคม 2022

ผู้เขียนด้านการเรียนรู้ของเครื่อง, ผู้เชี่ยวชาญด้านการสังเคราะห์ภาพมนุษย์. อดีตหัวหน้าฝ่ายเนื้อหาการวิจัยที่ Metaphysic.ai, จนกระทั่งการรวมเข้าเป็น Brahma.ai ของ DNEG.
เว็บไซต์: martinanderson.ai
ติดต่อ: martin@martinanderson.ai