ความเที่ยงตรงเทียบกับความสมจริงในวิดีโอ Deepfake

ไม่ใช่ทุกคนที่มีเป้าหมายเดียวกันในการสร้างวิดีโอ Deepfake: แรงผลักดันของภาคการวิจัยสังเคราะห์ภาพ – ที่ได้รับการสนับสนุนจากผู้สนับสนุนที่มีอิทธิพล เช่น Adobe, NVIDIA และ Facebook – คือการปรับปรุงสถานะของศิลปะให้สามารถสร้างหรือสังเคราะห์กิจกรรมของมนุษย์ได้ในความละเอียดสูงและภายใต้สภาพที่ท้าทายที่สุด (ความเที่ยงตรง).

ในทางกลับกัน ผู้ที่ต้องการใช้เทคโนโลยี Deepfake เพื่อเผยแพร่ข้อมูลที่ไม่ถูกต้องมีเป้าหมายที่จะสร้างการจำลองที่น่าเชื่อถือของบุคคลจริงโดยวิธีการอื่นนอกเหนือจากความถูกต้องของใบหน้าที่ถูกสร้างขึ้น ในสถานการณ์นี้ ปัจจัยเสริม เช่น บริบทและความน่าเชื่อถือ มีความสำคัญเกือบเท่ากับความสามารถของวิดีโอในการจำลองใบหน้า (ความสมจริง).

แนวทาง ‘สเลท-ออฟ-แฮนด์’ นี้ยังขยายไปถึงการเสื่อมสภาพของคุณภาพของวิดีโอ Deepfake สุดท้าย เพื่อให้วิดีโอทั้งหมด (ไม่ใช่แค่ส่วนของใบหน้าที่ถูกสร้างขึ้น) มีลักษณะที่สอดคล้องกันและถูกต้องตามคุณภาพที่คาดหวังสำหรับวิดีโอ

‘สอดคล้องกัน’ ไม่จำเป็นต้องหมายถึง ‘ดี’ – มันเพียงพอแล้วที่คุณภาพจะสอดคล้องกันตลอดทั้งวิดีโอเดิมและเนื้อหาที่ถูกแทรกและดัดแปลง และสอดคล้องกับความคาดหวัง ในแง่ของการถ่ายทอดวิดีโอผ่านแพลตฟอร์ม เช่น Skype และ Zoom มาตรฐานสามารถต่ำมาก โดยมีวิดีโอที่กระตุกและไม่เรียบ และมีผลกระทบจากการบีบอัดที่หลากหลาย เช่นเดียวกับอัลกอริทึม ‘การทำให้เรียบ’ ที่ออกแบบมาเพื่อลดผลกระทบเหล่านี้ – ซึ่งโดยตัวเองก็ประกอบขึ้นเป็นผลกระทบที่ไม่แท้จริงอีกชุดหนึ่งที่เราได้รับมาจากข้อจำกัดและความแปลกประหลาดของการถ่ายทอดสด

DeepFaceLive ในการทำงาน: เวอร์ชันสตรีมมิ่งของซอฟต์แวร์ DeepFaceLab ที่ดีที่สุดสามารถให้ความสมจริงตามบริบทได้โดยการนำเสนอการปลอมแปลงในบริบทของคุณภาพวิดีโอที่จำกัด พร้อมด้วยปัญหาในการเล่นและอาการผิดปกติของการเชื่อมต่อที่เกิดขึ้นซ้ำๆ Source: https://www.youtube.com/watch?v=IL517EgYH8U

การเสื่อมสภาพที่ถูกสร้างขึ้น

แท้จริงแล้ว ชุดซอฟต์แวร์ Deepfake ที่ได้รับความนิยมสูงสุดสองชุด (ทั้งสองชุดมาจากโค้ดที่ถูกตั้งข้อสงสัยในปี 2017) มีส่วนประกอบที่ตั้งใจให้รวมใบหน้าที่ถูกสร้างขึ้นเข้ากับบริบทของวิดีโอที่ ‘เก่า’ หรือมีคุณภาพต่ำกว่า โดยการทำให้ใบหน้าที่ถูกสร้างขึ้นเสื่อมสภาพ ใน DeepFaceLab พารามิเตอร์ bicubic_degrade_power ทำงานนี้ และใน FaceSwap การตั้งค่า ‘grain’ ในการกำหนดค่า Ffmpeg ช่วยให้การผสมผสานใบหน้าที่ปลอมแปลงเข้ากับวิดีโอที่ไม่ใช่คุณภาพสูงได้ดีขึ้นโดยการรักษา ‘grain’ ระหว่างการเข้ารหัส*.

การตั้งค่า ‘grain’ ใน FaceSwap ช่วยให้การผสมผสานเข้ากับวิดีโอที่ไม่ใช่คุณภาพสูงและเนื้อหาที่มีอายุยาวนานที่อาจมีผลกระทบจากฟิล์มกรेनที่พบได้น้อยในยุคปัจจุบัน

บ่อยครั้ง แทนที่จะสร้างวิดีโอ Deepfake ที่สมบูรณ์และผสมผสานกัน ดี๊ปเฟกเกอร์จะผลิตชุดไฟล์ PNG ที่มีช่อง alpha ซึ่งแต่ละภาพแสดงเฉพาะใบหน้าที่ถูกสร้างขึ้นเพื่อให้สามารถแปลงเป็นวิดีโอได้ในแพลตฟอร์มที่มีความสามารถในการ ‘เสื่อมสภาพ’ ที่ซับซ้อนกว่า เช่น Adobe After Effects ก่อนที่จะรวมส่วนปลอมและส่วนจริงเข้าด้วยกันเพื่อสร้างวิดีโอสุดท้าย

นอกจากการเสื่อมสภาพที่ตั้งใจแล้ว เนื้อหาของงาน Deepfake มักถูกบีบอัดใหม่ โดยอัลกอริทึม (เมื่อแพลตฟอร์มโซเชียลมีเดียพยายามประหยัดแบนด์วิธโดยการผลิตเวอร์ชันที่เบากว่าของการอัปโหลดของผู้ใช้) ในแพลตฟอร์ม เช่น YouTube และ Facebook หรือโดยการประมวลผลงานเดิมให้เป็นภาพ GIF อนิเมชัน ส่วนรายละเอียด หรือเวิร์กโฟลว์ที่หลากหลายซึ่งรับเนื้อหาที่เผยแพร่ครั้งแรกเป็นจุดเริ่มต้น และนำไปสู่การบีบอัดเพิ่มเติม

บริบทการตรวจจับ Deepfake ที่สมจริง

ด้วยสิ่งนี้ในใจ วิจัยใหม่จากสวิตเซอร์แลนด์เสนอการปรับปรุงวิธีการตรวจจับ Deepfake โดยการเรียนรู้คุณลักษณะของเนื้อหาที่ถูกสร้างขึ้นเมื่อนำเสนอในบริบทที่เสื่อมสภาพโดยเจตนา

การเพิ่มข้อมูลแบบสุ่มที่ใช้กับหนึ่งในชุดข้อมูลที่ใช้ในงานวิจัยใหม่ โดยมีเสียงรบกวนแบบกอสเซียน การแก้ไขแกมมา และการเบลอแบบกอสเซียน รวมถึงอาการผิดปกติจากการบีบอัด JPEG Source: https://arxiv.org/pdf/2203.11807.pdf

ในงานวิจัยใหม่นี้ นักวิจัยโต้แย้งว่าชุดตรวจจับ Deepfake ที่มีประสิทธิภาพสูงสุดกำลังพึ่งพาสถานการณ์มาตรฐานที่ไม่สมจริงสำหรับบริบทของเมตริกที่ใช้ และว่า ‘การเสื่อมสภาพ’ ของการปลอมแปลงสามารถต่ำกว่าขีดจำกัดคุณภาพขั้นต่ำสำหรับการตรวจจับ แม้ว่าเนื้อหาที่ ‘โหดร้าย’ จะน่าจะหลอกลวงผู้ชมเนื่องจากความสนใจที่ถูกต้องในบริบท

นักวิจัยได้สร้างกระบวนการเสื่อมสภาพของข้อมูล ‘โลกแห่งความเป็นจริง’ ที่ประสบความสำเร็จในการปรับปรุงความสามารถในการทั่วไปของตัวตรวจจับ Deepfake ที่นำหน้า โดยมีการสูญเสียความแม่นยำเพียงเล็กน้อยในอัตราการตรวจจับที่ได้รับจากข้อมูล ‘สะอาด’ พวกเขายังเสนอเฟรมเวิร์กการประเมินใหม่ที่สามารถประเมินความแข็งแกร่งของตัวตรวจจับ Deepfake ในสภาพแวดล้อมที่แท้จริง โดยได้รับการสนับสนุนจากการศึกษาการลบส่วนต่างๆ อย่างกว้างขวาง

เอกสาร วิจัย มีชื่อเรื่อง แนวทางใหม่ในการปรับปรุงการตรวจจับ Deepfake ที่ใช้การเรียนรู้ในสถานการณ์ที่สมจริง และมาจากนักวิจัยที่ Multimedia Signal Processing Group (MMSPG) และ Ecole Polytechnique Federale de Lausanne (EPFL) ทั้งสองแห่งตั้งอยู่ที่ Lausanne

ความสับสนที่มีประโยชน์

ความพยายามก่อนหน้านี้ในการรวมการเสื่อมสภาพเข้ากับแนวทางในการตรวจจับ Deepfake รวมถึง เครือข่ายประสาท Mixup ซึ่งเป็นการเสนอในปี 2018 จาก MIT และ FAIR และ AugMix ซึ่งเป็นการร่วมมือในปี 2020 ระหว่าง DeepMind และ Google ทั้งสองเป็นวิธีการเพิ่มข้อมูลที่พยายาม ‘ทำให้เสื่อมสภาพ’ วัสดุฝึกอบรมเพื่อช่วยให้เกิดการเรียนรู้ทั่วไป

นักวิจัยของงานใหม่นี้ยังชี้ให้เห็นถึง การศึกษาก่อนหน้า ที่ใช้ เสียงรบกวนแบบกอสเซียนและผลกระทบจากการบีบอัดเพื่อกำหนดขอบเขตของความสัมพันธ์ระหว่างคุณลักษณะที่ได้รับและเสียงรบกวนที่มันฝังอยู่

การศึกษใหม่นี้เสนอแนวทางที่จำลองสภาพแวดล้อมที่เสื่อมสภาพของกระบวนการได้มาและการบีบอัดและอัลกอริทึมที่หลากหลายที่สามารถทำให้ภาพเสื่อมสภาพเพิ่มเติมในกระบวนการเผยแพร่ โดยการรวมกระบวนการทำงานในโลกแห่งความเป็นจริงนี้เข้ากับเฟรมเวิร์กการประเมิน มันทำให้สามารถผลิตข้อมูลฝึกอบรมสำหรับตัวตรวจจับ Deepfake ที่ทนต่ออาการผิดปกติได้ดีขึ้น

ตรรกะเชิง概念และกระบวนการทำงานของแนวทางใหม่

กระบวนการเสื่อมสภาพถูกนำไปใช้กับชุดข้อมูลที่ได้รับความนิยมและประสบความสำเร็จสองชุดที่ใช้ในการตรวจจับ Deepfake: FaceForensics++ และ Celeb-DFv2 นอกจากนี้ ตัวตรวจจับ Deepfake ที่นำหน้า Capsule-Forensics และ XceptionNet ถูกฝึกอบรมบนเวอร์ชันที่ถูกดัดแปลงของทั้งสองชุดข้อมูล

ตัวตรวจจับถูกฝึกอบรมด้วยตัวปรับแต่ง Adam เป็นเวลา 25 และ 10 ยุค ตามลำดับ สำหรับการแปลงชุดข้อมูล 100 เฟรมถูกสุ่มเลือกจากวิดีโอที่ฝึกอบรมแต่ละวิดีโอ โดยมี 32 เฟรมที่ถูกดึงออกมาเพื่อทดสอบ ก่อนที่จะเพิ่มกระบวนการเสื่อมสภาพ

การบิดเบือน考虑ในกระบวนการทำงานคือ เสียงรบกวน โดยที่เสียงรบกวนแบบกอสเซียนที่มีค่าเฉลี่ยเป็นศูนย์ถูกนำไปใช้ที่ระดับที่แตกต่างกัน 6 ระดับ; การปรับขนาด เพื่อจำลองการลดความละเอียดของวิดีโอภายนอกที่สามารถ ส่งผลต่อ ตัวตรวจจับ; การบีบอัด โดยที่ระดับการบีบอัด JPEG ที่แตกต่างกันถูกนำไปใช้กับข้อมูล; การทำให้เรียบ โดยที่ตัวกรองการทำให้เรียบสามแบบที่ใช้ในการ ‘การลดเสียงรบกวน’ ถูกประเมินสำหรับเฟรมเวิร์ก; การปรับปรุง โดยที่คอนทราสต์และความสว่างถูกปรับ; และ การผสมผสาน โดยที่การผสมผสานใดๆ ของวิธีการที่กล่าวมาข้างต้นถูกนำไปใช้กับรูปภาพเดียว

การทดสอบและผลลัพธ์

ในการทดสอบข้อมูล นักวิจัยใช้เมตริกสามแบบ: ความแม่นยำ (ACC); พื้นที่ใต้เส้นโค้งรับ-ผู้ดำเนินการ (AUC); และ คะแนน F1

นักวิจัยทดสอบตัวตรวจจับ Deepfake ที่ฝึกอบรมมาตรฐานกับข้อมูลที่ถูกดัดแปลง และพบว่ามันขาดไป:

‘โดยทั่วไป การบิดเบือนและกระบวนการที่สมจริงส่วนใหญ่เป็นอันตรายอย่างมากต่อตัวตรวจจับ Deepfake ที่ใช้การเรียนรู้แบบปกติ สำหรับวิธี Capsule-Forensics แสดงคะแนน AUC ที่สูงมากทั้งสองชุดข้อมูลทดสอบ FFpp และ Celeb-DFv2 หลังจากฝึกอบรมบนชุดข้อมูลที่เกี่ยวข้อง แต่จากนั้นก็ประสบกับการลดประสิทธิภาพอย่างรุนแรงในข้อมูลที่ดัดแปลงจากเฟรมเวิร์กการประเมินของเรา Trends ที่คล้ายกันถูกสังเกตในตัวตรวจจับ XceptionNet.’

ในทางกลับกัน ประสิทธิภาพของตัวตรวจจับทั้งสองดีขึ้นอย่างมากหลังจากฝึกอบรมบนข้อมูลที่ดัดแปลง โดยที่ตัวตรวจจับแต่ละตัวมีความสามารถในการตรวจจับสื่อที่หลอกลวงที่ไม่เคยเห็นมากขึ้น

‘การเพิ่มข้อมูลแบบสุ่มปรับปรุงความแข็งแกร่งของตัวตรวจจับทั้งสองและในขณะเดียวกันก็ยังคงรักษาความสามารถในการทำงานสูงในข้อมูลดั้งเดิมที่ไม่ถูกดัดแปลง.’

การเปรียบเทียบประสิทธิภาพระหว่างชุดข้อมูลดั้งเดิมและชุดข้อมูลที่เพิ่มข้อมูลแบบสุ่มที่ใช้กับตัวตรวจจับ Deepfake ทั้งสองที่ประเมินในงานศึกษา

เอกสารสรุป:

‘วิธีการตรวจจับในปัจจุบันถูกออกแบบมาเพื่อให้ได้ประสิทธิภาพสูงสุดในมาตรฐานเฉพาะ ซึ่งมักจะส่งผลให้เสียความสามารถในการทั่วไปไปในสถานการณ์ที่สมจริง ในงานนี้ เราเสนอการเพิ่มข้อมูลแบบสุ่มที่พิจารณาแล้วซึ่งพัฒนาขึ้นจากกระบวนการเสื่อมสภาพของภาพตามธรรมชาติ ‘

‘การทดลองอย่างกว้างขวางแสดงให้เห็นว่าเทคนิคที่เรียบง่ายแต่มีประสิทธิภาพนี้ปรับปรุงความแข็งแกร่งของแบบจำลองให้ทนต่อการบิดเบือนและกระบวนการที่สมจริงในกระบวนการทำงานภาพทั่วไปอย่างมีนัยสำคัญ’

* การจับคู่ ‘grain’ ในใบหน้าที่ถูกสร้างขึ้นเป็นฟังก์ชันของการถ่ายโอนสไตล์ระหว่างกระบวนการแปลง

เผยแพร่ครั้งแรกเมื่อวันที่ 29 มีนาคม 2022 อัปเดตเวลา 20:33 น. ตามเวลามาตรฐานตะวันออกเพื่อชี้แจงการใช้ ‘grain’ ใน Ffmpeg