มุมมองของ Anderson

ข้อมูลความลึกสามารถเปิดเผย Deepfakes ในแบบเรียลไทม์

Martin Anderson
เพิ่ม Unite.AI ลงในแหล่งข้อมูลที่คุณต้องการบน Google
ประเด็นสำคัญแผนที่ความลึกช่วยให้ตรวจจับดีพเฟกแบบเรียลไทม์บนเครือข่ายน้ำหนักเบาเช่น MobileNet
ดูเพิ่มเติม
  • แผนที่ความลึกช่วยให้ตรวจจับดีพเฟกแบบเรียลไทม์บนเครือข่ายน้ำหนักเบาเช่น MobileNet
  • ความไม่แม่นยำของความลึกบริเวณขอบใบหน้าเผยให้เห็นดีพเฟกแม้กระทั่งสำหรับบุคคลที่ไม่รู้จัก
  • แผนที่ความลึกแบบสีเทาเพียงอย่างเดียวมีประสิทธิภาพเหนือกว่าภาพสีเต็มรูปแบบในความแม่นยำในการจำแนกดีพเฟก

การวิจัยใหม่จากประเทศอิตาลีได้ค้นพบว่าข้อมูลความลึกที่ได้รับจากภาพสามารถเป็นเครื่องมือที่มีประโยชน์ในการตรวจจับ Deepfakes – แม้กระทั่งในแบบเรียลไทม์

ในขณะที่ส่วนใหญ่ของการวิจัยเกี่ยวกับการตรวจจับ Deepfakes ในช่วง 5 ปีที่ผ่านมาได้มุ่งเน้นไปที่ การระบุอาร์ติแฟคต์ (ซึ่งสามารถลดลงได้ด้วยเทคนิคที่ดีขึ้น หรือสับสนกับการบีบอัดวิดีโอโค้ดคุณภาพต่ำ) การให้แสงสว่างโดยรอบ คุณลักษณะชีวภาพ การหยุดชะงักของเวลา และแม้กระทั่ง สัญชาตญาณของมนุษย์ การศึกษาใหม่นี้เป็นครั้งแรกที่แนะนำว่าข้อมูลความลึกอาจเป็นคีย์ที่มีค่าสำหรับการตรวจจับ Deepfakes

ตัวอย่างของแผนที่ความลึกที่ได้รับ และความแตกต่างในข้อมูลความลึกเชิงสังเกตระหว่างภาพจริงและภาพปลอม Source: https://arxiv.org/pdf/2208.11074.pdf

ตัวอย่างของแผนที่ความลึกที่ได้รับ และความแตกต่างในข้อมูลความลึกเชิงสังเกตระหว่างภาพจริงและภาพปลอม Source: https://arxiv.org/pdf/2208.11074.pdf

อย่างสำคัญ ระบบตรวจจับที่พัฒนาในงานศึกษานี้สามารถทำงานได้ดีบนเครือข่ายที่มีน้ำหนักเบา เช่น Xception และสามารถทำงานได้ดีบน MobileNet และบทความนี้ระบุว่าความหน่วงต่ำของการอนุมานจากเครือข่ายเหล่านี้เอื้อต่อการตรวจจับ Deepfakes แบบเรียลไทม์ เพื่อตอบโต้แนวโน้มการฉ้อโกงด้วย Deepfake สด เช่น การโจมตี Binance ที่เกิดขึ้นเมื่อไม่นานมานี้

การประหยัดเวลาในการอนุมานสามารถทำได้เพราะว่าระบบไม่ต้องการภาพสีเต็มเพื่อแยกความแตกต่างระหว่างแผนที่ความลึกปลอมและแผนที่ความลึกจริง แต่สามารถทำงานได้ดีบนภาพสีเทาเพียงอย่างเดียว

ผู้เขียนระบุว่า: ‘ผลลัพธ์นี้แสดงให้เห็นว่าข้อมูลความลึกในกรณีนี้ช่วยในการจำแนกได้มากกว่าอาร์ติแฟคต์สี’

ผลลัพธ์นี้เป็นส่วนหนึ่งของการวิจัยใหม่เกี่ยวกับการตรวจจับ Deepfakes ที่มุ่งเน้นไปที่ระบบสังเคราะห์ใบหน้าแบบเรียลไทม์ เช่น DeepFaceLive – ซึ่งเป็นจุดสนใจที่ได้รับการเร่งรัดอย่างมากในช่วง 3-4 เดือนที่ผ่านมา หลังจากคำเตือนของ FBI ในเดือนมีนาคมเกี่ยวกับความเสี่ยงของวิดีโอและเสียง Deepfakes แบบเรียลไทม์

บทความวิจัยนี้มีชื่อเรื่องว่า DepthFake: กลยุทธ์ในการตรวจจับวิดีโอ Deepfakes โดยใช้ข้อมูลความลึก และมาจากนักวิจัย 5 คนจากมหาวิทยาลัย Sapienza ของ Rome

กรณีชายขอบ

ระหว่างการฝึก โมเดล Deepfake ที่ใช้ตัวเข้ารหัสอัตโนมัติจะให้ความสำคัญกับบริเวณภายในใบหน้า เช่น ดวงตา จมูก และปาก ในซอฟต์แวร์โอเพนซอร์สอย่าง DeepFaceLab และ FaceSwap ซึ่งต่างแยกมาจากโค้ด Reddit ดั้งเดิมปี 2017 ก่อนถูกลบ เส้นขอบด้านนอกของใบหน้ามักไม่ชัดเจนจนกว่าจะฝึกไปถึงช่วงท้ายมาก และไม่น่าจะมีคุณภาพการสังเคราะห์เท่ากับส่วนภายในใบหน้า

จากการศึกษาก่อนหน้านี้ เราจะเห็นภาพที่แสดง 'แผนที่ความสำคัญ' ของใบหน้า Source: https://arxiv.org/pdf/2203.01318.pdf

จากการศึกษาก่อนหน้านี้ เราจะเห็นภาพที่แสดง ‘แผนที่ความสำคัญ’ ของใบหน้า Source: https://arxiv.org/pdf/2203.01318.pdf

โดยปกติแล้ว สิ่งนี้ไม่สำคัญ เนื่องจากเรามีแนวโน้มที่จะให้ความสำคัญกับดวงตาก่อน และจัดลำดับความสำคัญ ‘ออกไป’ ในระดับที่ลดลง ซึ่งหมายความว่าเราน่าจะไม่ถูกขัดขวางโดยการลดลงของคุณภาพในบริเวณนอกของใบหน้า – โดยเฉพาะอย่างยิ่งหากเรากำลังพูดกับบุคคลที่กำลังปลอมตัวเป็นอีกคนหนึ่ง ซึ่งกระตุ้นแบบแผนทางสังคมและข้อจำกัดในการประมวลผลของมนุษย์ที่ไม่มีอยู่เมื่อเราวิเคราะห์วิดีโอ Deepfakes ที่ถูกสร้างขึ้น

อย่างไรก็ตาม การขาดรายละเอียดหรือความแม่นยำในบริเวณนอกของใบหน้าปลอมสามารถตรวจจับได้ด้วยอัลกอริทึม ในเดือนมีนาคม ระบบที่ใช้ข้อมูลจากบริเวณนอกของใบหน้าได้รับการประกาศแล้ว อย่างไรก็ตาม ระบบนี้ต้องการข้อมูลการฝึกอบรมที่มากกว่าปกติ และมีไว้สำหรับคนดังที่มีแนวโน้มที่จะปรากฏในฐานข้อมูลใบหน้า เช่น ImageNet ซึ่งมีที่มาในเทคนิคการมองเห็นของคอมพิวเตอร์และการตรวจจับ Deepfake ที่ใช้อยู่

แทนระบบใหม่นี้ที่เรียกว่า DepthFake สามารถทำงานได้ดีบนใบหน้าที่ไม่ค่อยมีคนรู้จัก โดยการแยกความแตกต่างระหว่างคุณภาพของแผนที่ความลึกที่ประมาณการได้จากวิดีโอจริงและวิดีโอปลอม

เจาะลึก

ข้อมูลแผนที่ความลึกมีการเพิ่มขึ้นเรื่อยๆ ในสมาร์ทโฟน รวมถึงการนำไปใช้ การใช้งานสเตอริโอที่มี AI ช่วย ที่มีประโยชน์มากสำหรับการศึกษาด้านการมองเห็นของคอมพิวเตอร์ ในการศึกษานี้ ผู้เขียนได้ใช้โมเดล FaceDepth ของ National University of Ireland ซึ่งเป็นเครือข่ายตัวเข้ารหัส/ถอดรหัสแบบคอนโวลูชันที่สามารถประมาณการแผนที่ความลึกจากภาพเดี่ยวได้อย่างมีประสิทธิภาพ

โมเดล FaceDepth ในการทำงาน Source: https://tinyurl.com/3ctcazma

โมเดล FaceDepth ในการทำงาน Source: https://tinyurl.com/3ctcazma

ต่อไป กระบวนการของกรอบงานใหม่นี้จะตัดส่วนใบหน้าขนาด 224×224 พิกเซลจากทั้งภาพ RGB ต้นฉบับและแผนที่ความลึกที่ได้ โดยการทำเช่นนี้จะช่วยให้สามารถคัดลอกเนื้อหาที่สำคัญได้โดยไม่ต้องเปลี่ยนขนาด ซึ่งสำคัญมาก เนื่องจากการเปลี่ยนขนาดโดยใช้อัลกอริทึมมาตรฐานจะส่งผลเสียต่อคุณภาพของบริเวณที่มุ่งเน้น

โดยใช้ข้อมูลนี้จากทั้งแหล่งที่มาของภาพจริงและภาพปลอม ผู้เขียนได้ฝึกอบรมเครือข่ายประสาทเทียมแบบคอนโวลูชัน (CNN) ที่สามารถแยกความแตกต่างระหว่างภาพจริงและภาพปลอมได้โดยอาศัยความแตกต่างในคุณภาพของแผนที่ความลึก

ระบบการทำงานของ DepthFake

ระบบการทำงานของ DepthFake

โมเดล FaceDepth ได้รับการฝึกอบรมบนข้อมูลสมจริงและข้อมูลสังเคราะห์โดยใช้ฟังก์ชันไฮบริดที่ให้รายละเอียดมากกว่าในบริเวณนอกของใบหน้า ทำให้เหมาะสมสำหรับ DepthFake มันใช้ MobileNet เป็นตัวแยกคุณลักษณะ และได้รับการฝึกอบรมด้วยภาพขนาด 480×640 และผลลัพธ์แผนที่ความลึกขนาด 240×320 แผนที่ความลึกเป็นหนึ่งในสี่ช่องสัญญาณขาเข้าที่ใช้ในตัวจำแนกของโครงการใหม่นี้

แผนที่ความลึกถูกฝังลงในภาพต้นฉบับโดยอัตโนมัติเพื่อให้ได้ภาพ RGBD ที่มีข้อมูลความลึก ซึ่งเป็นภาพที่กล้องสมาร์ทโฟนสมัยใหม่สามารถผลิตได้

การฝึกอบรม

โมเดลได้รับการฝึกอบรมบนเครือข่าย Xception ที่ได้รับการฝึกอบรมล่วงหน้าบน ImageNet แม้ว่าโครงสร้างจะต้องมีการปรับเปลี่ยนเพื่อให้สามารถรองรับข้อมูลความลึกเพิ่มเติมได้ โดยยังคงการกำหนดค่าเริ่มต้นของค่าน้ำหนักให้ถูกต้อง

นอกจากนี้ ความแตกต่างในค่าระหว่างข้อมูลความลึกและค่าที่เครือข่ายคาดหวังทำให้ผู้เขียนต้องปรับเทียบค่าให้เท่ากับ 0-255

ระหว่างการฝึกอบรม มีการใช้การพลิกและการหมุนเท่านั้น ในหลายกรณี การเปลี่ยนแปลงด้านภาพอื่นๆ จะถูกนำเสนอให้กับโมเดลเพื่อสร้างการอนุมานที่มีความทนทาน แต่ความจำเป็นในการรักษาความลึกของขอบที่จำกัดและอ่อนไหวในภาพต้นฉบับทำให้ผู้เขียนต้องใช้การลดความซับซ้อน

ระบบได้รับการฝึกอบรมบนภาพสีเทา 2 ช่องสัญญาณเพื่อกำหนดความซับซ้อนที่ต้องการของภาพต้นฉบับเพื่อให้ได้ผลลัพธ์ที่ใช้ได้

การฝึกอบรมเกิดขึ้นผ่าน API ของ TensorFlow บน NVIDIA GTX 1080 โดยมี VRAM 8GB โดยใช้ ADAMAX optimizer ใน 25 ยุค โดยมีขนาดชุดข้อมูล 32 และความละเอียดของภาพถูกตั้งค่าไว้ที่ 224×224 ระหว่างการคัดเลือกและถอดรูปภาพใบหน้าใช้ไลบรารี C++ dlib

ผลลัพธ์

ความแม่นยำของผลลัพธ์ถูกทดสอบกับ Deepfake Face2Face FaceSwap Neural Texture และชุดข้อมูลที่มี RGB และ RGBD โดยใช้ FaceForensic++

ผลลัพธ์ความแม่นยำของวิธี Deepfake สี่วิธีและชุดข้อมูลทั้งหมดที่ไม่แยกย่อย โดยเปรียบเทียบภาพ RGB ต้นฉบับกับภาพเดียวกันที่ฝังแผนที่ความลึกที่อนุมานได้ ผลลัพธ์ที่ดีที่สุดเป็นตัวหนา และตัวเลขร้อยละด้านล่างแสดงระดับการปรับปรุงจากข้อมูลความลึก

ผลลัพธ์ความแม่นยำของวิธี Deepfake สี่วิธีและชุดข้อมูลทั้งหมดที่ไม่แยกย่อย โดยเปรียบเทียบภาพ RGB ต้นฉบับกับภาพเดียวกันที่ฝังแผนที่ความลึกที่อนุมานได้ ผลลัพธ์ที่ดีที่สุดเป็นตัวหนา และตัวเลขร้อยละด้านล่างแสดงระดับการปรับปรุงจากข้อมูลความลึก

ในกรณีทั้งหมด ช่องความลึกจะช่วยให้โมเดลมีประสิทธิภาพที่ดีขึ้นในทุกการกำหนดค่า Xception ได้ผลลัพธ์ที่ดีที่สุด โดยมี MobileNet ที่มีความสามารถในการทำงานที่ดีใกล้เคียงกัน ในสิ่งนี้ ผู้เขียนได้แสดงความคิดเห็นว่า:

‘[นับว่า] น่าสนใจที่ MobileNet ด้อยกว่า Xception เล็กน้อย แต่ทำได้ดีกว่า ResNet50 ซึ่งมีโครงข่ายลึกกว่า นี่เป็นผลลัพธ์ที่โดดเด่นเมื่อคำนึงถึงเป้าหมายการลดเวลาการอนุมานสำหรับการใช้งานเรียลไทม์ แม้จะไม่ใช่ผลงานหลักของงานนี้ แต่เรายังถือว่าเป็นผลลัพธ์ที่น่าส่งเสริมสำหรับการพัฒนาต่อไป’

ผู้เขียนยังได้แสดงความได้เปรียบอย่างต่อเนื่องของการเข้าถึง RGBD และ 2 ช่องสัญญาณสีเทาเหนือ RGB และสีเทาโดยตรง โดยสังเกตว่าการแปลงสีเทาของการอนุมานความลึก ซึ่งมีค่าใช้จ่ายในการคำนวณที่ต่ำมาก ช่วยให้โมเดลสามารถให้ผลลัพธ์ที่ดีขึ้นด้วยทรัพยากรที่จำกัดมาก ทำให้สามารถพัฒนาได้ในการตรวจจับ Deepfakes แบบเรียลไทม์โดยใช้ข้อมูลความลึก

 

เผยแพร่ครั้งแรกเมื่อวันที่ 24 สิงหาคม 2022

ผู้เขียนด้านการเรียนรู้ของเครื่อง, ผู้เชี่ยวชาญด้านการสังเคราะห์ภาพมนุษย์. อดีตหัวหน้าฝ่ายเนื้อหาการวิจัยที่ Metaphysic.ai, จนกระทั่งการรวมเข้าเป็น Brahma.ai ของ DNEG.
เว็บไซต์: martinanderson.ai
ติดต่อ: martin@martinanderson.ai