การส่งสัญญาณวิดีโอตัวปลอมแบบเรียลไทม์ด้วย DeepFaceLive

ซอฟต์แวร์ตัวปลอมที่ใช้กันมากที่สุดในโลก และที่มีการใช้กันมากที่สุดในการสร้างวิดีโอตัวปลอมสำหรับวัตถุประสงค์ทางเพศ กำลังได้รับการนำไปใช้ใหม่ – การซ้อนทับตัวปลอมของภาพลักษณ์ดาราหนังเข้าไปในภาพถ่ายจากเว็บแคมแบบเรียลไทม์

รีポจิทอรี่โอเพ่นซอร์ส DeepFaceLive เป็นแอปพลิเคชัน Windows 10 ที่สร้างขึ้นบนพื้นฐานของ DeepFaceLab ซึ่งกลายเป็นแหล่งข้อมูลหลักสำหรับการสลับตัวปลอมบนภาพหน้าหลังจากที่ผู้สร้างซอฟต์แวร์ตัวปลอมต้นฉบับละทิ้งโครงการไม่นานหลังจากที่การปลอมตัวปลอมสร้างความขัดแย้งไปทั่วโลกในปี 2018 ทั้งสองโครงการ ระบุ ส่วนฟอรัมของเว็บไซต์ตัวปลอมสำหรับวัตถุประสงค์ทางเพศ mrdeepfakes เป็นทรัพยากรสนับสนุนอย่างเป็นทางการ

ในวิดีโอของอินเทอร์เฟซ DeepFaceLive ที่ผู้พัฒนา Ivan Petrov เผยแพร่ในเดือนเมษายน เราจะเห็นภาพถ่ายที่ดาวน์โหลดมาของ Miles Fisher ที่ถูกแปลงเป็น Tom Cruise ในแบบเรียลไทม์ Source: https://martinanderson.substack.com/p/real-time-deepfake-streaming-is-apparently

เมื่อวานนี้ ผู้นำทั้งสองโครงการ นักพัฒนาชาวรัสเซีย Ivan Petrov ประกาศ เวอร์ชันใหม่ของ DeepFaceLive ในกลุ่ม Discord ของโครงการ โดยระบุว่า DeepFaceLive ได้รวมโมเดลที่ฝึกมาแล้วของนักแสดง Margot Robbie ซึ่งเป็นบุคคลที่มักถูกใช้ในการสร้างวิดีโอตัวปลอมสำหรับวัตถุประสงค์ทางเพศที่ mrdeepfakes

คลิปวิดีโอที่แสดงความสามารถของ DeepFaceLive ในการซ้อนทับอัตลักษณ์ของ Robbie เข้ากับผู้พูดในฟีดเว็บแคมได้ถูกอัปโหลดมา 4 คลิป

หนึ่งในตัวอย่างการแปลงตัวปลอมของ Margot Robbie ในแบบเรียลไทม์ Source: https://github.com/iperov/DeepFaceLive/tree/master/doc/celebs/Margot_Robbie

วิดีโอการแปลงตัวปลอมของ Robbie เดิมทีถูกแชร์บน Twitch แต่ถูกลบไปหลังจากนั้น

ตัวอย่างอื่นๆ ของการสลับตัวปลอมที่ให้มาโดย DeepFaceLive ความต้องการในการมีความคล้ายคลึงกันของใบหน้าระหว่างผู้ใช้และบุคคลเป้าหมายยังคงมีอยู่ ในภาพด้านล่างซ้าย เราจะเห็นว่าซอฟต์แวร์ไม่สามารถซ่อนสิ่งกีดขวางได้อย่างมีประสิทธิภาพ เช่นเดียวกับที่สามารถทำได้ใน DeepFaceLab เนื่องจากสิ่งนี้ต้องการการฝึกอบรมหน้ากากในแอปพลิเคชัน XSeg ของ DeepFaceLab ซึ่งเป็นวิธีที่ไม่สามารถนำไปใช้กับการปลอมตัวแบบเรียลไทม์ได้

โมเดล Margot Robbie ที่ถูกฝึกมาแล้วจะถูกใช้โดยผู้ใช้ DeepFaceLive ในการแปลงตัวปลอมของตนเองในแบบเรียลไทม์

นอกจากนี้ยังมีโมเดล Rowan Atkinson ที่จะถูกเพิ่มลงใน DeepFaceLive ในอนาคต

Tom Cruise เคยเป็นอัตลักษณ์ที่รวมอยู่ใน DeepFaceLive เมื่อเดือนเมษายน 2021 แต่ดูเหมือนว่าจะถูกลบออกจากแพ็คเกจไปแล้ว อย่างไรก็ตาม โมเดลสามารถดาวน์โหลดและติดตั้งได้ รวมถึงโมเดลที่ฝึกมาแล้วจากดาราหลายคนและโมเดลที่ผู้ใช้ฝึกเอง

DeepFaceLive ใช้งานได้เฉพาะบน Windows 10 และมี รายงาน จากผู้ใช้ว่าทำงานได้ดีกับแอปพลิเคชัน Broadcast ของ NVIDIA

การได้รับอัตลักษณ์

ผู้ใช้ไม่จำเป็นต้องผ่านกระบวนการรวบรวมวัสดุสำหรับชุดข้อมูลและใช้เวลา 3-10 วันในการฝึกอบรมโมเดลที่ดี เนื่องจากคำถามที่พบบ่อยของ DeepFaceLive ระบุว่าสามารถใช้ ‘โมเดลใบหน้าแบบสาธารณะ’ ที่ผู้สร้างคนอื่นๆ ได้รวบรวมไว้แล้ว ซึ่งจริงๆ แล้วแหล่งที่มาหลักของโมเดลเหล่านี้คือ Forum-Trained Models (ลิงก์เก็บถาวร) ที่เว็บไซต์ตัวปลอมสำหรับวัตถุประสงค์ทางเพศ mrdeepfakes ซึ่งสามารถเห็นได้จากการใช้งานโดยผู้ใช้ชาวรัสเซียใน วิดีโอยูทูบ ล่าสุด

Vladislav Pedro ใช้ DeepFaceLive ในการแปลงตัวปลอมของเขาเป็น Tom Cruise ในแบบเรียลไทม์ โมเดลที่เขาโหลดในวิดีโอนี้ถูกโฮสต์ที่ mrdeepfakes และใช้ในการประมวลผลตัวปลอมออฟไลน์จนถึงตอนนี้ Source: https://www.youtube.com/watch?v=0TcCKtObSnI

แม้ว่าการฝึกอบรมใบหน้าของผู้ใช้กับใบหน้าของดาราจะให้ผลลัพธ์ที่ดีที่สุด แต่คุณภาพของการจำลองดูเหมือนจะสัมพันธ์กับว่าผู้ใช้คล้ายคลึงกับดาราแค่ไหน เมื่อผู้ใช้คล้ายคลึงกับดาราในระดับที่ดี ผลลัพธ์ที่น่าเชื่อถือสามารถได้รับ

เช่นเดียวกับที่เห็นได้จากภาพสลับตัวปลอมของ Margot Robbie สามภาพสุดท้าย ซอฟต์แวร์ไม่สามารถทำการปลอมตัวที่น่าเชื่อถือได้เมื่อใบหน้าของผู้ใช้มีลักษณะทั่วไปที่แตกต่างกันอย่างมาก อย่างไรก็ตาม DeepFaceLab ยังสามารถ สลับหัว ได้ ซึ่งเป็นกระบวนการที่เขียนทับหัวต้นฉบับ แต่มีข้อจำกัดในเรื่องของทรงผม

DeepFaceLive ปัจจุบันรองรับเฉพาะ GPU ของ NVIDIA โดยการ์ดจอ GTX 750 เป็นฮาร์ดแวร์ที่ต่ำที่สุดที่สามารถให้ผลลัพธ์ที่สมเหตุสมผลได้ และต้องการพื้นที่ดิสก์สวอป 32GB บนการ์ดจอที่มี VRAM 4GB

การฝึกอบรมโมเดล Margot Robbie – ภาพ โพสต์ ที่ Discord ของ DeepFaceLab/DeepFaceLive โดย Ivan Petrov ที่นี่เราจะเห็นว่าชุดข้อมูลต้นฉบับมีความหลากหลายมาก และดูเหมือนว่าจะมีจุดมุ่งหมายในการสร้างโมเดลที่มีความทั่วไปและสามารถแปลงใบหน้าหลายประเภทให้กลายเป็นภาพของนักแสดงชาวออสเตรเลียได้ ชุด ‘A’ ส่วนใหญ่จะเป็นของบุคคลเดียว

ผู้ใช้รายงานว่า DeepFaceLive ต้องการทรัพยากรฮาร์ดแวร์มาก แต่ Petrov ตอบสนองโดยยืนยันว่า DeepFaceLive มีจุดมุ่งหมายสำหรับเครื่องคอมพิวเตอร์ที่มีการกำหนดค่าที่ดีในสภาพแวดล้อมในร่ม

รีポจิทอรี DeepFaceLab ของ GitHub ได้ถูก โคลน มากกว่า 6,000 ครั้ง ในขณะที่ DeepFaceLive ใหม่ปัจจุบันมี 85 โคลน

การใช้งานที่เป็นไปได้

ผู้แสดงความคิดเห็นใน เธรด (ภาษารัสเซีย) ที่เว็บไซต์สังคมรัสเซีย VK.com พูดคุยเกี่ยวกับการใช้งานที่เป็นไปได้ของ DeepFaceLive และดูเหมือนว่าจะมีการใช้งานที่เป็นไปได้ทั้งหมดสำหรับซอฟต์แวร์นี้: เป็น ‘การทำให้ไม่ระบุตัวตน’ หรือตัวกรองสำหรับใช้ในแอปพลิเคชัน Zoom และแอปพลิเคชันอื่นๆ; เป็นวิธีการในการฉ้อโกงหรือหลอกลวงผู้ชมการถ่ายทอดสด; และ – อาจเป็นไปได้มากที่สุด โดยพิจารณาจากแหล่งที่มาและฐานผู้ใช้ของซอฟต์แวร์ – เป็นวิธีการในการใช้งานเว็บแคมสำหรับงานทางเพศโดยใช้ดารา (ดูภาพที่ปลายบทความ)

ความเป็นไปได้ของ ‘ดาราเว็บแคมปลอม’ เกิดขึ้น ในสื่อหลายปีที่แล้ว ในปี 2020 แอปพลิเคชัน Avatarify ประกาศ ความสามารถในการปลอมตัวดาราเว็บแคม แต่ในคุณภาพที่ ต่ำกว่า มาตรฐานที่กำหนดโดย DeepFaceLab ซึ่งเป็น รีポจิทอรีของทางเลือก สำหรับการปลอมตัวที่สร้างความสนใจในระยะหลัง เช่น Chris Ume ผู้สร้างวิดีโอตัวปลอม Tom Cruise ที่น่าประทับใจ รวมถึงบริษัทการผลิตภาพยนตร์และโทรทัศน์ระดับสูงจากทั่วโลก

DeepFaceLab ซอฟต์แวร์ต้นฉบับที่ใช้สำหรับ DeepFaceLive และ รายงาน (ภาษารัสเซีย) ว่าเป็นเฟรมเวิร์กสำหรับ 95% ของวิดีโอตัวปลอมทั้งหมดบน YouTube ยังเป็นซอฟต์แวร์ที่ใช้โดย Shamook ผู้สร้างวิดีโอตัวปลอมที่มีผลงานที่น่าประทับใจในการปรับปรุงการปรากฏตัวของ Luke Skywalker ใน The Mandalorian ซึ่งทำให้ Lucasfilm จ้างเขา เป็นที่ปรึกษาด้าน VFX

ปรับให้เหมาะสมกับการจำกัดของตัวปลอม

วิธีการของซอฟต์แวร์ตัวปลอม เช่น DeepFaceLab และ FaceSwap ได้รับการสนับสนุนอย่างดีจากสภาพแวดล้อมเว็บแคมทั่วไป และลบอุปสรรคต่อความสมจริงที่ยังสามารถเกิดขึ้นได้กับตัวปลอมออฟไลน์

ตัวอย่างเช่น ตัวปลอมทำงานได้น้อยลงเมื่อผู้ใช้หันไปด้านข้าง (หรือมองขึ้น) ย้ายอย่างรวดเร็ว หรืออยู่ภายใต้การเปลี่ยนแปลงฉากหรือการเปลี่ยนแปลงแสงแบบฉับพลัน

ดังนั้น ‘ลักษณะคงที่’ ของการโทร Zoom ทั่วไปหรือเว็บแคมจึงเป็นประโยชน์ต่อซอฟต์แวร์ ตัวอย่างที่น่าชื่นชมที่สุดของการหลอกลวงตัวปลอมในช่วงสามปีที่ผ่านมาได้ออกแบบให้ผู้พูดหันหน้าเข้าหาเครื่องบันทึกและเคลื่อนไหวน้อยในพื้นที่ที่จำกัด เช่น การวาง Steve Buscemi บน Jennifer Lawrence ที่สุนทรพจน์ในการ颁สี และการแปลงการถ่ายทอดทางการเมือง ‘ถึงกล้อง’

การใช้งานที่เป็นไปได้มากที่สุดของโมเดล Margot Robbie ที่รวมอยู่ใน DeepFaceLive – วิดีโอทดสอบการนำไปใช้แบบเรียลไทม์ เผยแพร่ บน Discord ของ DeepFaceLab โดยผู้ใช้รัสเซีย ‘NoFace’

แก้ไข 8:52pm 7th August – แก้ไขชื่อผิด
แก้ไข 8:30pm 8th August – เพิ่มภาพจาก Discord