สู่การสร้างวิดีโอ Deepfake แบบ Full-Body ที่มีความสมจริงและเสถียร

ในด้านที่ต้องการความอดทน ระบบใหม่นี้ผลักดันให้เรานearer ไปยังการจำลองมนุษย์ที่มีความสมจริงและเสถียรโดยไม่ต้องมีการประมวลผลที่น่าหงุดหงิด

สถานะปัจจุบันของการจำลองมนุษย์แบบ Full-Body ได้พัฒนาไปอย่างมากตั้งแต่ปี 2022 เมื่อความเป็นไปได้ของการสร้างวิดีโอ Deepfake แบบ Full-Body ปรากฏขึ้น ในปัจจุบันเราได้เห็นความสามารถที่น่าประทับใจและบางครั้งก็เป็นข้อขัดแย้งของระบบ Open-Source เช่น Wan-Animate และระบบปิด เช่น Grok ในการแปลงภาพหรือหลายภาพให้เป็นวิดีโอที่มีความสมจริงและเปลี่ยนแปลงได้

คลิกเพื่อเล่นวิดีโอ ตัวอย่างการแทนที่บุคคลด้วย WanAnimate-2.2 โปรดอ้างอิงแหล่งที่มาเพื่อดูคุณภาพที่ดีกว่า  แหล่งที่มา 

นอกจากนี้ ระบบ Autoencoder ที่ใช้สำหรับการสร้างวิดีโอ Deepfake แบบ Real-Time เช่น DeepFaceLive ได้ถูกแทนที่ด้วยระบบที่ซับซ้อนกว่า เช่น Deep-Live-Cam ซึ่งใช้การผสมผสานของ LivePortrait และโมดูล GAN และ InsightFace เพื่อสร้างวิดีโอที่มีความสมจริงและเสถียร

คลิกเพื่อเล่นวิดีโอ เอลอน มัสก์ ที่ถูกสร้างเป็นวิดีโอ Deepfake โดยใช้ Deep-Live-Cam โปรดอ้างอิงแหล่งที่มาเพื่อดูคุณภาพที่ดีกว่า แหล่งที่มา 

อย่างไรก็ตาม ระบบเหล่านี้ยังคงมีข้อจำกัดในด้านความสมจริงและเสถียรของวิดีโอ Deepfake ที่สร้างขึ้น

BRB…

ระบบการสร้างวิดีโอ Deepfake ส่วนใหญ่ในปัจจุบันยังคงมีข้อจำกัดและเป็นระบบ “ออฟไลน์” ที่ต้องใช้เวลาในการประมวลผลและไม่สามารถสร้างวิดีโอได้ในแบบ Real-Time

ระบบเหล่านี้ไม่เหมาะสมสำหรับการใช้งานที่ต้องการการสร้างวิดีโอ Deepfake ในแบบ Real-Time เช่น การแปลงการเคลื่อนไหวของร่างกายทั้งหมด เช่น การเต้นรำ ในการถ่ายทอดสด

ตัวอย่างของระบบที่มีข้อจำกัดนี้คือ Wan2.2-Animate ซึ่งเป็นระบบที่สามารถสร้างวิดีโอ Deepfake ได้ แต่ต้องใช้เวลาในการประมวลผลและไม่สามารถสร้างวิดีโอได้ในแบบ Real-Time

คลิกเพื่อเล่นวิดีโอ ตัวอย่างการสร้างวิดีโอ Deepfake โดยใช้ Wan2.2-Animate โปรดอ้างอิงแหล่งที่มาเพื่อดูคุณภาพที่ดีกว่า แหล่งที่มา 

LiveAnimate

ระบบใหม่ที่พัฒนาโดยทีมนักวิจัยจากจีนสามารถสร้างวิดีโอ Deepfake ได้ในแบบ Real-Time โดยใช้เทคนิคการประมวลผลที่เรียกว่า “LiveAnimate” ซึ่งสามารถสร้างวิดีโอ Deepfake ได้ในแบบ Real-Time โดยไม่ต้องใช้เวลาในการประมวลผล

คลิกเพื่อเล่นวิดีโอ. ตัวอย่างการสร้างวิดีโอ Deepfake โดยใช้ LiveAnimate โปรดอ้างอิงแหล่งที่มาเพื่อดูคุณภาพที่ดีกว่า

ระบบ LiveAnimate ใช้เทคนิคการประมวลผลที่เรียกว่า “การประมวลผลแบบสตรีม” ซึ่งสามารถสร้างวิดีโอ Deepfake ได้ในแบบ Real-Time โดยไม่ต้องใช้เวลาในการประมวลผล

ระบบ LiveAnimate ยังสามารถสร้างวิดีโอ Deepfake ได้ในแบบ Full-Body โดยใช้เทคนิคการประมวลผลที่เรียกว่า “การประมวลผลแบบ 3 มิติ” ซึ่งสามารถสร้างวิดีโอ Deepfake ได้ในแบบ Full-Body โดยไม่ต้องใช้เวลาในการประมวลผล

Method

ระบบ LiveAnimate ใช้เทคนิคการประมวลผลที่เรียกว่า “การประมวลผลแบบสตรีม” ซึ่งสามารถสร้างวิดีโอ Deepfake ได้ในแบบ Real-Time โดยไม่ต้องใช้เวลาในการประมวลผล

ระบบ LiveAnimate ใช้เทคนิคการประมวลผลที่เรียกว่า “การประมวลผลแบบ 3 มิติ” ซึ่งสามารถสร้างวิดีโอ Deepfake ได้ในแบบ Full-Body โดยไม่ต้องใช้เวลาในการประมวลผล

Forget Me Not

ระบบ LiveAnimate ใช้เทคนิคการประมวลผลที่เรียกว่า “การประมวลผลแบบสตรีม” ซึ่งสามารถสร้างวิดีโอ Deepfake ได้ในแบบ Real-Time โดยไม่ต้องใช้เวลาในการประมวลผล

ระบบ LiveAnimate ใช้เทคนิคการประมวลผลที่เรียกว่า “การประมวลผลแบบ 3 มิติ” ซึ่งสามารถสร้างวิดีโอ Deepfake ได้ในแบบ Full-Body โดยไม่ต้องใช้เวลาในการประมวลผล

Don’t Stop Now

ระบบ LiveAnimate ใช้เทคนิคการประมวลผลที่เรียกว่า “การประมวลผลแบบสตรีม” ซึ่งสามารถสร้างวิดีโอ Deepfake ได้ในแบบ Real-Time โดยไม่ต้องใช้เวลาในการประมวลผล

ระบบ LiveAnimate ใช้เทคนิคการประมวลผลที่เรียกว่า “การประมวลผลแบบ 3 มิติ” ซึ่งสามารถสร้างวิดีโอ Deepfake ได้ในแบบ Full-Body โดยไม่ต้องใช้เวลาในการประมวลผล

Block Wars

ระบบ LiveAnimate ใช้เทคนิคการประมวลผลที่เรียกว่า “การประมวลผลแบบสตรีม” ซึ่งสามารถสร้างวิดีโอ Deepfake ได้ในแบบ Real-Time โดยไม่ต้องใช้เวลาในการประมวลผล

ระบบ LiveAnimate ใช้เทคนิคการประมวลผลที่เรียกว่า “การประมวลผลแบบ 3 มิติ” ซึ่งสามารถสร้างวิดีโอ Deepfake ได้ในแบบ Full-Body โดยไม่ต้องใช้เวลาในการประมวลผล

Data and Tests

ระบบ LiveAnimate ได้ถูกทดสอบโดยใช้ข้อมูลจาก AVSpeech และ TikTok dataset และ HumanVid

ระบบ LiveAnimate ได้ถูกทดสอบโดยใช้ข้อมูลจาก AVSpeech และ TikTok dataset และ HumanVid

ระบบ LiveAnimate ได้ถูกทดสอบโดยใช้ข้อมูลจาก AVSpeech และ TikTok dataset และ HumanVid

Conclusion

ระบบ LiveAnimate เป็นระบบที่สามารถสร้างวิดีโอ Deepfake ได้ในแบบ Real-Time โดยไม่ต้องใช้เวลาในการประมวลผล

ระบบ LiveAnimate ใช้เทคนิคการประมวลผลที่เรียกว่า “การประมวลผลแบบสตรีม” ซึ่งสามารถสร้างวิดีโอ Deepfake ได้ในแบบ Real-Time โดยไม่ต้องใช้เวลาในการประมวลผล

ระบบ LiveAnimate ใช้เทคนิคการประมวลผลที่เรียกว่า “การประมวลผลแบบ 3 มิติ” ซึ่งสามารถสร้างวิดีโอ Deepfake ได้ในแบบ Full-Body โดยไม่ต้องใช้เวลาในการประมวลผล

ระบบ LiveAnimate เป็นระบบที่สามารถสร้างวิดีโอ Deepfake ได้ในแบบ Real-Time โดยไม่ต้องใช้เวลาในการประมวลผล