การมองเห็นของคอมพิวเตอร์เป็นหนึ่งในสาขาที่ถูกพูดถึงมากที่สุดในอุตสาหกรรม AI เนื่องจากมีการใช้งานที่หลากหลายในงานที่ต้องใช้เวลาในการประมวลผลในแบบเรียลไทม์ ในช่วงไม่กี่ปีที่ผ่านมา ระบบการมองเห็นของคอมพิวเตอร์ได้พัฒนาไปอย่างรวดเร็ว โดยมีโมเดลสมัยใหม่ที่สามารถวิเคราะห์ลักษณะใบหน้า วัตถุ และอื่นๆ ในสถานการณ์แบบเรียลไทม์ได้ แม้ว่าจะมีความสามารถเหล่านี้ แต่การถ่ายโอนการเคลื่อนไหวของมนุษย์ยังคงเป็นความท้าทายที่ยิ่งใหญ่สำหรับโมเดลการมองเห็นของคอมพิวเตอร์ งานนี้เกี่ยวข้องกับการกำหนดเป้าหมายการเคลื่อนไหวของใบหน้าและร่างกายจากภาพหรือวิดีโอที่เป็นแหล่งที่มาไปยังภาพหรือวิดีโอที่เป็นเป้าหมาย การถ่ายโอนการเคลื่อนไหวของมนุษย์ถูกใช้กันอย่างแพร่หลายในโมเดลการมองเห็นของคอมพิวเตอร์สำหรับการตกแต่งภาพหรือวิดีโอ การแก้ไขเนื้อหามัลติมีเดีย การสังเคราะห์มนุษย์แบบดิจิทัล และแม้กระทั่งการสร้างข้อมูลสำหรับเฟรมเวิร์กที่ขึ้นอยู่กับการรับรู้

ในบทความนี้ เราจะมุ่งเน้นไปที่ MagicDance ซึ่งเป็นโมเดลที่อาศัยการกระจายตัวที่ได้รับการออกแบบมาเพื่อปฏิวัติงานการถ่ายโอนการเคลื่อนไหวของมนุษย์ เฟรมเวิร์ก MagicDance มีเป้าหมายโดยเฉพาะในการถ่ายโอนการแสดงออกทางใบหน้าและการเคลื่อนไหวของมนุษย์ 2 มิติไปยังวิดีโอการเต้นรำที่ท้าทาย โดยมีเป้าหมายในการสร้างวิดีโอการเต้นรำที่ขับเคลื่อนด้วยลำดับท่าทางใหม่สำหรับอัตลักษณ์ที่เป็นเป้าหมายโดยเฉพาะ ในขณะเดียวกันก็รักษาอัตลักษณ์ดั้งเดิมไว้ เฟรมเวิร์ก MagicDance ใช้กลยุทธ์การฝึกอบรมสองขั้นตอน โดยเน้นไปที่การแยกการเคลื่อนไหวของมนุษย์และปัจจัยด้านรูปลักษณ์ เช่น สีผิว การแสดงออกบนใบหน้า และเสื้อผ้า เราจะสำรวจเฟรมเวิร์ก MagicDance โดยการตรวจสอบสถาปัตยกรรม ฟังก์ชันการทำงาน และประสิทธิภาพเมื่อเทียบกับเฟรมเวิร์กการถ่ายโอนการเคลื่อนไหวของมนุษย์ที่ทันสมัยอื่นๆ มาเริ่มกันเลย

MagicDance : การถ่ายโอนการเคลื่อนไหวของมนุษย์ที่มีลักษณะเหมือนจริง

ตามที่กล่าวไว้ก่อนหน้านี้ การถ่ายโอนการเคลื่อนไหวของมนุษย์เป็นหนึ่งในงานที่ซับซ้อนที่สุดในงานการมองเห็นของคอมพิวเตอร์ เนื่องจากความซับซ้อนที่เกี่ยวข้องกับการถ่ายโอนการเคลื่อนไหวของมนุษย์และการแสดงออกทางใบหน้าจากภาพหรือวิดีโอที่เป็นแหล่งที่มาไปยังภาพหรือวิดีโอที่เป็นเป้าหมาย ในแบบดั้งเดิม เฟรมเวิร์กการมองเห็นของคอมพิวเตอร์สามารถทำการถ่ายโอนการเคลื่อนไหวของมนุษย์ได้โดยการฝึกอบรมโมเดลเชิงกำเนิดที่ฝึกสำหรับงานเฉพาะ เช่น GAN หรือ เครือข่ายเชิงกำเนิดแบบปฏิปักษ์ บนดาต้าเซตที่เป็นเป้าหมายสำหรับการแสดงออกบนใบหน้าและท่าทางของร่างกาย แม้ว่าการฝึกอบรมและการใช้โมเดลเชิงกำเนิดที่ฝึกสำหรับงานเฉพาะจะให้ผลลัพธ์ที่น่าพอใจในบางกรณี แต่ก็มักจะประสบปัญหาจากข้อจำกัดสองประการ

1. พวกมันพึ่งพาส่วนประกอบการบิดเบือนภาพเป็นอย่างมาก จึงมักประสบปัญหาในการประมาณส่วนของร่างกายที่มองไม่เห็นในภาพต้นทาง เนื่องจากการเปลี่ยนแปลงมุมมองหรือการปิดบังตนเอง
2. พวกมันไม่สามารถวางนัยทั่วไปไปยังภาพอื่นที่มาจากภายนอกได้ ซึ่งจำกัดความสามารถในการใช้งาน โดยเฉพาะในสถานการณ์แบบเรียลไทม์ในสภาพแวดล้อมจริง

โมเดลการกระจายตัวสมัยใหม่ได้แสดงให้เห็นถึงความสามารถในการสร้างภาพที่น่าประทับใจในหลายสถานการณ์ และสามารถนำไปใช้ในการสร้างวิดีโอและการเติมส่วนที่ขาดหายของภาพได้โดยการเรียนรู้จากเซตข้อมูลภาพขนาดใหญ่บนเว็บ โมเดลการกระจายตัวอาจเป็นตัวเลือกที่เหมาะสมสำหรับงานการถ่ายโอนการเคลื่อนไหวของมนุษย์ แต่ก็มีข้อจำกัดบางประการ เช่น คุณภาพของเนื้อหาที่สร้างขึ้นหรือการรักษาอัตลักษณ์หรือการขาดความสอดคล้องในแง่ของเวลา เนื่องจากข้อจำกัดด้านการออกแบบโมเดลและกลยุทธ์การฝึก นอกจากนี้ โมเดลแบบดิฟฟิวชันยังไม่มีข้อได้เปรียบสำคัญเหนือ เฟรมเวิร์ก GAN ในด้านการวางนัยทั่วไป

เพื่อเอาชนะอุปสรรคที่เฟรมเวิร์กการกระจายตัวและ GAN ต้องเผชิญในงานการถ่ายโอนการเคลื่อนไหวของมนุษย์ ผู้พัฒนาได้แนะนำ MagicDance ซึ่งเป็นเฟรมเวิร์กใหม่ที่มีเป้าหมายในการใช้ประโยชน์จากโมเดลการกระจายตัวสำหรับการถ่ายโอนการเคลื่อนไหวของมนุษย์ โดยแสดงให้เห็นถึงระดับการรักษาอัตลักษณ์ที่ไม่เคยเห็นมาก่อน คุณภาพการแสดงภาพที่เหนือกว่า และความสามารถในการวางนัยทั่วไปข้ามโดเมน แนวคิดหลักคือแยกปัญหาออกเป็นสองขั้น ได้แก่ การควบคุมรูปลักษณ์และการควบคุมการเคลื่อนไหว ซึ่งเป็นความสามารถที่โมเดลสร้างภาพแบบดิฟฟิวชันต้องมีเพื่อถ่ายโอนการเคลื่อนไหวได้อย่างแม่นยำ

รูปด้านบนให้ภาพรวมของเฟรมเวิร์ก MagicDance และสามารถเห็นได้ว่าเฟรมเวิร์กใช้ โมเดล Stable Diffusion และมีส่วนประกอบเพิ่มเติมสองส่วน: Appearance Control Model และ Pose ControlNet ซึ่งให้คำแนะนำด้านรูปลักษณ์จากภาพอ้างอิงผ่านกลไกอเทนชัน และให้คำแนะนำด้านการแสดงออกทางใบหน้าและท่าทางของร่างกายจากภาพหรือวิดีโอที่ใช้กำหนดเงื่อนไข อีกทั้งใช้การฝึกหลายขั้นตอนเพื่อให้โมดูลย่อยเรียนรู้การควบคุมท่าทางแยกจากรูปลักษณ์

โดยสรุป เฟรมเวิร์ก MagicDance เป็น

1. เฟรมเวิร์กใหม่ที่มีประสิทธิภาพ โดยประกอบด้วยการควบคุมท่าทางแยกออกจากกันและการฝึกอบรมการควบคุมรูปลักษณ์
2. เฟรมเวิร์ก MagicDance สามารถสร้างการแสดงออกทางใบหน้าและท่าทางของร่างกายที่มีลักษณะเหมือนจริงได้ภายใต้การควบคุมของอินพุตท่าทางและภาพอ้างอิงหรือวิดีโอ
3. เฟรมเวิร์ก MagicDance มีเป้าหมายในการสร้างเนื้อหามนุษย์ที่มีรูปลักษณ์สอดคล้องกัน โดยเพิ่มโมดูลการดึงความสนใจจากหลายแหล่งที่ให้คำแนะนำที่แม่นยำสำหรับเฟรมเวิร์ก Stable Diffusion UNet
4. เฟรมเวิร์ก MagicDance สามารถใช้เป็นส่วนขยายหรือปลั๊กอินสำหรับเฟรมเวิร์ก Stable Diffusion ได้ และรับประกันความเข้ากันได้กับน้ำหนักโมเดลที่มีอยู่โดยไม่ต้องปรับพารามิเตอร์เพิ่มเติม

นอกจากนี้ เฟรมเวิร์ก MagicDance ยังแสดงให้เห็นถึงความสามารถในการวางนัยทั่วไปที่ดีสำหรับทั้งรูปลักษณ์และท่าทาง

1. การวางนัยทั่วไปรูปลักษณ์: เฟรมเวิร์ก MagicDance แสดงให้เห็นถึงความสามารถที่เหนือกว่าในการสร้างรูปลักษณ์ที่หลากหลาย
2. การวางนัยทั่วไปท่าทาง: เฟรมเวิร์ก MagicDance ยังมีความสามารถในการสร้างท่าทางที่หลากหลาย

MagicDance : วัตถุประสงค์และสถาปัตยกรรม

สำหรับภาพอ้างอิงที่กำหนดของมนุษย์จริงหรือภาพที่มีลักษณะเฉพาะ เฟรมเวิร์ก MagicDance มีเป้าหมายหลักในการสร้างภาพหรือวิดีโอที่มีเงื่อนไขจากอินพุตและอินพุตท่าทาง {P, F} โดยที่ P แสดงถึงโครงกระดูกของมนุษย์และ F แทนจุดสังเกตบนใบหน้า ภาพหรือวิดีโอผลลัพธ์ควรรักษารูปลักษณ์และอัตลักษณ์ของบุคคล รวมถึงพื้นหลังจากภาพอ้างอิง พร้อมคงท่าทางและสีหน้าที่กำหนดโดยอินพุตท่าทาง

สถาปัตยกรรม

ระหว่างการฝึกอบรม เฟรมเวิร์ก MagicDance ถูกฝึกอบรมเป็นงานการกู้คืนเฟรมเพื่อสร้างเฟรมข้อมูลจริง (ground truth) กลับคืนมาจากภาพอ้างอิงและอินพุตท่าทางที่มาจากวิดีโออ้างอิงเดียวกัน ระหว่างการทดสอบเพื่อให้การถ่ายโอนการเคลื่อนไหว อินพุตท่าทางและภาพอ้างอิงมาจากแหล่งที่แตกต่างกัน

โดยรวมแล้ว สถาปัตยกรรมของเฟรมเวิร์ก MagicDance สามารถแบ่งออกเป็นสี่ประเภท: ขั้นตอนเบื้องต้น การฝึกอบรมการควบคุมรูปลักษณ์ การควบคุมท่าทางที่แยกออกจากกัน และโมดูลการเคลื่อนไหว

ขั้นตอนเบื้องต้น

โมเดลการกระจายตัวในปริภูมิแฝงหรือ LDM เป็นตัวแทนของโมเดลการกระจายตัวที่ได้รับการออกแบบมาเพื่อทำงานในพื้นที่แบบจำลองที่ได้รับการอำนวยความสะดวกโดยการใช้ตัวเข้ารหัสอัตโนมัติ และเฟรมเวิร์ก Stable Diffusion เป็นตัวอย่างที่สำคัญของ LDMs ที่ใช้ Vector Quantized-Variational AutoEncoder และสถาปัตยกรรม U-Net เชิงเวลา โมเดล Stable Diffusion ใช้ทรานส์ฟอร์เมอร์ที่อิง CLIP เป็นตัวเข้ารหัสข้อความ เพื่อแปลงอินพุตข้อความเป็นเวกเตอร์ฝังตัว ระหว่างการฝึก โมเดลได้รับข้อความเงื่อนไขและภาพอินพุต โดยภาพจะถูกเข้ารหัสเป็นตัวแทนในปริภูมิแฝง แล้วเติมสัญญาณรบกวนแบบเกาส์เซียนตามลำดับขั้นดิฟฟิวชันที่กำหนดไว้ จนได้ตัวแทนแฝงที่มีสัญญาณรบกวนซึ่งสอดคล้องกับการแจกแจงปกติมาตรฐาน เป้าหมายหลักของการเรียนรู้คือการค่อย ๆ ขจัดสัญญาณรบกวนออกจากตัวแทนแฝงเหล่านี้

การฝึกอบรมการควบคุมรูปลักษณ์

ปัญหาหลักของเฟรมเวิร์ก ControlNet เดิมคือความไม่สามารถควบคุมรูปลักษณ์ระหว่างการเคลื่อนไหวที่เปลี่ยนแปลงไปได้ แม้ว่าจะสร้างภาพที่มีท่าทางที่คล้ายกับภาพอินพุตโดยรวม แต่รูปลักษณ์โดยรวมจะถูกกำหนดโดยอินพุตข้อความเป็นหลัก แม้วิธีนี้จะใช้งานได้ แต่ไม่เหมาะกับการถ่ายโอนการเคลื่อนไหวที่ภาพอ้างอิงเป็นแหล่งข้อมูลรูปลักษณ์หลัก แทนที่จะเป็นข้อความ

โมดูลการฝึกอบรมการควบคุมรูปลักษณ์ในเฟรมเวิร์ก MagicDance ได้รับการออกแบบมาเพื่อให้คำแนะนำสำหรับการควบคุมรูปลักษณ์ผ่านแขนงเสริมที่ให้คำแนะนำทีละชั้น แทนที่จะพึ่งพาอินพุตข้อความ โมดูลโดยรวมจะเน้นไปที่การใช้ลักษณะรูปลักษณ์จากภาพอ้างอิงโดยมีเป้าหมายในการปรับปรุงความสามารถของเฟรมเวิร์กในการสร้างลักษณะรูปลักษณ์ได้อย่างแม่นยำ โดยเฉพาะในสถานการณ์ที่เกี่ยวข้องกับพลวัตการเคลื่อนไหวที่ซับซ้อน นอกจากนี้ โมดูลการควบคุมรูปลักษณ์เท่านั้นที่สามารถฝึกอบรมได้ระหว่างการฝึกอบรมการควบคุมรูปลักษณ์

การควบคุมท่าทางที่แยกออกจากกัน

วิธีแก้ปัญหาที่ตรงไปตรงมาสำหรับการควบคุมท่าทางในภาพที่สร้างขึ้นคือการรวมโมเดล ControlNet ที่ฝึกอบรมไว้แล้วเข้ากับโมเดลการควบคุมรูปลักษณ์ที่ฝึกอบรมไว้แล้วโดยตรงโดยไม่ต้องปรับพารามิเตอร์ อย่างไรก็ตาม การรวมนี้อาจทำให้เฟรมเวิร์กต้องดิ้นรนในการควบคุมท่าทางที่แยกออกจากกัน ซึ่งอาจทำให้เกิดความไม่สอดคล้องกันระหว่างท่าทางอินพุตและท่าทางที่สร้างขึ้น เพื่อแก้ปัญหานี้ MagicDance จึงปรับจูน Pose ControlNet ร่วมกับ Appearance Control Model ที่ฝึกไว้แล้ว

โมดูลการเคลื่อนไหว

เมื่อทำงานร่วมกัน โมดูลการควบคุมท่าทางที่แยกออกจากกันและโมดูลการควบคุมรูปลักษณ์สามารถทำการถ่ายโอนภาพไปยังการเคลื่อนไหวได้อย่างแม่นยำและเป็นผล แม้ว่าจะทำให้เกิดความไม่สอดคล้องในแง่ของเวลา เพื่อให้แน่ใจว่ามีความสอดคล้องในแง่ของเวลา เฟรมเวิร์กได้บูรณาการโมดูลการเคลื่อนไหวเพิ่มเติมเข้าไปในสถาปัตยกรรม U-Net ของ Stable Diffusion

MagicDance : การฝึกอบรมก่อนและดาต้าเซต

สำหรับการฝึกอบรมก่อนหน้า เฟรมเวิร์ก MagicDance ใช้ดาต้าเซต TikTok ที่ประกอบด้วยวิดีโอการเต้นรำมากกว่า 350 วิดีโอที่มีความยาวต่างกันระหว่าง 10 ถึง 15 วินาที แต่ละวิดีโอแสดงคนหนึ่งคนกำลังเต้น และส่วนใหญ่เห็นใบหน้ากับร่างกายส่วนบน MagicDance ดึงเฟรมที่ 30 เฟรมต่อวินาที แล้วใช้ OpenPose กับแต่ละเฟรมเพื่อประมาณโครงกระดูกท่าทาง ท่ามือ และจุดสังเกตบนใบหน้า

สำหรับการฝึกอบรมก่อนหน้า โมดูลการควบคุมรูปลักษณ์ถูกฝึกอบรมด้วยขนาดแบตช์ของ 64 บน 8 NVIDIA A100 GPUs เป็นเวลา 10,000 ขั้นตอน โดยมีขนาดภาพ 512 x 512 ตามด้วยการปรับพารามิเตอร์ร่วมกันของโมดูลการควบคุมท่าทางและโมดูลการควบคุมรูปลักษณ์ด้วยขนาดแบตช์ของ 16 เป็นเวลา 20,000 ขั้นตอน ระหว่างการฝึกอบรม เฟรมเวิร์ก MagicDance จะสุ่มเลือกสองเฟรมเป็นเป้าหมายและอ้างอิงตามลำดับ โดยมีการตัดภาพที่ตำแหน่งเดียวกันและความสูงเดียวกัน ระหว่างการประเมิน โมเดลจะตัดภาพที่จุดศูนย์กลางแทนการตัดภาพสุ่ม

MagicDance : ผลลัพธ์

ผลลัพธ์การทดลองที่ดำเนินการบนเฟรมเวิร์ก MagicDance แสดงไว้ในรูปด้านล่าง และสามารถเห็นได้ว่าเฟรมเวิร์ก MagicDance มีประสิทธิภาพเหนือเฟรมเวิร์กอื่นๆ เช่น Disco และ DreamPose ในการถ่ายโอนการเคลื่อนไหวของมนุษย์ในทุกตัวชี้วัด โมเดลที่มีเครื่องหมายดอกจัน (*) หน้าชื่อใช้ภาพเป้าหมายเป็นอินพุตโดยตรง จึงได้รับข้อมูลมากกว่าโมเดลอื่น

เป็นที่น่าสนใจที่จะทราบว่าเฟรมเวิร์ก MagicDance ได้รับคะแนน Face-Cos ที่ 0.426 ซึ่งเป็นการปรับปรุงที่ 156.62% เมื่อเทียบกับเฟรมเวิร์ก Disco และเพิ่มขึ้นเกือบ 400% เมื่อเทียบกับเฟรมเวิร์ก DreamPose ผลลัพธ์เหล่านี้แสดงให้เห็นถึงความสามารถที่แข็งแกร่งของเฟรมเวิร์ก MagicDance ในการรักษาอัตลักษณ์ และการเพิ่มขึ้นของประสิทธิภาพที่เห็นได้ชัดเจนแสดงให้เห็นถึงความเหนือกว่าของเฟรมเวิร์ก MagicDance เมื่อเทียบกับวิธีการที่ทันสมัยอื่นๆ

รูปด้านล่างเปรียบเทียบคุณภาพของการสร้างวิดีโอของมนุษย์ระหว่างเฟรมเวิร์ก MagicDance, Disco และ TPS และสามารถเห็นได้ว่าผลลัพธ์ที่สร้างโดยเฟรมเวิร์ก GT, Disco และ TPS มีปัญหาในการสอดคล้องกันของอัตลักษณ์ของมนุษย์และการแสดงออกทางใบหน้าบนใบหน้า

นอกจากนี้ รูปด้านล่างแสดงให้เห็นถึงการแสดงออกของการแสดงออกทางใบหน้าและท่าทางของมนุษย์บนเซตข้อมูล TikTok โดยเฟรมเวิร์ก MagicDance สามารถสร้างการแสดงออกทางใบหน้าและท่าทางที่มีลักษณะเหมือนจริงและเป็นผลได้ภายใต้การแสดงออกทางใบหน้าและท่าทางที่หลากหลาย และรักษาอัตลักษณ์จากภาพอ้างอิงได้อย่างแม่นยำ

เป็นที่น่าสนใจที่จะทราบว่าเฟรมเวิร์ก MagicDance มีความสามารถในการวางนัยทั่วไปที่ดีสำหรับภาพอ้างอิงภายนอกที่ไม่เคยเห็นมาก่อนและรูปแบบที่หลากหลาย โดยไม่ต้องมีการปรับพารามิเตอร์เพิ่มเติมบนโดเมนที่เป็นเป้าหมาย และผลลัพธ์เหล่านี้แสดงไว้ในรูปด้านล่าง

รูปด้านล่างแสดงให้เห็นถึงความสามารถในการแสดงออกของเฟรมเวิร์ก MagicDance ในด้านการถ่ายโอนการแสดงออกทางใบหน้าและการเคลื่อนไหวของมนุษย์แบบไม่ใช้ตัวอย่างเพิ่มเติม (zero-shot) และสามารถเห็นได้ว่าเฟรมเวิร์ก MagicDance สร้างแบบจำลองได้อย่างสมบูรณ์แบบสำหรับการเคลื่อนไหวของมนุษย์ในสภาพแวดล้อมจริง

MagicDance : ข้อจำกัด

OpenPose เป็นส่วนประกอบที่สำคัญของเฟรมเวิร์ก MagicDance เนื่องจากมีบทบาทสำคัญในการควบคุมท่าทาง ซึ่งส่งผลต่อคุณภาพและความสอดคล้องในแง่ของเวลาของภาพที่สร้างขึ้นอย่างมาก อย่างไรก็ตาม เฟรมเวิร์ก MagicDance ยังคงพบปัญหาในการตรวจจับลักษณะใบหน้าและท่าทางของมนุษย์ได้อย่างแม่นยำ โดยเฉพาะอย่างยิ่งเมื่อวัตถุในภาพมองเห็นเพียงบางส่วนหรือเคลื่อนไหวอย่างรวดเร็ว ซึ่งอาจทำให้เกิดปัญหาในภาพที่สร้างขึ้น

สรุป

ในบทความนี้ เราได้พูดถึง MagicDance ซึ่งเป็นโมเดลที่อาศัยการกระจายตัวที่มีเป้าหมายในการปฏิวัติงานการถ่ายโอนการเคลื่อนไหวของมนุษย์ โดยมีเป้าหมายในการถ่ายโอนการแสดงออกทางใบหน้าและท่าทางของมนุษย์ 2 มิติไปยังวิดีโอการเต้นรำที่ท้าทาย โดยมีเป้าหมายในการสร้างวิดีโอการเต้นรำที่ขับเคลื่อนด้วยลำดับท่าทางที่ใหม่สำหรับอัตลักษณ์ที่เป็นเป้าหมายโดยเฉพาะ ในขณะเดียวกันก็รักษาอัตลักษณ์ดั้งเดิมไว้

MagicDance เป็นแนวทางใหม่ในการสร้างวิดีโอของมนุษย์ที่มีลักษณะเหมือนจริงโดยการรวมการถ่ายโอนการแสดงออกทางใบหน้าและท่าทาง และทำให้เกิดการเคลื่อนไหวที่สอดคล้องกันในสถานการณ์แบบเรียลไทม์โดยไม่ต้องมีการปรับพารามิเตอร์เพิ่มเติม ซึ่งแสดงให้เห็นถึงความก้าวหน้าที่สำคัญเหนือวิธีการที่มีอยู่ นอกจากนี้ เฟรมเวิร์ก MagicDance ยังแสดงให้เห็นถึงความสามารถในการวางนัยทั่วไปที่ดีสำหรับลำดับการเคลื่อนไหวที่ซับซ้อนและอัตลักษณ์ของมนุษย์ที่หลากหลาย โดยทำให้เฟรมเวิร์ก MagicDance เป็นผู้นำในด้านการถ่ายโอนการเคลื่อนไหวของมนุษย์และการสร้างวิดีโอที่ได้รับการช่วยเหลือจาก AI