การพัฒนาที่น่าสังเกตใน AI วิดีโอที่ขับเคลื่อนด้วยมนุษย์

หมายเหตุ: หน้าโครงการสำหรับงานนี้รวมวิดีโอด้วยความละเอียดสูง 33 รายการ ซึ่งใช้พื้นที่เกือบครึ่งจิกะไบต์ ซึ่งทำให้ระบบของฉันไม่เสถียรเมื่อโหลด ด้วยเหตุนี้ ฉันจึงไม่เชื่อมโยงไปที่นั่นโดยตรง ผู้อ่านสามารถค้นหา URL ในบทคัดย่อหรือ PDF ของเอกสารวิจัยได้หากต้องการ

หนึ่งในวัตถุประสงค์หลักในการวิจัยสังเคราะห์วิดีโอคือการสร้างการแสดงผลวิดีโอที่ขับเคลื่อนด้วย AI ที่สมบูรณ์จากภาพเดียว ในสัปดาห์นี้ มีเอกสารวิจัยใหม่จาก Bytedance Intelligent Creation ซึ่งอาจเป็นระบบที่ครอบคลุมที่สุดในประเภทนี้ โดยสามารถสร้างแอนิเมชั่นแบบเต็มร่างกายและครึ่งร่างกายที่รวมรายละเอียดการแสดงออกทางใบหน้าและเคลื่อนไหวขนาดใหญ่ที่แม่นยำได้ ในขณะเดียวกันก็ปรับปรุงความสอดคล้องของอัตลักษณ์ – ซึ่งเป็นพื้นที่ที่แม้แต่ระบบเชิงพาณิชย์ที่มีชื่อเสียงหลายระบบก็ยังขาดไป

ในตัวอย่างด้านล่าง เราจะเห็นการแสดงผลที่ขับเคลื่อนด้วยนักแสดง (ด้านบนซ้าย) และได้รับจากภาพเดียว (ด้านบนขวา) ซึ่งให้การแสดงผลที่ยืดหยุ่นและคล่องตัวในระดับเดียวกัน โดยไม่มีปัญหาในการสร้างการเคลื่อนไหวขนาดใหญ่หรือ “เดา” เกี่ยวกับพื้นที่ที่ปิดบัง (เช่น ส่วนของเสื้อผ้าและมุมใบหน้าที่ต้องอนุมานหรือคิดค้นเพราะไม่มองเห็นได้ในภาพเดียว)

เนื้อหาออดิโอ คลิกเพื่อเล่น. การแสดงผลเกิดจากสองแหล่ง รวมถึงการซิงค์เสียง ซึ่งปกติเป็นของระบบเสริมที่เฉพาะเจาะจง นี่คือรุ่นที่ลดขนาดจากไซต์ต้นกำเนิด (ดูหมายเหตุในตอนต้นของบทความ – ใช้กับวิดีโอที่ฝังตัวทั้งหมด)

แม้ว่าเราจะเห็นความท้าทายบางอย่างที่เหลืออยู่เกี่ยวกับการคงอัตลักษณ์ในแต่ละคลิป แต่นี่เป็นระบบแรกที่ฉันเห็นว่าโดดเด่นในการคงอัตลักษณ์โดยทั่วไป (แม้ไม่ใช่ทั้งหมด) ในช่วงเวลาที่ยืดเยื้อโดยไม่ต้องใช้ LoRAs:

เนื้อหาออดิโอ คลิกเพื่อเล่น. ตัวอย่างเพิ่มเติมจากโครงการ DreamActor

ระบบใหม่ซึ่งมีชื่อว่า DreamActor ใช้ระบบควบคุมแบบไฮบริดที่ให้ความสนใจเป็นพิเศษกับการแสดงออกทางใบหน้า การหมุนศีรษะ และการออกแบบกระดูกสันหลัง จึงสามารถสร้างการแสดงผลที่ขับเคลื่อนด้วย AI โดยที่ทั้งใบหน้าและร่างกายไม่ต้องเสียค่าใช้จ่ายซึ่งกันและกัน – ความสามารถที่หายากและอาจไม่พบในระบบที่คล้ายกัน

ด้านล่าง เราจะเห็นหนึ่งในด้านเหล่านี้ การหมุนศีรษะ ในการทำงาน ลูกบอลสีที่อยู่ในมุมขวาของภาพขนาดย่อแต่ละภาพแสดงถึงการกำหนดทิศทางของศีรษะโดยอิสระจากการเคลื่อนไหวและแสดงออกทางใบหน้า ซึ่งได้รับพลังจากนักแสดง (ด้านล่างซ้าย)

คลิกเพื่อเล่น. ลูกบอลสีที่แสดงไว้ที่นี่แทนแกนการหมุนของหัวของอวตาร ในขณะที่การแสดงออกทางใบหน้าได้รับพลังจากโมดูลที่แยกออกมาและได้รับข้อมูลจากนักแสดง (ด้านล่างซ้าย)

หนึ่งในฟังก์ชันการทำงานที่น่าสนใจที่สุดของโครงการนี้ ซึ่งไม่ได้ถูกนำมาใช้อย่างเหมาะสมในเอกสารวิจัย คือความสามารถในการสร้างการเคลื่อนไหวของการซิงค์เสียงโดยตรงจากเสียง – ความสามารถที่ทำงานได้ดีแม้ไม่มีวิดีโอนักแสดงในการขับเคลื่อน

นักวิจัยได้เข้าร่วมการแข่งขันกับผู้นำในด้านนี้ รวมถึง Runway Act-One และ LivePortrait และรายงานว่า DreamActor สามารถบรรลุผลลัพธ์เชิงปริมาณที่ดีกว่า

เนื่องจากนักวิจัยสามารถกำหนดเกณฑ์ของตนเองได้ ผลลัพธ์เชิงปริมาณจึงไม่ใช่มาตรฐานเชิงประจักษ์ แต่การทดสอบเชิงคุณภาพที่มาพร้อมกันดูเหมือนจะสนับสนุนข้อสรุปของนักเขียน

อย่างไม่幸ด้วย ระบบนี้ไม่ได้ตั้งใจให้เผยแพร่สู่สาธารณะ และคุณค่าที่ชุมชนสามารถได้รับจากงานนี้คือการนำวิธีการที่อธิบายไว้ในเอกสารวิจัยมาใช้ (เช่นเดียวกับที่ทำกับ Google Dreambooth ในปี 2022 ซึ่งเป็นระบบที่ปิดแหล่งที่มา)

เอกสารวิจัยระบุ*:

‘การสร้างแอนิเมชั่นภาพมนุษย์มีความเสี่ยงทางสังคม เช่น การใช้เพื่อสร้างวิดีโอที่ปลอมแปลง เทคโนโลยีที่เราเสนอสามารถใช้เพื่อสร้างวิดีโอที่ปลอมแปลงของบุคคล แต่เครื่องมือตรวจจับปลอมแปลงที่มีอยู่แล้ว [Demamba, Dormant] สามารถระบุปลอมแปลงเหล่านี้ได้

‘เพื่อลดความเสี่ยงเหล่านี้ กฎทางจริยธรรมและแนวทางการใช้งานที่รับผิดชอบเป็นสิ่งจำเป็น เราจะจำกัดการเข้าถึงแบบจำลองหลักและโค้ดของเราอย่างเข้มงวดเพื่อป้องกันการใช้ในทางที่ผิด’

โดยธรรมชาติแล้ว การพิจารณาด้านจริยธรรมประเภทนี้มีความสะดวกจากมุมมองเชิงพาณิชย์ เนื่องจากให้เหตุผลในการเข้าถึง API เท่านั้น ซึ่งสามารถสร้างรายได้ได้ ByteDance ได้ทำเช่นนี้แล้วในปี 2025 โดยการทำให้ OmniHuman มีให้ใช้บนเว็บไซต์ Dreamina ด้วยเครดิตที่จ่ายแล้ว ดังนั้น เนื่องจาก DreamActor อาจเป็นผลิตภัณฑ์ที่แข็งแกร่งกว่า จึงดูเหมือนว่าจะเป็นผลลัพธ์ที่น่าจะเกิดขึ้น สิ่งที่ยังคงต้องดูคือว่าหลักการของระบบสามารถช่วยชุมชนโอเพ่นซอร์สได้หรือไม่

เอกสารวิจัยใหม่ใหม่ มีชื่อว่า DreamActor-M1: Holistic, Expressive and Robust Human Image Animation with Hybrid Guidance และมาจากนักวิจัยของ Bytedance หกราย

วิธีการ

ระบบ DreamActor ที่เสนอในเอกสารวิจัยมีเป้าหมายในการสร้างแอนิเมชั่นมนุษย์จากภาพอ้างอิงและวิดีโอที่ขับเคลื่อน โดยใช้ Diffusion Transformer (DiT) ที่ปรับให้เหมาะสมสำหรับ พื้นที่ 潛在 (ดูเหมือนว่าจะเป็นรูปแบบใดรูปแบบหนึ่งของ Stable Diffusion แม้ว่าเอกสารวิจัยจะอ้างอิงเฉพาะ การเผยแพร่เอกสารวิจัยที่สำคัญในปี 2022)

แทนที่จะพึ่งพาโมดูลภายนอกเพื่อจัดการการกำหนดค่าอ้างอิง นักเขียนรวมคุณลักษณะการแสดงออกและเคลื่อนไหวเข้าด้วยกันภายในโครงสร้าง DiT โดยตรง ทำให้สามารถมีปฏิสัมพันธ์ระหว่างพื้นที่และเวลาผ่านการให้ความสนใจ:

สเคมาสำหรับระบบใหม่: DreamActor บันทึกท่าทาง การเคลื่อนไหวของใบหน้า และการแสดงออกเป็น 潜在 ที่แยกจากกัน โดยรวมเข้ากับ 潜在 ของวิดีโอที่มีเสียงรบกวนซึ่งผลิตโดย 3D VAE เหล่านี้ส่งสัญญาณผ่าน Diffusion Transformer โดยใช้การให้ความสนใจตนเองและข้าม โดยมีน้ำหนักร่วมกันระหว่างสาขา โมเดลได้รับการกำกับดูแลโดยการเปรียบเทียบเอาต์พุตที่ลดเสียงรบกวนไปยัง 潜在 ของวิดีโอที่สะอาด Source: https://arxiv.org/pdf/2504.01724

เพื่อทำเช่นนี้ โมเดลใช้ 3D variational autoencoder ที่ได้รับการฝึกอบรมไว้ล่วงหน้าเพื่อเข้ารหัสทั้งวิดีโอที่เข้ามาและภาพอ้างอิง 潜ใน เหล่านี้ถูก patchified ต่อกัน และส่งเข้าไปใน DiT ซึ่งประมวลผลร่วมกัน

สถาปัตยกรรมนี้แตกต่างจากแนวปฏิบัติทั่วไปในการติดโมดูลที่สองสำหรับการฉีดอ้างอิง ซึ่งเป็นแนวทางสำหรับโครงการ Animate Anyone และ Animate Anyone 2

การควบคุมการเคลื่อนไหวแบบไฮบริด

วิธีการ Hybrid Motion Guidance ที่ให้ข้อมูลแก่การแสดงภาพแบบประสาทสังเคราะห์รวมถึงโทเค็นของท่าทางที่ได้รับจากกระดูกสันหลัง 3 มิติและทรงกลมศีรษะ; การแสดงออกทางใบหน้าที่ชัดเจนซึ่งถูกดึงออกโดยตัวเข้ารหัสใบหน้าที่ได้รับการฝึกอบรมไว้ล่วงหน้า; และโทเค็นของการแสดงออกที่ตัวอย่างจากภาพอ้างอิง

องค์ประกอบเหล่านี้ถูกรวมเข้าด้วยกันภายใน Diffusion Transformer โดยใช้กลไกการให้ความสนใจที่แตกต่างกัน ทำให้ระบบสามารถประสานการเคลื่อนไหวระดับโลก การแสดงออกทางใบหน้า และอัตลักษณ์ทางภาพตลอดกระบวนการสร้าง

สำหรับประการแรก DreamActor ใช้การแสดงออกทางใบหน้าที่ชัดเจนเพื่อควบคุมการสร้างน้ำเสียง ในขณะที่การหมุนศีรษะและการเคลื่อนไหวของใบหน้าถูกควบคุมแยกกัน

เพื่อสร้างการแสดงออกเหล่านี้ ระบบจะตรวจจับและตัดภูมิภาคใบหน้าในแต่ละเฟรมของวิดีโอที่ขับเคลื่อน โดยปรับขนาดให้ 224×224 ใบหน้าที่ถูกตัดออกจะถูกประมวลผลโดยตัวเข้ารหัสการเคลื่อนไหวของใบหน้าที่ได้รับการฝึกอบรมไว้ล่วงหน้าบน PD-FGC ซึ่งถูกควบคุมโดย MLP เลเยอร์

PD-FGC ที่ใช้ใน DreamActor สร้างหัวที่พูดจากภาพอ้างอิงพร้อมการควบคุมที่แยกจากกันของการซิงค์เสียง (จากเสียง) การหมุนศีรษะ การเคลื่อนไหวของตา และการแสดงออก (จากวิดีโอที่แยกจากกัน) ทำให้สามารถควบคุมแต่ละอย่างได้อย่างแม่นยำและเป็นอิสระ Source: https://arxiv.org/pdf/2211.14506

ผลลัพธ์คือลำดับของโทเค็นการเคลื่อนไหวของใบหน้า ซึ่งถูกฉีดเข้าไปใน Diffusion Transformer ผ่าน cross-attention เลเยอร์

เฟรมเวิร์กเดียวกันนี้ยังรองรับ รูปแบบที่ขับเคลื่อนด้วยเสียง ซึ่งเข้ารหัสเสียงโดยตรงไปยังโทเค็นการเคลื่อนไหวของใบหน้า ทำให้สามารถสร้างแอนิเมชั่นใบหน้าที่ซิงค์เสียงได้ รวมถึงการเคลื่อนไหวของ губ โดยไม่ต้องมีวิดีโอที่ขับเคลื่อน

เนื้อหาออดิโอ คลิกเพื่อเล่น. การซิงค์เสียงที่ได้รับจากเสียงเท่านั้น โดยไม่มีวิดีโอนักแสดงในการขับเคลื่อน ภาพเดียวที่ใช้เป็นข้อมูลเข้า คือภาพถ่ายนิ่งที่เห็นด้านบนขวา

สุดท้าย ระบบแนะนำการแสดงภาพทรงกลมศีรษะ 3 มิติ ซึ่งแยกการเคลื่อนไหวของใบหน้าออกจากการเคลื่อนไหวของศีรษะทั้งหมด ทำให้การสร้างแอนิเมชั่นมีความแม่นยำและยืดหยุ่นมากขึ้น

ทรงกลมศีรษะถูกสร้างขึ้นโดยการดึงพารามิเตอร์ 3 มิติของใบหน้า เช่น การหมุนและการวางตำแหน่งกล้องจากวิดีโอที่ขับเคลื่อนโดยใช้วิธีการติดตาม FaceVerse

สเคมาสำหรับโครงการ FaceVerse Source: https://www.liuyebin.com/faceverse/faceverse.html

พารามิเตอร์เหล่านี้ถูกใช้เพื่อแสดงภาพทรงกลมสีที่ฉายลงบนระนาบภาพ 2 มิติ ซึ่งจัดตำแหน่งให้สอดคล้องกับศีรษะที่ขับเคลื่อน ขนาดของทรงกลมตรงกับขนาดของศีรษะอ้างอิง และสีของทรงกลมสะท้อนถึงทิศทางของศีรษะ การ trừภาพนี้ช่วยลดความซับซ้อนในการเรียนรู้การเคลื่อนไหวของศีรษะ 3 มิติ และช่วยรักษารูปร่างศีรษะที่มีสไตล์หรือมีการขยายตัวในตัวละครที่วาดจากแอนิเมชั่น

การแสดงภาพทรงกลมที่ควบคุมทิศทางของศีรษะ

สุดท้าย ระบบใช้กระดูกสันหลัง 3 มิติพร้อมการปรับขนาดกระดูกที่เหมาะสมสำหรับการควบคุมการเคลื่อนไหวของร่างกายทั้งหมด พารามิเตอร์ของร่างกายและมือถูกประมาณการโดยใช้ 4DHumans และ HaMeR ซึ่งทั้งสองทำงานบน SMPL-X

SMPL-X ใช้เมชพาราเมตริกบนร่างกายทั้งหมดในภาพ โดยสอดคล้องกับท่าทางและน้ำเสียงที่ประมาณการ เพื่อทำให้สามารถจัดการท่าทางได้ด้วยเมชเป็นแนวทางเชิงปริมาตร Source: https://arxiv.org/pdf/1904.05866

จากเอาต์พุตเหล่านี้ จุดสำคัญถูกเลือกและฉายลงใน 2 มิติเพื่อเชื่อมต่อเป็นแผนที่กระดูกสันหลังที่สร้างจากเส้น ในทางกลับกัน วิธีการนี้หลีกเลี่ยงการกำหนดรูปทรงที่กำหนดไว้ล่วงหน้า และโดยการอาศัยโครงกระดูกสันหลังเพียงอย่างเดียว โมเดลจึงถูกกระตุ้นให้อนุมานรูปร่างและลักษณะของร่างกายโดยตรงจากภาพอ้างอิง ลดความเอนเอียงต่อรูปร่างร่างกายที่กำหนดไว้และปรับปรุงการทำงานทั่วไปในหลายท่าทางและรูปร่าง

ระหว่างการฝึกอบรม กระดูกสันหลัง 3 มิติจะถูกต่อกันและผ่านเข้ารหัสท่าทาง ซึ่งให้ คุณลักษณะ ที่รวมกับ 潜在 ของวิดีโอที่มีเสียงรบกวนเพื่อสร้างโทเค็นเสียงรบกวนที่ใช้โดย Diffusion Transformer

ในขณะอนุมาน ระบบคำนึงถึงความแตกต่างของกระดูกสันหลังระหว่างหัวข้อโดยการปรับขนาดความยาวกระดูกสันหลัง SeedEdit โมเดลการแก้ไขภาพที่ได้รับการฝึกอบรมไว้ล่วงหน้าจะแปลงภาพอ้างอิงและภาพที่ขับเคลื่อนให้เป็น การกำหนดค่ามาตรฐาน RTMPose ถูกใช้เพื่อดึงสัดส่วนกระดูกสันหลัง ซึ่งใช้ในการปรับกระดูกสันหลังที่ขับเคลื่อนให้ตรงกับกายวิภาคของหัวข้ออ้างอิง

ภาพรวมของกระบวนการอนุมาน

การควบคุมการแสดงออก

เพื่อปรับปรุงความเที่ยงธรรมของการแสดงออก ระบบจะเสริมภาพอ้างอิงหลักด้วยภาพอ้างอิงปลอมที่ตัวอย่างจากวิดีโอที่เข้ามา

คลิกเพื่อเล่น. ระบบคาดการณ์ถึงความจำเป็นในการแสดงภาพพื้นที่ที่ปิดบังหรือมองเห็นไม่บ่อยได้อย่างแม่นยำและสม่ำเสมอ นี่คือการเข้าใกล้แนวทางแบบ CGI ที่คล้ายกับบิตแมป-เท็กซ์เจอร์มากที่สุดเท่าที่ฉันเคยเห็นในโครงการประเภทนี้

เฟรมเพิ่มเติมเหล่านี้ถูกเลือกสำหรับการกระจายท่าทางโดยใช้ RTMPose และกรองโดยความคล้ายคลึงกันของ CLIP เพื่อให้แน่ใจว่าพวกมันยังคงเที่ยงธรรมกับอัตลักษณ์ของหัวข้อ

ทั้งภาพอ้างอิงหลักและภาพอ้างอิงปลอมถูกเข้ารหัสโดยตัวเข้ารหัสการแสดงออกที่เหมือนกันและรวมเข้าด้วยกันผ่านกลไกการให้ความสนใจตนเอง ทำให้โมเดลสามารถเข้าถึงสัญญาณการแสดงออกที่เสริมกันได้ การตั้งค่านี้ช่วยให้ครอบคลุมรายละเอียด เช่น มุมมองโปรไฟล์หรือเนื้อผ้า

การฝึกอบรม

DreamActor ถูกฝึกอบรมในสามขั้นตอนเพื่อนำความซับซ้อนมาอย่างค่อยเป็นค่อยไปและปรับปรุงความเสถียร

ในขั้นตอนแรก โมเดลใช้เพียงกระดูกสันหลัง 3 มิติและทรงกลมศีรษะ 3 มิติเป็นสัญญาณควบคุม โดยไม่รวมการแสดงออกทางใบหน้า ซึ่งช่วยให้โมเดลการสร้างวิดีโอที่ขับเคลื่อนด้วยการเริ่มต้นจาก MMDiT สามารถปรับตัวให้เข้ากับการสร้างแอนิเมชั่นของมนุษย์โดยไม่ถูกครอบงำโดยการควบคุมที่ละเอียด

ในขั้นตอนที่สอง การแสดงออกทางใบหน้าที่ชัดเจนถูกเพิ่มเข้ามา แต่พารามิเตอร์อื่นๆ ถูก ปิดใช้งาน ในขณะนั้น เฉพาะตัวเข้ารหัสการเคลื่อนไหวของใบหน้าและเลเยอร์การให้ความสนใจของใบหน้าเท่านั้นที่ถูกฝึกอบรม ทำให้โมเดลสามารถเรียนรู้รายละเอียดการแสดงออกได้อย่างโดดเดี่ยว

ในขั้นตอนสุดท้าย ทุกพารามิเตอร์ถูกปลดล็อกสำหรับการปรับให้เหมาะสมร่วมกันระหว่างการแสดงออก ท่าทาง และการเคลื่อนไหวของใบหน้า

ข้อมูลและการทดสอบ

สำหรับขั้นตอนการทดสอบ โมเดลถูกเริ่มต้นจากจุดตรวจสอบการฝึกอบรมของ Diffusion Transformer ที่ได้รับการฝึกอบรมไว้ล่วงหน้า^† และฝึกอบรมในสามขั้นตอน: 20,000 ขั้นตอนสำหรับขั้นตอนแรกสองขั้นตอนและ 30,000 ขั้นตอนสำหรับขั้นตอนที่สาม

เพื่อปรับปรุง การทำงานทั่วไป ในหลายความยาวและความละเอียด วิดีโอที่ใช้ในการทดสอบถูกตัวอย่างแบบสุ่มด้วยความยาวระหว่าง 25 ถึง 121 เฟรม ซึ่งถูกปรับขนาดให้ 960x640px โดยรักษาอัตราส่วนด้านใน

การฝึกอบรมดำเนินการบน NVIDIA H20 8 GPU แต่ละตัวมี VRAM 96GB โดยใช้ AdamW optimizer ที่มีอัตราการเรียนรู้ สูง ที่ 5e−6

ในขณะอนุมาน แต่ละส่วนของวิดีโอมี 73 เฟรม เพื่อรักษาความสอดคล้องระหว่างส่วนต่างๆ โมเดลจะนำ 潜ใน สุดท้ายของส่วนหนึ่งมาใช้เป็น 潜ใน เริ่มต้นสำหรับส่วนถัดไป ซึ่งทำให้กระบวนการอนุมานเป็นลำดับของการสร้างภาพจากภาพ

การควบคุมแบบไม่มีคลาส ถูกใช้ด้วยน้ำหนัก 2.5 สำหรับทั้งภาพอ้างอิงและสัญญาณการเคลื่อนไหว

นักวิจัยสร้างชุดข้อมูลฝึกอบรมที่ประกอบด้วยวิดีโอ 500 ชั่วโมงจากโดเมนต่างๆ รวมถึงการเต้นรำ กีฬา ภาพยนตร์ และการกล่าวสุนทรพจน์ ชุดข้อมูลนี้ถูกออกแบบมาเพื่อครอบคลุมสเปกตรัมที่กว้างของการเคลื่อนไหวและน้ำเสียงของมนุษย์ โดยมีการกระจายที่สม่ำเสมอระหว่างภาพเต็มร่างกายและครึ่งร่างกาย

เพื่อปรับปรุงคุณภาพการสร้างใบหน้า Nersemble ถูกนำมาใช้ในการเตรียมข้อมูล

ตัวอย่างจากชุดข้อมูล Nersemble ที่ใช้เพื่อเพิ่มข้อมูลสำหรับ DreamActor Source: https://www.youtube.com/watch?v=a-OAWqBzldU

สำหรับการประเมิน นักวิจัยใช้ชุดข้อมูลของตนเองเป็นมาตรฐานในการประเมินความสามารถในการทำงานทั่วไปในหลายสถานการณ์

การทำงานของโมเดลถูกวัดโดยใช้มาตรฐานจากงานก่อนหน้า: Fréchet Inception Distance (FID); Structural Similarity Index (SSIM); Learned Perceptual Image Patch Similarity (LPIPS); และ Peak Signal-to-Noise Ratio (PSNR) สำหรับคุณภาพเฟรม; Fréchet Video Distance (FVD) ถูกใช้เพื่อประเมินความสอดคล้องของเวลาและความจริงของวิดีโอโดยรวม

นักวิจัยได้ทำการทดสอบบนงานสร้างแอนิเมชั่นของร่างกายและงานสร้างแอนิเมชั่นของภาพเหมือน โดยใช้ภาพอ้างอิงเดียว (เป้าหมาย) ในทุกกรณี

สำหรับการสร้างแอนิเมชั่นของร่างกาย DreamActor-M1 ถูกเปรียบเทียบกับ Animate Anyone; Champ; MimicMotion; และ DisPose

การเปรียบเทียบเชิงปริมาณกับเฟรมเวิร์กที่แข่งขันกัน

แม้ว่า PDF จะให้ภาพเปรียบเทียบแบบคงที่ แต่วิดีโอตัวหนึ่งจากไซต์โครงการอาจเน้นความแตกต่างได้ชัดเจนกว่า:

เนื้อหาออดิโอ คลิกเพื่อเล่น. การเปรียบเทียบภาพเหมือนระหว่างเฟรมเวิร์กที่แข่งขันกัน วิดีโอที่ขับเคลื่อนเห็นด้านบนซ้าย และข้อสรุปของนักวิจัยที่ว่า DreamActor ให้ผลลัพธ์ที่ดีที่สุดดูสมเหตุสมผล

สำหรับการทดสอบการสร้างแอนิเมชั่นของภาพเหมือน โมเดลถูกประเมินกับ LivePortrait; X-Portrait; SkyReels-A1; และ Act-One

การเปรียบเทียบเชิงปริมาณสำหรับการสร้างแอนิเมชั่นของภาพเหมือน

นักวิจัยชี้ว่า phương phápของพวกเขาชนะในการทดสอบเชิงปริมาณ และยังอ้างว่าเหนือกว่าในเชิงคุณภาพด้วย

เนื้อหาออดิโอ คลิกเพื่อเล่น. ตัวอย่างการเปรียบเทียบการสร้างแอนิเมชั่นของภาพเหมือน

โดยทั่วไป คลิปที่สามที่แสดงในวิดีโอด้านบนแสดงการซิงค์เสียงที่น่าเชื่อถือน้อยกว่าเมื่อเปรียบเทียบกับเฟรมเวิร์กที่แข่งขันกันบางตัว แม้ว่าคุณภาพโดยรวมจะสูงมากก็ตาม

สรุป

เมื่อคาดการณ์ถึงความจำเป็นในการสร้างข้อความที่บ่งบอกถึงแต่ไม่ได้แสดงอยู่ในภาพอ้างอิงเดียวที่ใช้ในการสร้างเหล่านี้ Bytedance ได้กล่าวถึงหนึ่งในความท้าทายที่ยิ่งใหญ่ที่สุดในการสร้างวิดีโอด้วยการแพร่กระจาย – การแสดงข้อความที่สม่ำเสมอและคงไว้ได้ นั้นคือการสร้างแอตลาสการอ้างอิงจากคลิปที่สร้างขึ้นเพื่อใช้กับการสร้างที่แตกต่างกันในภายหลัง เพื่อรักษาการแสดงออกโดยไม่ต้องใช้ LoRAs ซึ่งโดยพื้นฐานแล้วจะเหมือนกับการทำแผนที่ข้อความในเทคนิค CGI ทั่วไป และคุณภาพของความสมจริงและความน่าเชื่อถือสูงกว่าเทคนิคเก่าเหล่านั้นมาก

อย่างไรก็ตาม ส่วนที่น่าประทับใจที่สุดของ DreamActor คือระบบการควบคุมแบบไฮบริดที่รวมการสร้างแอนิเมชั่นของใบหน้าและร่างกายเข้าด้วยกันในลักษณะที่ชาญฉลาด

ทุกสิ่งที่เหลืออยู่คือการดูว่าหลักการเหล่านี้สามารถนำมาใช้ในผลิตภัณฑ์ที่สามารถเข้าถึงได้หรือไม่ ในขณะนี้ DreamActor ดูเหมือนจะถูกกำหนดให้เป็นผลิตภัณฑ์แบบสังเคราะห์เป็นบริการ ซึ่งถูกจำกัดอย่างเข้มงวดโดยข้อจำกัดในการใช้งาน และไม่เหมาะสมสำหรับการทดลองอย่างกว้างขวางกับโครงสร้างเชิงพาณิชย์

* การแทนที่ของฉันของไฮเปอร์ลิงก์สำหรับนักเขียน; อ้างอิงแบบแทรก

^† ตามที่กล่าวไว้ก่อนหน้านี้ ไม่ชัดเจนว่า DreamActor ใช้ Stable Diffusion รุ่นใดในโครงการนี้

เผยแพร่ครั้งแรกวันศุกร์ที่ 4 เมษายน 2025