มุมมองของ Anderson

ลองเสื้อผ้าชุดใหม่เสมือนจริงด้วย AI

Martin Anderson
เพิ่ม Unite.AI ลงในแหล่งข้อมูลที่คุณต้องการบน Google
Examples of virtual try-on from the Vanast project – source: https://arxiv.org/pdf/2604.04934
ประเด็นสำคัญโมเดล AI แบบขั้นเดียวของ Vanast ผสานเสื้อผ้า ตัวตน และการเคลื่อนไหวเข้าด้วยกัน…
ดูเพิ่มเติม
  • โมเดล AI แบบขั้นเดียวของ Vanast ผสานเสื้อผ้า ตัวตน และการเคลื่อนไหวเข้าด้วยกัน เพื่อสร้างวิดีโอสวมลองเสมือนจริงที่เสถียรมากขึ้น
  • ระบบสร้างข้อมูลการฝึกสังเคราะห์ของตัวเองโดยใช้โมเดลเช่น Flux และ Qwen เพื่อแก้ปัญหาข้อมูลโลกจริงที่มีอยู่อย่างจำกัด
  • แม้มีความก้าวหน้าทางเทคนิค แต่ความสามารถในการพาณิชย์ยังคงถูกจำกัดด้วยความต้องการด้านการคำนวณสูงและความท้าทายด้านความล่าช้า

โมเดล AI สามารถนำภาพบุคคลเพียงภาพเดียวและภาพเสื้อผ้ามาสร้างวิดีโอที่บุคคลนั้นเคลื่อนไหวในชุดใหม่ โดยหลีกเลี่ยงข้อบกพร่องที่พบบ่อยในระบบแบบสองขั้นตอนรุ่นเก่า

 

ในการวิจัยคอมพิวเตอร์วิทัศน์ การลองเสื้อผ้าเสมือน (VTON) เป็นหนึ่งในสาขาที่ได้รับเงินทุนสูงและมีผลงานวิจัยมากที่สุด เหตุผลสำคัญคืออุตสาหกรรมแฟชั่นที่มีฐานะการเงินแข็งแกร่งสนับสนุนเป้าหมายนี้อย่างมาก ดังเห็นได้จากความร่วมมือระหว่างภาคอุตสาหกรรมกับมหาวิทยาลัยที่เผยแพร่อยู่บ่อยครั้งในแต่ละปี:

จากบทความ Image-Based Virtual Try-On: A Survey: ตัวอย่างรูปแบบการแทนบุคคล และขั้นตอนการกรองและปรับปรุงบางส่วนที่แม้แต่ภาพพื้นฐานก็ต้องผ่านเพื่อใช้ในการลองเสื้อผ้าเสมือน (VTON)

จากบทความ Image-Based Virtual Try-On: A Survey: ตัวอย่างรูปแบบการแทนบุคคล และขั้นตอนการกรองและปรับปรุงบางส่วนที่แม้แต่ภาพพื้นฐานก็ต้องผ่านเพื่อใช้ในการลองเสื้อผ้าเสมือน (VTON) แหล่งที่มา

เป้าหมายนี้มีหลายรูปแบบ เช่น การแยกเสื้อผ้าออกจากภาพบุคคล และ การรองรับรูปร่างที่อวบอิ่มขึ้น เมื่อจำเป็น ระบบที่ใช้ภาพบางระบบเปิดใช้งานเชิงพาณิชย์แล้วบนแพลตฟอร์มอย่าง veesual.ai, wanna.fashion และ fashn.ai

สำหรับวิดีโอ แอปทดลอง Doppl ของ Google Labs เคยทดสอบความสามารถนี้ โดยเปิดตัว เมื่อฤดูร้อนปีที่แล้ว:

คลิกเพื่อเล่นหากวิดีโอไม่เริ่มโดยอัตโนมัติ ตัวอย่างจากโครงการลองเสื้อผ้าผ่านวิดีโอ Google Doppl ที่ยุติไปแล้ว  แหล่งที่มา

อย่างไรก็ตาม Doppl ปิดให้บริการในเดือนเมษายน 2026 หลังจากได้รับ การตอบรับที่ไม่คึกคักนัก โดยขณะนี้ผู้ใช้ถูกส่งไปยัง บริการลองเสื้อผ้า†ของบริษัทที่ใช้ภาพนิ่งเท่านั้น:

บริการลองเสื้อผ้าของ Google ที่ใช้ภาพนิ่งเท่านั้น ซึ่งผู้ใช้จากแพลตฟอร์ม Doppl ที่ยุติไปแล้วจะถูกส่งมาใช้งาน

บริการลองเสื้อผ้าของ Google ที่ใช้ภาพนิ่งเท่านั้น ซึ่งผู้ใช้จากแพลตฟอร์ม Doppl ที่ยุติไปแล้วจะถูกส่งมาใช้งาน แหล่งที่มา

แม้จะมีแพลตฟอร์มจำนวนหนึ่งให้บริการลองเสื้อผ้าผ่านวิดีโอ แต่ยังไม่เห็นว่าแพลตฟอร์มใดเกี่ยวข้องกับผู้จำหน่ายจริง ทั้งหมดเป็นผลิตภัณฑ์เฉพาะกลุ่มในแนวหน้าของเทคโนโลยีเชิงทดลอง โฆษณาขายโทเคน และมักมีลักษณะน่ากังขา

ภาควิจัยมีความพยายามที่น่าสนใจหลายอย่าง แต่โดยทั่วไปใช้สถาปัตยกรรมซับซ้อน ซึ่งยากที่จะทำให้ทั้งมีเวลาแฝงต่ำและคุณภาพสูง:

คลิกเพื่อเล่นหากวิดีโอไม่เริ่มโดยอัตโนมัติ ตัวอย่างการถ่ายโอนเสื้อผ้าไปยังภาพบุคคลที่ไม่รวมศีรษะ จากโครงการ Fashion-VDM ปี 2024. แหล่งที่มา

การปรับเสื้อผ้าให้เข้ากับบุคคลจริงโดยไม่บิดเบือนทั้งเสื้อผ้าและตัวบุคคล พร้อมคงการเคลื่อนไหวสาธิตที่มีประโยชน์ เป็นโจทย์ยากอย่างยิ่งสำหรับเทคโนโลยีปัจจุบัน ตัวอย่างเช่น ต้องแสดงด้านหลังของสินค้าได้ อย่างถูกต้อง เมื่อบุคคลหันหลัง

Vanast

บทความใหม่จากเกาหลีพยายามรับมือกับโจทย์นี้ด้วยวิธีใหม่ที่บูรณาการการจัดการเสื้อผ้า บุคคล และการเคลื่อนไหวเข้าด้วยกันทั้งหมด:

คลิกเพื่อเล่นหากวิดีโอไม่เริ่มโดยอัตโนมัติ ตัวอย่างจากเว็บไซต์เอกสารเสริมของโครงการ Vanast แหล่งที่มา 

ระบบใหม่ชื่อ Vanastใช้ชุดข้อมูลที่สร้างขึ้นเฉพาะ โดยนำปัจจัยจำเป็นทั้งสาม ได้แก่ เสื้อผ้า บุคคล และการเคลื่อนไหว มาผสานและประสานการทำงานกัน:

คลิกเพื่อเล่น ตัวอย่างเพิ่มเติมจากเว็บไซต์โครงการ Vanast

ระบบใช้เฟรมเวิร์กที่แตกต่างกันอย่าง Flux, Qwen และ ChatGPT สร้างชุดข้อมูลแบบสามองค์ประกอบ เพื่อสนับสนุนสถาปัตยกรรมที่ทำงานครบกระบวนการตั้งแต่ต้นจนจบ:

จากบทความใหม่: ตัวอย่างจุดข้อมูลในชุดข้อมูลที่ใช้สำหรับการสร้างและฝึกโมเดล

จากบทความใหม่: ตัวอย่างจุดข้อมูลในชุดข้อมูลที่ใช้สำหรับการสร้างและฝึกโมเดล แหล่งที่มา –

บทความ ใหม่ มีชื่อว่า Vanast: Virtual Try-On with Human Image Animation via Synthetic Triplet Supervisionจัดทำโดยนักวิจัยสี่คนจากมหาวิทยาลัยแห่งชาติโซล และมี เว็บไซต์โครงการที่รวบรวมวิดีโอไว้จำนวนมาก

วิธีการ

ผู้เขียนระบุว่าต้องการรวมสามด้านดังกล่าวไว้ในกรอบการทำงานขั้นตอนเดียว ไม่เพียงเพื่อให้กระบวนการเป็นหนึ่งเดียว แต่ยังเปิดโอกาสให้แต่ละด้านเชื่อมโยงและโต้ตอบกันระหว่างการฝึก เพื่อให้ผลลัพธ์ที่สร้างมีความสอดคล้องกันมากขึ้น:

Vanast รวมภาพบุคคลหนึ่งภาพ ภาพเสื้อผ้าแยกต่างหาก และข้อมูลอ้างอิงการเคลื่อนไหว เพื่อสร้างลำดับภาพที่บุคคลเดิมสวมชุดใหม่ การชี้นำด้วยท่าทางช่วยให้การเคลื่อนไหวสม่ำเสมอ พร้อมรักษาอัตลักษณ์ของบุคคลและรายละเอียดเสื้อผ้าข้ามเฟรม

Vanast รวมภาพบุคคลหนึ่งภาพ ภาพเสื้อผ้าแยกต่างหาก และข้อมูลอ้างอิงการเคลื่อนไหว เพื่อสร้างลำดับภาพที่บุคคลเดิมสวมชุดใหม่ การชี้นำด้วยท่าทางช่วยให้การเคลื่อนไหวสม่ำเสมอ พร้อมรักษาอัตลักษณ์ของบุคคลและรายละเอียดเสื้อผ้าข้ามเฟรม

ระบบรับภาพเสื้อผ้าเป้าหมาย ภาพบุคคลที่สวมเสื้อผ้าอีกชุด วิดีโออ้างอิงที่กำหนดการเคลื่อนไหว และข้อความพรอมป์ต์ที่อธิบายการกระทำกับฉาก จากนั้นสร้างวิดีโอทั้งลำดับที่บุคคลเดิมดูเหมือนสวมชุดใหม่และเคลื่อนไหวตามที่กำหนด โดยแต่ละเฟรมคงความสอดคล้องทางภาพตลอดเวลา

แทนที่จะแยกการเปลี่ยนเสื้อผ้าและการสร้างการเคลื่อนไหวออกเป็นสองขั้นตอนเหมือนงานก่อนหน้าส่วนใหญ่ Vanast จัดการเสื้อผ้า อัตลักษณ์ และการเคลื่อนไหวในกระบวนการเดียว ทำให้องค์ประกอบเหล่านี้โต้ตอบกันระหว่างการสร้าง และลดความไม่ตรงกันกับความไม่เสถียรที่พบในวิธีเดิม

ชุดข้อมูล

การฝึกใช้ตัวอย่างที่จับคู่ภาพบุคคล เสื้อผ้าที่สอดคล้องกัน และวิดีโอที่บุคคลนั้นเคลื่อนไหวขณะสวมเสื้อผ้าเหล่านั้น โดยสกัดการเคลื่อนไหวด้วย สถาปัตยกรรมจากงานก่อนหน้าเพื่อชี้นำท่าทางอย่างเสถียรข้ามเฟรม

เนื่องจากไม่มีชุดข้อมูลสาธารณะที่ตรงตามข้อกำหนด จึงเก็บข้อมูลจากแพลตฟอร์มช้อปปิ้งออนไลน์ที่ไม่ระบุชื่อ ได้วิดีโอเสื้อผ้าหลากหลาย แต่โจทย์ต้องการวิดีโอที่บุคคลเดียวกัน สวมเสื้อผ้าหลายชุดซึ่งหาได้ยากในข้อมูลตามธรรมชาติ จึงจำเป็นต้องสร้าง ข้อมูลสังเคราะห์

กระบวนการสามขั้นตอนเริ่มจากเลือกเฟรมที่เหมาะสมจากวิดีโอที่เก็บมา โดยใช้ Qwen2.5-VL ซึ่งเป็นโมเดลภาพและภาษา (VLM) ครอบตัดและประเมินความเหมาะสม เช่น ไม่มีสิ่งบดบังและบุคคลอยู่ในตำแหน่งที่ถูกต้อง จากนั้นสร้างมาสก์สำหรับ การเติมแต่งภาพเฉพาะส่วน เพื่อแยกบริเวณที่ต้องแก้ไข โดยใช้แนวทางเดียวกับงานก่อนหน้า PERSEและดำเนินการด้วยโมเดลดิฟฟิวชันที่ใช้กันมานานแล้วอย่าง SDXL

ภาพรวมกระบวนการ Vanast: ภาพบุคคล ภาพเสื้อผ้าเป้าหมาย และวิดีโอชี้นำการเคลื่อนไหวถูกเข้ารหัสและประมวลผลในโมเดลดิฟฟิวชันวิดีโอแบบรวม ระบบสร้างแอนิเมชันที่รักษาอัตลักษณ์ ทำตามลำดับท่าทาง และสวมเสื้อผ้าเป้าหมายให้บุคคล การสร้างชุดข้อมูลสามองค์ประกอบสังเคราะห์ช่วยในการฝึก และโครงสร้างสองโมดูลแยกการสร้างการเคลื่อนไหวออกจากการถ่ายโอนเสื้อผ้าเพื่อรักษาความสอดคล้อง

ภาพรวมกระบวนการ Vanast: ภาพบุคคล ภาพเสื้อผ้าเป้าหมาย และวิดีโอชี้นำการเคลื่อนไหวถูกเข้ารหัสและประมวลผลในโมเดลดิฟฟิวชันวิดีโอแบบรวม ระบบสร้างแอนิเมชันที่รักษาอัตลักษณ์ ทำตามลำดับท่าทาง และสวมเสื้อผ้าเป้าหมายให้บุคคล การสร้างชุดข้อมูลสามองค์ประกอบสังเคราะห์ช่วยในการฝึก และโครงสร้างสองโมดูลแยกการสร้างการเคลื่อนไหวออกจากการถ่ายโอนเสื้อผ้าเพื่อรักษาความสอดคล้อง

ขั้นตอนที่สามใช้ Qwen อีกครั้งเพื่อจำแนกภาพตามเพศ จากนั้นใช้เฟรมเวิร์กดิฟฟิวชันภาพยอดนิยม Flux เพื่อเปลี่ยนเสื้อผ้าในภาพ เพราะ Flux รวมองค์ประกอบนำเข้าหลายส่วนได้ ข้อความพรอมป์ต์สำหรับเติมแต่งภาพเฉพาะส่วนคัดเลือกและจัดทำด้วย ChatGPT โดยไม่ระบุรุ่น

เพื่อเพิ่มความหลากหลายของท่าทางและพื้นหลัง จึงสร้างกระบวนการจัดทำชุดฝึกสามองค์ประกอบจากวิดีโอตามธรรมชาติโดยใช้ ชุดข้อมูล HumanVidและใช้กระบวนการเดียวกันสร้างภาพบุคคลที่ยังรักษาอัตลักษณ์เดิม

เนื่องจากวิดีโอเหล่านี้ไม่มีภาพเสื้อผ้าแยกเดี่ยว จึงสังเคราะห์ภาพเสื้อผ้าจากฟุตเทจโดยตรง สุ่มเฟรมจากแต่ละวิดีโอและให้ Qwen ให้คะแนนการมองเห็นด้านหน้า จากนั้นเลือกตัวอย่างที่เหมาะสมที่สุดตามการเห็นร่างกายเต็มตัว ความคมชัด การบดบังน้อย คุณภาพแสง และองค์ประกอบภาพโดยรวม

พื้นที่เสื้อผ้าส่วนบนถูกสกัดด้วย SegFormerแล้วลบพื้นหลังเพื่อแยกเสื้อผ้าออกมา

เพื่อหลีกเลี่ยง ความลำเอียงด้านตำแหน่งจึงเลื่อนบริเวณเสื้อผ้าแบบสุ่มภายในกรอบล้อมรอบ และใช้ Qwen กรองผลการแบ่งส่วนที่ไม่น่าเชื่อถืออีกครั้ง ได้ภาพเสื้อผ้าสังเคราะห์ที่จับคู่กับการเคลื่อนไหวและอัตลักษณ์ ช่วยสร้างข้อมูลสามองค์ประกอบจำนวนมากจากวิดีโอที่ไม่มีโครงสร้าง และเพิ่มความทนทานต่อสภาวะจริงที่หลากหลาย

สถาปัตยกรรม

สถาปัตยกรรมสองโมดูลถูกนำมาใช้แก้ปัญหา การลู่เข้า ที่ช้าและความสมดุลของการควบคุมที่ไม่ดีในวิธีเดิมซึ่งพยายามหลอมรวมเงื่อนไขทั้งหมด โดยใช้ดิฟฟิวชันทรานส์ฟอร์เมอร์สำหรับสร้างวิดีโอจากข้อความของ Wanและอาศัยโครงการ VACE ด้วย ดังอธิบายด้านล่าง

โมเดลแบ่งเป็น โมดูลสร้างการเคลื่อนไหวของบุคคล (HAM) ที่จัดการการเคลื่อนไหวและอัตลักษณ์จากภาพบุคคลกับท่าทาง และ โมดูลถ่ายโอนเสื้อผ้า (GTM) ที่จัดการเสื้อผ้าจากภาพเสื้อผ้า ทั้งสองใช้โครงข่ายแกนหลักร่วมกันและรวมคุณลักษณะแบบกระจายเป็นลำดับขั้น เพื่อปรับปรุงการกำหนดเงื่อนไข

การฝึกทำโดย ตรึง โครงข่ายแกนหลักไว้ และปรับเฉพาะพารามิเตอร์ HAM กับ GTM พร้อมปรับสมดุลบทบาทของทั้งสองเมื่อรวมคุณลักษณะ ข้อมูลนำเข้าจากชุดข้อมูลสามองค์ประกอบสังเคราะห์ถูกแปลงเป็น ตัวแทนในปริภูมิแฝง ด้วยตัวเข้ารหัสอัตโนมัติแบบแปรผัน (VAE) ของ WAN

บริบทที่คำนึงถึงการเคลื่อนไหวสร้างจากข้อมูลบุคคลและท่าทางตลอดช่วงเวลา ส่วนคุณลักษณะเสื้อผ้าประมวลผลแยกกันและจัดแนวด้วยการฉายลงในเวกเตอร์ฝังโทเคน

โมเดลยังขยายให้รองรับ การประมาณค่าระหว่างเสื้อผ้าโดยผสานตัวแทนของเสื้อผ้าสองชิ้นเพื่อสร้างการเปลี่ยนผ่านที่ลื่นไหล และผสมผสานเสื้อผ้าอย่างสอดคล้องกันโดยไม่ต้องปรับพารามิเตอร์เพิ่ม

ข้อมูลและการทดสอบ

โมเดลฝึกด้วยวิดีโอ 9,135 คลิป ความยาวสามถึงสิบวินาที จากเว็บไซต์ช้อปปิ้งดังกล่าว ชุดข้อมูลที่ผู้เขียนสร้างขึ้น และชุดข้อมูล HumanVid

มีชุดประเมินสองชุด ได้แก่ Internet ซึ่งมีวิดีโอและภาพสินค้าจากเว็บไซต์ขายสินค้า และ ชุดทดสอบ อย่างเป็นทางการของชุดข้อมูล ViViD ของ Alibaba

เพราะข้อมูล ViViD ไม่มีใบหน้า จึงเติมใบหน้าด้วย การขยายภาพด้วย Fluxดูตัวอย่างจากวิดีโอด้านบน ซึ่งการไม่แสดงใบหน้าเป็นเรื่องปกติในงานวิจัยลองเสื้อผ้าเสมือน

เมตริกที่ใช้ได้แก่ L1 loss; Peak Signal-to-Noise Ratio (PSNR); Structural Similarity Index (SSIM); Learned Perceptual Image Patch Similarity (LPIPS); Fréchet Inception Distance (FID) และ Fréchet Video Distance†† (FVD)

ระบบถ่ายโอนเสื้อผ้าที่ทดสอบ ได้แก่ OOTDiffusion; CatVTON; OmniTry และ Any2AnyTryonส่วนโมเดลสร้างภาพโดยอ้างอิงบุคคลที่ทดสอบ ได้แก่ VisualCloze; MOSAIC และ UNOของ ByteDance

สำหรับขั้นตอนที่สองซึ่งสร้างการเคลื่อนไหวจากภาพบุคคล ใช้เฟรมเวิร์ก StableAnimator และ DisPose

มีการทดสอบ VACE ในขอบเขตจำกัดด้วย เนื่องจากไม่รองรับเป้าหมายนี้โดยตรง จึงพยายามชดเชยความสามารถที่ขาดไปบางส่วน:

การเปรียบเทียบเชิงปริมาณกับการผสานโมเดลสร้างภาพโดยอ้างอิงบุคคลและโมเดลสร้างการเคลื่อนไหว บนชุดข้อมูล Internet และ ViViD วิธีที่เสนอให้ผลดีที่สุดในทุกเมตริกที่รายงาน ตัวหนาแสดงคะแนนสูงสุดในแต่ละคอลัมน์

การเปรียบเทียบเชิงปริมาณกับการผสานโมเดลสร้างภาพโดยอ้างอิงบุคคลและโมเดลสร้างการเคลื่อนไหว บนชุดข้อมูล Internet และ ViViD วิธีที่เสนอให้ผลดีที่สุดในทุกเมตริกที่รายงาน ตัวหนาแสดงคะแนนสูงสุดในแต่ละคอลัมน์

ผู้เขียนกล่าวถึงผลลัพธ์เบื้องต้นข้างต้นว่า:

“โมเดลของเราให้ผลดีที่สุดในทุกเมตริก เมื่อเทียบกับการผสานโมเดลสร้างภาพโดยอ้างอิงบุคคลและโมเดลสร้างการเคลื่อนไหว”

“ผลเชิงคุณภาพ [ด้านล่าง] ยืนยันเพิ่มเติมว่าแนวทางของเราติดตามท่าทางและถ่ายโอนเสื้อผ้าได้แม่นยำที่สุด พร้อมรักษาอัตลักษณ์ได้ซื่อตรงกว่าโมเดลฐานที่สร้างภาพโดยอ้างอิงบุคคลทั้งหมด”

การเปรียบเทียบเชิงคุณภาพบน Internet และ ViViD กับโมเดลฐานสร้างภาพโดยอ้างอิงบุคคลและโมเดลสร้างการเคลื่อนไหว ผู้เขียนระบุว่าวิธีที่เสนอตรงกับท่าทางและถ่ายโอนเสื้อผ้าได้แม่นยำกว่า พร้อมรักษาอัตลักษณ์ได้สม่ำเสมอกว่า VisualCloze, MOSAIC, UNO และ VACE

การเปรียบเทียบเชิงคุณภาพบน Internet และ ViViD กับโมเดลฐานสร้างภาพโดยอ้างอิงบุคคลและโมเดลสร้างการเคลื่อนไหว ผู้เขียนระบุว่าวิธีที่เสนอตรงกับท่าทางและถ่ายโอนเสื้อผ้าได้แม่นยำกว่า พร้อมรักษาอัตลักษณ์ได้สม่ำเสมอกว่า VisualCloze, MOSAIC, UNO และ VACE

ในการทดสอบประเภทที่สอง มีการเปรียบเทียบการผสานโมเดลลองเสื้อผ้าเสมือนด้วยภาพกับโมเดลสร้างการเคลื่อนไหว และวิธีใหม่นี้ได้คะแนนสูงสุดอีกครั้ง:

การเปรียบเทียบเชิงปริมาณกับการผสานโมเดลลองเสื้อผ้าเสมือนด้วยภาพและโมเดลสร้างการเคลื่อนไหวบน Internet และ ViViD วิธีที่เสนอให้ผลโดยรวมดีที่สุดในเมตริกต่างๆ โดย SSIM ยังใกล้เคียงกับโมเดลฐานที่ดีที่สุด ตัวหนาแสดงคะแนนสูงสุด

การเปรียบเทียบเชิงปริมาณกับการผสานโมเดลลองเสื้อผ้าเสมือนด้วยภาพและโมเดลสร้างการเคลื่อนไหวบน Internet และ ViViD วิธีที่เสนอให้ผลโดยรวมดีที่สุดในเมตริกต่างๆ โดย SSIM ยังใกล้เคียงกับโมเดลฐานที่ดีที่สุด ตัวหนาแสดงคะแนนสูงสุด

ผู้เขียนกล่าวเพิ่มเติมว่า:

“การเปรียบเทียบเชิงคุณภาพ [ด้านล่าง] แสดงว่าผลของเราใกล้เคียงข้อมูลจริงอ้างอิงมากที่สุด ในบรรดาโมเดลฐานที่ใช้การลองเสื้อผ้าเสมือนด้วยภาพทั้งหมด”

การทดสอบเชิงคุณภาพโดยใช้โมเดลฐานที่ผสานโมเดล VTON เข้ากับโมเดลสร้างการเคลื่อนไหว

การทดสอบเชิงคุณภาพโดยใช้โมเดลฐานที่ผสานโมเดล VTON เข้ากับโมเดลสร้างการเคลื่อนไหว

สรุป

แม้ Vanast จะเป็นวิธีที่ทำงานครบกระบวนการในระบบเดียว แต่บทความไม่ระบุรายละเอียดทรัพยากรที่ต้องใช้ในการฝึกและการอนุมาน จึงอาจไม่ใช่ทางเลือกที่เบาหรือคล่องตัวที่สุด โจทย์นี้ยากมากแม้ในระบบที่ยังไม่ปรับประสิทธิภาพ และยิ่งยากขึ้นสำหรับระบบเชิงพาณิชย์ที่ต้องมีเวลาแฝงต่ำ ต้นทุนเข้าถึงได้ และผลตอบแทนการลงทุนที่คุ้มค่าเมื่อใช้งานในวงกว้าง

การลองเสื้อผ้าเสมือนเป็นหนึ่งในเป้าหมาย AI ที่ทะเยอทะยานอย่างยิ่ง ภาพเทคโนโลยีปัจจุบันที่ส่งผ่านพาดหัวข่าวและผลลัพธ์ที่คัดเลือกมาอาจบดบังความยากที่แท้จริงของงาน ซึ่งท้ายที่สุดอาจแก้ได้ด้วยเทคโนโลยีที่เกิดภายหลังและเบากว่า Transformer

 

† ใช้ได้ในสหรัฐอเมริกา แต่ถูกปิดกั้นตามภูมิภาคในอีกหลายพื้นที่ หรืออาจทั้งหมด

†† ผู้เขียนอ้างถึง VFID แต่ให้ลิงก์เฉพาะบทความ ViViD ซึ่งเท่าที่ฉันตรวจสอบได้ในเวลาจำกัด ไม่ได้รองรับการอ้างอิงนี้ ฉันจึงสมมติว่าพวกเขาหมายถึง Fréchet Video Distance (FVD) และมีเวลาจำกัดเช่นกัน กรุณาติดต่อฉันหากต้องการแก้ไข

เผยแพร่ครั้งแรกวันพุธที่ 8 เมษายน 2026

ผู้เขียนด้านการเรียนรู้ของเครื่อง, ผู้เชี่ยวชาญด้านการสังเคราะห์ภาพมนุษย์. อดีตหัวหน้าฝ่ายเนื้อหาการวิจัยที่ Metaphysic.ai, จนกระทั่งการรวมเข้าเป็น Brahma.ai ของ DNEG.
เว็บไซต์: martinanderson.ai
ติดต่อ: martin@martinanderson.ai