มุมมองของ Anderson
ลองเสื้อผ้าชุดใหม่เสมือนจริงด้วย AI

ประเด็นสำคัญโมเดล AI แบบขั้นเดียวของ Vanast ผสานเสื้อผ้า ตัวตน และการเคลื่อนไหวเข้าด้วยกัน…
ดูเพิ่มเติม
- โมเดล AI แบบขั้นเดียวของ Vanast ผสานเสื้อผ้า ตัวตน และการเคลื่อนไหวเข้าด้วยกัน เพื่อสร้างวิดีโอสวมลองเสมือนจริงที่เสถียรมากขึ้น
- ระบบสร้างข้อมูลการฝึกสังเคราะห์ของตัวเองโดยใช้โมเดลเช่น Flux และ Qwen เพื่อแก้ปัญหาข้อมูลโลกจริงที่มีอยู่อย่างจำกัด
- แม้มีความก้าวหน้าทางเทคนิค แต่ความสามารถในการพาณิชย์ยังคงถูกจำกัดด้วยความต้องการด้านการคำนวณสูงและความท้าทายด้านความล่าช้า
โมเดล AI สามารถนำภาพบุคคลเพียงภาพเดียวและภาพเสื้อผ้ามาสร้างวิดีโอที่บุคคลนั้นเคลื่อนไหวในชุดใหม่ โดยหลีกเลี่ยงข้อบกพร่องที่พบบ่อยในระบบแบบสองขั้นตอนรุ่นเก่า
ในการวิจัยคอมพิวเตอร์วิทัศน์ การลองเสื้อผ้าเสมือน (VTON) เป็นหนึ่งในสาขาที่ได้รับเงินทุนสูงและมีผลงานวิจัยมากที่สุด เหตุผลสำคัญคืออุตสาหกรรมแฟชั่นที่มีฐานะการเงินแข็งแกร่งสนับสนุนเป้าหมายนี้อย่างมาก ดังเห็นได้จากความร่วมมือระหว่างภาคอุตสาหกรรมกับมหาวิทยาลัยที่เผยแพร่อยู่บ่อยครั้งในแต่ละปี:

จากบทความ Image-Based Virtual Try-On: A Survey: ตัวอย่างรูปแบบการแทนบุคคล และขั้นตอนการกรองและปรับปรุงบางส่วนที่แม้แต่ภาพพื้นฐานก็ต้องผ่านเพื่อใช้ในการลองเสื้อผ้าเสมือน (VTON) แหล่งที่มา
เป้าหมายนี้มีหลายรูปแบบ เช่น การแยกเสื้อผ้าออกจากภาพบุคคล และ การรองรับรูปร่างที่อวบอิ่มขึ้น เมื่อจำเป็น ระบบที่ใช้ภาพบางระบบเปิดใช้งานเชิงพาณิชย์แล้วบนแพลตฟอร์มอย่าง veesual.ai, wanna.fashion และ fashn.ai
สำหรับวิดีโอ แอปทดลอง Doppl ของ Google Labs เคยทดสอบความสามารถนี้ โดยเปิดตัว เมื่อฤดูร้อนปีที่แล้ว:
คลิกเพื่อเล่นหากวิดีโอไม่เริ่มโดยอัตโนมัติ ตัวอย่างจากโครงการลองเสื้อผ้าผ่านวิดีโอ Google Doppl ที่ยุติไปแล้ว แหล่งที่มา
อย่างไรก็ตาม Doppl ปิดให้บริการในเดือนเมษายน 2026 หลังจากได้รับ การตอบรับที่ไม่คึกคักนัก โดยขณะนี้ผู้ใช้ถูกส่งไปยัง บริการลองเสื้อผ้า†ของบริษัทที่ใช้ภาพนิ่งเท่านั้น:

บริการลองเสื้อผ้าของ Google ที่ใช้ภาพนิ่งเท่านั้น ซึ่งผู้ใช้จากแพลตฟอร์ม Doppl ที่ยุติไปแล้วจะถูกส่งมาใช้งาน แหล่งที่มา
แม้จะมีแพลตฟอร์มจำนวนหนึ่งให้บริการลองเสื้อผ้าผ่านวิดีโอ แต่ยังไม่เห็นว่าแพลตฟอร์มใดเกี่ยวข้องกับผู้จำหน่ายจริง ทั้งหมดเป็นผลิตภัณฑ์เฉพาะกลุ่มในแนวหน้าของเทคโนโลยีเชิงทดลอง โฆษณาขายโทเคน และมักมีลักษณะน่ากังขา
ภาควิจัยมีความพยายามที่น่าสนใจหลายอย่าง แต่โดยทั่วไปใช้สถาปัตยกรรมซับซ้อน ซึ่งยากที่จะทำให้ทั้งมีเวลาแฝงต่ำและคุณภาพสูง:
คลิกเพื่อเล่นหากวิดีโอไม่เริ่มโดยอัตโนมัติ ตัวอย่างการถ่ายโอนเสื้อผ้าไปยังภาพบุคคลที่ไม่รวมศีรษะ จากโครงการ Fashion-VDM ปี 2024. แหล่งที่มา
การปรับเสื้อผ้าให้เข้ากับบุคคลจริงโดยไม่บิดเบือนทั้งเสื้อผ้าและตัวบุคคล พร้อมคงการเคลื่อนไหวสาธิตที่มีประโยชน์ เป็นโจทย์ยากอย่างยิ่งสำหรับเทคโนโลยีปัจจุบัน ตัวอย่างเช่น ต้องแสดงด้านหลังของสินค้าได้ อย่างถูกต้อง เมื่อบุคคลหันหลัง
Vanast
บทความใหม่จากเกาหลีพยายามรับมือกับโจทย์นี้ด้วยวิธีใหม่ที่บูรณาการการจัดการเสื้อผ้า บุคคล และการเคลื่อนไหวเข้าด้วยกันทั้งหมด:
คลิกเพื่อเล่นหากวิดีโอไม่เริ่มโดยอัตโนมัติ ตัวอย่างจากเว็บไซต์เอกสารเสริมของโครงการ Vanast แหล่งที่มา
ระบบใหม่ชื่อ Vanastใช้ชุดข้อมูลที่สร้างขึ้นเฉพาะ โดยนำปัจจัยจำเป็นทั้งสาม ได้แก่ เสื้อผ้า บุคคล และการเคลื่อนไหว มาผสานและประสานการทำงานกัน:
คลิกเพื่อเล่น ตัวอย่างเพิ่มเติมจากเว็บไซต์โครงการ Vanast
ระบบใช้เฟรมเวิร์กที่แตกต่างกันอย่าง Flux, Qwen และ ChatGPT สร้างชุดข้อมูลแบบสามองค์ประกอบ เพื่อสนับสนุนสถาปัตยกรรมที่ทำงานครบกระบวนการตั้งแต่ต้นจนจบ:

จากบทความใหม่: ตัวอย่างจุดข้อมูลในชุดข้อมูลที่ใช้สำหรับการสร้างและฝึกโมเดล แหล่งที่มา –
บทความ ใหม่ มีชื่อว่า Vanast: Virtual Try-On with Human Image Animation via Synthetic Triplet Supervisionจัดทำโดยนักวิจัยสี่คนจากมหาวิทยาลัยแห่งชาติโซล และมี เว็บไซต์โครงการที่รวบรวมวิดีโอไว้จำนวนมาก
วิธีการ
ผู้เขียนระบุว่าต้องการรวมสามด้านดังกล่าวไว้ในกรอบการทำงานขั้นตอนเดียว ไม่เพียงเพื่อให้กระบวนการเป็นหนึ่งเดียว แต่ยังเปิดโอกาสให้แต่ละด้านเชื่อมโยงและโต้ตอบกันระหว่างการฝึก เพื่อให้ผลลัพธ์ที่สร้างมีความสอดคล้องกันมากขึ้น:

Vanast รวมภาพบุคคลหนึ่งภาพ ภาพเสื้อผ้าแยกต่างหาก และข้อมูลอ้างอิงการเคลื่อนไหว เพื่อสร้างลำดับภาพที่บุคคลเดิมสวมชุดใหม่ การชี้นำด้วยท่าทางช่วยให้การเคลื่อนไหวสม่ำเสมอ พร้อมรักษาอัตลักษณ์ของบุคคลและรายละเอียดเสื้อผ้าข้ามเฟรม
ระบบรับภาพเสื้อผ้าเป้าหมาย ภาพบุคคลที่สวมเสื้อผ้าอีกชุด วิดีโออ้างอิงที่กำหนดการเคลื่อนไหว และข้อความพรอมป์ต์ที่อธิบายการกระทำกับฉาก จากนั้นสร้างวิดีโอทั้งลำดับที่บุคคลเดิมดูเหมือนสวมชุดใหม่และเคลื่อนไหวตามที่กำหนด โดยแต่ละเฟรมคงความสอดคล้องทางภาพตลอดเวลา
แทนที่จะแยกการเปลี่ยนเสื้อผ้าและการสร้างการเคลื่อนไหวออกเป็นสองขั้นตอนเหมือนงานก่อนหน้าส่วนใหญ่ Vanast จัดการเสื้อผ้า อัตลักษณ์ และการเคลื่อนไหวในกระบวนการเดียว ทำให้องค์ประกอบเหล่านี้โต้ตอบกันระหว่างการสร้าง และลดความไม่ตรงกันกับความไม่เสถียรที่พบในวิธีเดิม
ชุดข้อมูล
การฝึกใช้ตัวอย่างที่จับคู่ภาพบุคคล เสื้อผ้าที่สอดคล้องกัน และวิดีโอที่บุคคลนั้นเคลื่อนไหวขณะสวมเสื้อผ้าเหล่านั้น โดยสกัดการเคลื่อนไหวด้วย สถาปัตยกรรมจากงานก่อนหน้าเพื่อชี้นำท่าทางอย่างเสถียรข้ามเฟรม
เนื่องจากไม่มีชุดข้อมูลสาธารณะที่ตรงตามข้อกำหนด จึงเก็บข้อมูลจากแพลตฟอร์มช้อปปิ้งออนไลน์ที่ไม่ระบุชื่อ ได้วิดีโอเสื้อผ้าหลากหลาย แต่โจทย์ต้องการวิดีโอที่บุคคลเดียวกัน สวมเสื้อผ้าหลายชุดซึ่งหาได้ยากในข้อมูลตามธรรมชาติ จึงจำเป็นต้องสร้าง ข้อมูลสังเคราะห์
กระบวนการสามขั้นตอนเริ่มจากเลือกเฟรมที่เหมาะสมจากวิดีโอที่เก็บมา โดยใช้ Qwen2.5-VL ซึ่งเป็นโมเดลภาพและภาษา (VLM) ครอบตัดและประเมินความเหมาะสม เช่น ไม่มีสิ่งบดบังและบุคคลอยู่ในตำแหน่งที่ถูกต้อง จากนั้นสร้างมาสก์สำหรับ การเติมแต่งภาพเฉพาะส่วน เพื่อแยกบริเวณที่ต้องแก้ไข โดยใช้แนวทางเดียวกับงานก่อนหน้า PERSEและดำเนินการด้วยโมเดลดิฟฟิวชันที่ใช้กันมานานแล้วอย่าง SDXL

ภาพรวมกระบวนการ Vanast: ภาพบุคคล ภาพเสื้อผ้าเป้าหมาย และวิดีโอชี้นำการเคลื่อนไหวถูกเข้ารหัสและประมวลผลในโมเดลดิฟฟิวชันวิดีโอแบบรวม ระบบสร้างแอนิเมชันที่รักษาอัตลักษณ์ ทำตามลำดับท่าทาง และสวมเสื้อผ้าเป้าหมายให้บุคคล การสร้างชุดข้อมูลสามองค์ประกอบสังเคราะห์ช่วยในการฝึก และโครงสร้างสองโมดูลแยกการสร้างการเคลื่อนไหวออกจากการถ่ายโอนเสื้อผ้าเพื่อรักษาความสอดคล้อง
ขั้นตอนที่สามใช้ Qwen อีกครั้งเพื่อจำแนกภาพตามเพศ จากนั้นใช้เฟรมเวิร์กดิฟฟิวชันภาพยอดนิยม Flux เพื่อเปลี่ยนเสื้อผ้าในภาพ เพราะ Flux รวมองค์ประกอบนำเข้าหลายส่วนได้ ข้อความพรอมป์ต์สำหรับเติมแต่งภาพเฉพาะส่วนคัดเลือกและจัดทำด้วย ChatGPT โดยไม่ระบุรุ่น
เพื่อเพิ่มความหลากหลายของท่าทางและพื้นหลัง จึงสร้างกระบวนการจัดทำชุดฝึกสามองค์ประกอบจากวิดีโอตามธรรมชาติโดยใช้ ชุดข้อมูล HumanVidและใช้กระบวนการเดียวกันสร้างภาพบุคคลที่ยังรักษาอัตลักษณ์เดิม
เนื่องจากวิดีโอเหล่านี้ไม่มีภาพเสื้อผ้าแยกเดี่ยว จึงสังเคราะห์ภาพเสื้อผ้าจากฟุตเทจโดยตรง สุ่มเฟรมจากแต่ละวิดีโอและให้ Qwen ให้คะแนนการมองเห็นด้านหน้า จากนั้นเลือกตัวอย่างที่เหมาะสมที่สุดตามการเห็นร่างกายเต็มตัว ความคมชัด การบดบังน้อย คุณภาพแสง และองค์ประกอบภาพโดยรวม
พื้นที่เสื้อผ้าส่วนบนถูกสกัดด้วย SegFormerแล้วลบพื้นหลังเพื่อแยกเสื้อผ้าออกมา
เพื่อหลีกเลี่ยง ความลำเอียงด้านตำแหน่งจึงเลื่อนบริเวณเสื้อผ้าแบบสุ่มภายในกรอบล้อมรอบ และใช้ Qwen กรองผลการแบ่งส่วนที่ไม่น่าเชื่อถืออีกครั้ง ได้ภาพเสื้อผ้าสังเคราะห์ที่จับคู่กับการเคลื่อนไหวและอัตลักษณ์ ช่วยสร้างข้อมูลสามองค์ประกอบจำนวนมากจากวิดีโอที่ไม่มีโครงสร้าง และเพิ่มความทนทานต่อสภาวะจริงที่หลากหลาย
สถาปัตยกรรม
สถาปัตยกรรมสองโมดูลถูกนำมาใช้แก้ปัญหา การลู่เข้า ที่ช้าและความสมดุลของการควบคุมที่ไม่ดีในวิธีเดิมซึ่งพยายามหลอมรวมเงื่อนไขทั้งหมด โดยใช้ดิฟฟิวชันทรานส์ฟอร์เมอร์สำหรับสร้างวิดีโอจากข้อความของ Wanและอาศัยโครงการ VACE ด้วย ดังอธิบายด้านล่าง
โมเดลแบ่งเป็น โมดูลสร้างการเคลื่อนไหวของบุคคล (HAM) ที่จัดการการเคลื่อนไหวและอัตลักษณ์จากภาพบุคคลกับท่าทาง และ โมดูลถ่ายโอนเสื้อผ้า (GTM) ที่จัดการเสื้อผ้าจากภาพเสื้อผ้า ทั้งสองใช้โครงข่ายแกนหลักร่วมกันและรวมคุณลักษณะแบบกระจายเป็นลำดับขั้น เพื่อปรับปรุงการกำหนดเงื่อนไข
การฝึกทำโดย ตรึง โครงข่ายแกนหลักไว้ และปรับเฉพาะพารามิเตอร์ HAM กับ GTM พร้อมปรับสมดุลบทบาทของทั้งสองเมื่อรวมคุณลักษณะ ข้อมูลนำเข้าจากชุดข้อมูลสามองค์ประกอบสังเคราะห์ถูกแปลงเป็น ตัวแทนในปริภูมิแฝง ด้วยตัวเข้ารหัสอัตโนมัติแบบแปรผัน (VAE) ของ WAN
บริบทที่คำนึงถึงการเคลื่อนไหวสร้างจากข้อมูลบุคคลและท่าทางตลอดช่วงเวลา ส่วนคุณลักษณะเสื้อผ้าประมวลผลแยกกันและจัดแนวด้วยการฉายลงในเวกเตอร์ฝังโทเคน
โมเดลยังขยายให้รองรับ การประมาณค่าระหว่างเสื้อผ้าโดยผสานตัวแทนของเสื้อผ้าสองชิ้นเพื่อสร้างการเปลี่ยนผ่านที่ลื่นไหล และผสมผสานเสื้อผ้าอย่างสอดคล้องกันโดยไม่ต้องปรับพารามิเตอร์เพิ่ม
ข้อมูลและการทดสอบ
โมเดลฝึกด้วยวิดีโอ 9,135 คลิป ความยาวสามถึงสิบวินาที จากเว็บไซต์ช้อปปิ้งดังกล่าว ชุดข้อมูลที่ผู้เขียนสร้างขึ้น และชุดข้อมูล HumanVid
มีชุดประเมินสองชุด ได้แก่ Internet ซึ่งมีวิดีโอและภาพสินค้าจากเว็บไซต์ขายสินค้า และ ชุดทดสอบ อย่างเป็นทางการของชุดข้อมูล ViViD ของ Alibaba
เพราะข้อมูล ViViD ไม่มีใบหน้า จึงเติมใบหน้าด้วย การขยายภาพด้วย Fluxดูตัวอย่างจากวิดีโอด้านบน ซึ่งการไม่แสดงใบหน้าเป็นเรื่องปกติในงานวิจัยลองเสื้อผ้าเสมือน
เมตริกที่ใช้ได้แก่ L1 loss; Peak Signal-to-Noise Ratio (PSNR); Structural Similarity Index (SSIM); Learned Perceptual Image Patch Similarity (LPIPS); Fréchet Inception Distance (FID) และ Fréchet Video Distance†† (FVD)
ระบบถ่ายโอนเสื้อผ้าที่ทดสอบ ได้แก่ OOTDiffusion; CatVTON; OmniTry และ Any2AnyTryonส่วนโมเดลสร้างภาพโดยอ้างอิงบุคคลที่ทดสอบ ได้แก่ VisualCloze; MOSAIC และ UNOของ ByteDance
สำหรับขั้นตอนที่สองซึ่งสร้างการเคลื่อนไหวจากภาพบุคคล ใช้เฟรมเวิร์ก StableAnimator และ DisPose
มีการทดสอบ VACE ในขอบเขตจำกัดด้วย เนื่องจากไม่รองรับเป้าหมายนี้โดยตรง จึงพยายามชดเชยความสามารถที่ขาดไปบางส่วน:

การเปรียบเทียบเชิงปริมาณกับการผสานโมเดลสร้างภาพโดยอ้างอิงบุคคลและโมเดลสร้างการเคลื่อนไหว บนชุดข้อมูล Internet และ ViViD วิธีที่เสนอให้ผลดีที่สุดในทุกเมตริกที่รายงาน ตัวหนาแสดงคะแนนสูงสุดในแต่ละคอลัมน์
ผู้เขียนกล่าวถึงผลลัพธ์เบื้องต้นข้างต้นว่า:
“โมเดลของเราให้ผลดีที่สุดในทุกเมตริก เมื่อเทียบกับการผสานโมเดลสร้างภาพโดยอ้างอิงบุคคลและโมเดลสร้างการเคลื่อนไหว”
“ผลเชิงคุณภาพ [ด้านล่าง] ยืนยันเพิ่มเติมว่าแนวทางของเราติดตามท่าทางและถ่ายโอนเสื้อผ้าได้แม่นยำที่สุด พร้อมรักษาอัตลักษณ์ได้ซื่อตรงกว่าโมเดลฐานที่สร้างภาพโดยอ้างอิงบุคคลทั้งหมด”

การเปรียบเทียบเชิงคุณภาพบน Internet และ ViViD กับโมเดลฐานสร้างภาพโดยอ้างอิงบุคคลและโมเดลสร้างการเคลื่อนไหว ผู้เขียนระบุว่าวิธีที่เสนอตรงกับท่าทางและถ่ายโอนเสื้อผ้าได้แม่นยำกว่า พร้อมรักษาอัตลักษณ์ได้สม่ำเสมอกว่า VisualCloze, MOSAIC, UNO และ VACE
ในการทดสอบประเภทที่สอง มีการเปรียบเทียบการผสานโมเดลลองเสื้อผ้าเสมือนด้วยภาพกับโมเดลสร้างการเคลื่อนไหว และวิธีใหม่นี้ได้คะแนนสูงสุดอีกครั้ง:

การเปรียบเทียบเชิงปริมาณกับการผสานโมเดลลองเสื้อผ้าเสมือนด้วยภาพและโมเดลสร้างการเคลื่อนไหวบน Internet และ ViViD วิธีที่เสนอให้ผลโดยรวมดีที่สุดในเมตริกต่างๆ โดย SSIM ยังใกล้เคียงกับโมเดลฐานที่ดีที่สุด ตัวหนาแสดงคะแนนสูงสุด
ผู้เขียนกล่าวเพิ่มเติมว่า:
“การเปรียบเทียบเชิงคุณภาพ [ด้านล่าง] แสดงว่าผลของเราใกล้เคียงข้อมูลจริงอ้างอิงมากที่สุด ในบรรดาโมเดลฐานที่ใช้การลองเสื้อผ้าเสมือนด้วยภาพทั้งหมด”

การทดสอบเชิงคุณภาพโดยใช้โมเดลฐานที่ผสานโมเดล VTON เข้ากับโมเดลสร้างการเคลื่อนไหว
สรุป
แม้ Vanast จะเป็นวิธีที่ทำงานครบกระบวนการในระบบเดียว แต่บทความไม่ระบุรายละเอียดทรัพยากรที่ต้องใช้ในการฝึกและการอนุมาน จึงอาจไม่ใช่ทางเลือกที่เบาหรือคล่องตัวที่สุด โจทย์นี้ยากมากแม้ในระบบที่ยังไม่ปรับประสิทธิภาพ และยิ่งยากขึ้นสำหรับระบบเชิงพาณิชย์ที่ต้องมีเวลาแฝงต่ำ ต้นทุนเข้าถึงได้ และผลตอบแทนการลงทุนที่คุ้มค่าเมื่อใช้งานในวงกว้าง
การลองเสื้อผ้าเสมือนเป็นหนึ่งในเป้าหมาย AI ที่ทะเยอทะยานอย่างยิ่ง ภาพเทคโนโลยีปัจจุบันที่ส่งผ่านพาดหัวข่าวและผลลัพธ์ที่คัดเลือกมาอาจบดบังความยากที่แท้จริงของงาน ซึ่งท้ายที่สุดอาจแก้ได้ด้วยเทคโนโลยีที่เกิดภายหลังและเบากว่า Transformer
† ใช้ได้ในสหรัฐอเมริกา แต่ถูกปิดกั้นตามภูมิภาคในอีกหลายพื้นที่ หรืออาจทั้งหมด
†† ผู้เขียนอ้างถึง VFID แต่ให้ลิงก์เฉพาะบทความ ViViD ซึ่งเท่าที่ฉันตรวจสอบได้ในเวลาจำกัด ไม่ได้รองรับการอ้างอิงนี้ ฉันจึงสมมติว่าพวกเขาหมายถึง Fréchet Video Distance (FVD) และมีเวลาจำกัดเช่นกัน กรุณาติดต่อฉันหากต้องการแก้ไข
เผยแพร่ครั้งแรกวันพุธที่ 8 เมษายน 2026












