زاوية Anderson

تجربة ملابس جديدة افتراضيًا بالذكاء الاصطناعي

Martin Anderson
أضف Unite.AI إلى مصادرك المفضلة على Google
Examples of virtual try-on from the Vanast project – source: https://arxiv.org/pdf/2604.04934
النقاط الرئيسيةيُدمج نموذج الذكاء الاصطناعي أحادي المرحلة من فاناست الملابس والهوية والحركة للحصول على…
عرض المزيد
  • يُدمج نموذج الذكاء الاصطناعي أحادي المرحلة من فاناست الملابس والهوية والحركة للحصول على مقاطع فيديو أكثر استقراراً لتجربة الملابس افتراضياً.
  • يُنشئ النظام بياناته التدريبية الاصطناعية الخاصة باستخدام نماذج مثل فلاكس وكيوين للتغلب على ندرة البيانات في العالم الحقيقي.
  • على الرغم من التقدم التقني، لا تزال الجدوى التجارية محدودة بسبب المتطلبات الحسابية العالية وتحديات زمن الوصول.

يمكن لنموذج ذكاء اصطناعي الآن تحويل صورة واحدة لشخص وصور ملابس إلى فيديو يظهر فيه الشخص متحركًا بملابس جديدة، مع تجنب العيوب الشائعة في الأنظمة الأقدم ذات المرحلتين.

 

تُعد فئة التجربة الافتراضية للملابس (VTON) في أبحاث الرؤية الحاسوبية من أكثر المجالات تمويلًا وإنتاجًا في الأدبيات. والسبب الرئيسي، كما يتضح من الشراكات المتكررة بين الصناعة والجامعات التي تُنشر سنويًا، هو التمويل الكبير الذي تقدمه صناعة الأزياء ذات الموارد المالية الواسعة لهذا الهدف:

من دراسة Image-Based Virtual Try-On: A Survey: أمثلة لطرق تمثيل الشخص، وبعض مراحل التصفية والتحسين التي تحتاج حتى الصور الأساسية إلى اجتيازها لإجراء تجربة افتراضية للملابس (VTON).

من دراسة Image-Based Virtual Try-On: A Survey: أمثلة لطرق تمثيل الشخص، وبعض مراحل التصفية والتحسين التي تحتاج حتى الصور الأساسية إلى اجتيازها لإجراء تجربة افتراضية للملابس (VTON). المصدر

لهذا الهدف أشكال متعددة، مثل استخراج الملابس من صور الأشخاص، وكذلك مراعاة الأجسام الأكثر امتلاءً عند الحاجة. وقد طُبقت بعض الأنظمة القائمة على الصور تجاريًا على منصات مثل veesual.ai وwanna.fashion وfashn.ai.

أما في الفيديو، فقد اختبر تطبيق Doppl التجريبي من Google Labs هذه الوظيفة، وأُطلق في الصيف الماضي:

انقر للتشغيل إذا لم يبدأ الفيديو تلقائيًا. مقتطفات من مشروع Google Doppl المتوقف للتجربة الافتراضية للملابس بالفيديو.  المصدر

لكن Doppl يتوقف في أبريل 2026 بعد استقبال فاتر، ويُحال المستخدمون الآن إلى خدمة التجربة الافتراضية† الخاصة بالشركة، والتي تعتمد على الصور فقط:

خدمة Google للتجربة الافتراضية المعتمدة على الصور فقط، والتي يُحال إليها مستخدمو منصة Doppl المتوقفة.

خدمة Google للتجربة الافتراضية المعتمدة على الصور فقط، والتي يُحال إليها مستخدمو منصة Doppl المتوقفة. المصدر

مع أن عددًا قليلًا من المنصات يوفر التجربة الافتراضية بالفيديو، فلا يبدو أن أيًا منها يرتبط بجهة بيع فعلية. وجميعها منتجات هامشية على الحافة التجريبية للتقنية، تروّج لوحدات التوكن وغالبًا ما تثير الشكوك.

هناك محاولات بحثية مثيرة للاهتمام، لكنها تستخدم عادةً بُنى معقدة يصعب تنفيذها بزمن استجابة منخفض وجودة عالية:

انقر للتشغيل إذا لم يبدأ الفيديو تلقائيًا. مثال من مشروع Fashion-VDM لعام 2024 على نقل الملابس إلى صور أشخاص لا تظهر فيها الرؤوس. المصدر

إن مواءمة الملابس مع شخص حقيقي دون تشويه الملابس أو الشخص، مع الحفاظ على حركة استعراضية مفيدة، تمثل تحديًا هائلًا للتقنيات الحالية. فمثلًا ينبغي أن يظهر ظهر المنتج بدقة عندما يدير الشخص ظهره.

Vanast

تحاول دراسة جديدة من كوريا مواجهة هذا التحدي بحل جديد ومتكامل تمامًا لمعالجة الملابس والشخص والحركة معًا:

انقر للتشغيل إذا لم يبدأ الفيديو تلقائيًا. أمثلة من موقع المواد التكميلية لمشروع Vanast. المصدر 

يستخدم النظام الجديد، Vanast، مجموعة بيانات أُعدت خصيصًا لدمج العناصر الثلاثة اللازمة للمهمة وتنسيقها: الملابس والشخص والحركة:

انقر للتشغيل. أمثلة إضافية من موقع مشروع Vanast.

يستخدم النظام أطرًا متنوعة مثل Flux وQwen وChatGPT لإنشاء مجموعة بيانات من ثلاثيات تدعم بنية تنفذ المهمة كاملةً من البداية إلى النهاية:

من الدراسة الجديدة: أمثلة لعناصر مجموعة البيانات المستخدمة في التوليد والتدريب.

من الدراسة الجديدة: أمثلة لعناصر مجموعة البيانات المستخدمة في التوليد والتدريب. المصدر –

تحمل الدراسة الجديدة عنوان Vanast: Virtual Try-On with Human Image Animation via Synthetic Triplet Supervision، وهي من إعداد أربعة باحثين في جامعة سيول الوطنية. وللمشروع أيضًا موقع حافل بمقاطع الفيديو.

الطريقة

هدف المؤلفين المعلن هو جمع الجوانب الثلاثة المذكورة في إطار ذي مرحلة واحدة. فإلى جانب توحيد العملية، يتيح ذلك للجوانب المختلفة فرصًا أكبر للترابط والتفاعل أثناء التدريب، بهدف إنتاج نتائج أكثر تماسكًا:

يجمع Vanast صورة واحدة لشخص، وصورًا منفصلة للملابس، ومرجعًا للحركة، لإنتاج تسلسل متحرك يظهر فيه الشخص نفسه بالملابس الجديدة. ويضمن التوجيه بالوضعيات اتساق الحركة، مع الحفاظ على هوية الشخص وتفاصيل الملابس عبر الإطارات.

يجمع Vanast صورة واحدة لشخص، وصورًا منفصلة للملابس، ومرجعًا للحركة، لإنتاج تسلسل متحرك يظهر فيه الشخص نفسه بالملابس الجديدة. ويضمن التوجيه بالوضعيات اتساق الحركة، مع الحفاظ على هوية الشخص وتفاصيل الملابس عبر الإطارات.

يستقبل النظام صور الملابس المستهدفة، وصورة للشخص بملابس مختلفة، وفيديو مرجعيًا يحدد الحركة المطلوبة، وموجّهًا نصيًا يصف الفعل والمكان. ثم ينتج فيديو كاملًا يظهر فيه الشخص نفسه مرتديًا الملابس الجديدة ومتبعًا الحركة المحددة، مع اتساق بصري لكل إطار عبر الزمن.

وبدل فصل إلباس الشخص عن تحريكه في مرحلتين، كما في معظم الأعمال المشابهة السابقة، يعالج Vanast الملابس والهوية والحركة ضمن عملية واحدة. ويتيح تفاعلها أثناء التوليد، مما يقلل مظاهر عدم التطابق وعدم الاستقرار التي ظهرت في الطرق السابقة.

مجموعة البيانات

يعتمد التدريب على أمثلة متطابقة تضم صورة شخص، والملابس المقابلة، وفيديو يتحرك فيه الشخص بتلك الملابس. وتُستخرج الحركة باستخدام بنية سابقة لتوفير توجيه ثابت بالوضعيات عبر الإطارات.

ولعدم وجود مجموعة بيانات عامة تستوفي متطلبات المشروع، جُمعت مقاطع فيديو بملابس متنوعة من منصات تسوق إلكتروني لم تُذكر أسماؤها. لكن المهمة تتطلب فيديوهات يظهر فيها الشخص نفسه بأزياء متعددة، وهو أمر نادر في البيانات الطبيعية، مما استلزم إنشاء بيانات اصطناعية.

تضمنت العملية ذات المراحل الثلاث اختيار إطارات مناسبة من الفيديوهات المجمعة باستخدام Qwen2.5-VL ، وهو نموذج رؤية ولغة (VLM). شملت العملية القصّ المناسب وتقييم الملاءمة، مثل غياب الحجب ووجود الشخص في الموضع الصحيح، ثم إنشاء أقنعة إعادة التوليد الموضعي لعزل المناطق المتأثرة. وكما في العمل السابق PERSE، ينفذ ذلك نموذج الانتشار الراسخ SDXL .

نظرة عامة على مسار Vanast: تُرمَّز صورة الشخص وصور الملابس المستهدفة وفيديو توجيه الحركة، وتُعالج في نموذج انتشار فيديو موحد. يولد النظام حركة تحافظ على الهوية وتتبع تسلسل الوضعيات وتطبق الملابس المستهدفة. ويدعم توليد الثلاثيات الاصطناعية التدريب، بينما يفصل التصميم ثنائي الوحدات التحريك عن نقل الملابس للحفاظ على الاتساق.

نظرة عامة على مسار Vanast: تُرمَّز صورة الشخص وصور الملابس المستهدفة وفيديو توجيه الحركة، وتُعالج في نموذج انتشار فيديو موحد. يولد النظام حركة تحافظ على الهوية وتتبع تسلسل الوضعيات وتطبق الملابس المستهدفة. ويدعم توليد الثلاثيات الاصطناعية التدريب، بينما يفصل التصميم ثنائي الوحدات التحريك عن نقل الملابس للحفاظ على الاتساق.

في المرحلة الثالثة، يُستخدم Qwen مجددًا لتصنيف الصور حسب الجنس. ثم يُستخدم إطار الانتشار الصوري الشائع Flux لتعديل الملابس داخل الصورة، إذ يستطيع دمج عناصر إدخال متعددة. وقد اختيرت الموجّهات النصية لإعادة التوليد الموضعي بمساعدة ChatGPT، دون تحديد الإصدار.

ولزيادة تنوع الوضعيات والخلفيات، أُنشئ مسار لبناء ثلاثيات التدريب من فيديوهات طبيعية باستخدام مجموعة بيانات HumanVid. واستُخدمت العملية نفسها لإنتاج صورة الشخص مع الحفاظ على هويته.

ولأن هذه الفيديوهات لا تتضمن صورًا مستقلة للملابس، جرى توليدها اصطناعيًا من اللقطات مباشرةً. أُخذت عينات من إطارات كل فيديو، وقيّم Qwen وضوح المنظر الأمامي. ثم اختير المرشح الأنسب بحسب ظهور الجسم كاملًا ووضوح الصورة وقلة الحجب وجودة الإضاءة والتكوين العام.

واستُخرجت منطقة ملابس الجزء العلوي من الجسم باستخدام SegFormer، ثم أُزيلت الخلفية لعزل قطعة الملابس.

ولتجنب التحيز المكاني، أُزيحت منطقة الملابس عشوائيًا داخل صندوقها المحيط، واستُخدم Qwen مجددًا لاستبعاد نتائج التقسيم غير الموثوقة. وأنتج ذلك صور ملابس اصطناعية مقترنة بالحركة والهوية، مما أتاح بناء ثلاثيات على نطاق واسع من بيانات فيديو غير منظمة، مع تحسين المتانة في ظروف واقعية متنوعة.

البنية

أُدخلت بنية ثنائية الوحدات لمعالجة بطء التقارب وضعف التوازن بين إشارات التحكم في الطرق السابقة التي حاولت دمج جميع الشروط. واستُخدم محوّل الانتشار لتوليد الفيديو من النص في Wan، مع الاستفادة كذلك من مشروع VACE المذكور لاحقًا.

قُسم النموذج إلى وحدة تحريك الشخص (HAM) التي تعالج الحركة والهوية من مدخلات الشخص والوضعيات، و وحدة نقل الملابس (GTM) التي تعالج الملابس من صورها. وتستخدم الوحدتان الشبكة الأساسية نفسها، وتدمجان السمات بطريقة موزعة ومتتابعة لتحسين الاشتراط.

أُجري التدريب عبر تجميد الشبكة الأساسية وتحسين معاملات HAM وGTM فقط، مع موازنة مساهمتيهما عند دمج السمات. وحُولت مدخلات مجموعة بيانات الثلاثيات الاصطناعية إلى تمثيلات كامنة باستخدام المشفّر التلقائي التبايني (VAE) الخاص بـWAN.

بُني سياق يراعي الحركة بدمج معلومات الشخص والوضعيات عبر الزمن، بينما عولجت سمات الملابس منفصلةً وحُوذيَت بإسقاطها في تمثيلات تضمين التوكنات.

ووُسع النموذج أيضًا لدعم الاستيفاء بين الملابس. ودُمجت تمثيلات قطعتين من الملابس لتوليد انتقالات سلسة ومزج متسق ومتماسك بين القطع، دون تحسين إضافي.

البيانات والاختبارات

دُرب النموذج على 9,135 فيديو تتراوح مدتها بين ثلاث وعشر ثوان، جُمعت من مواقع التسوق المذكورة، ومجموعة البيانات التي ولدها المؤلفون، ومجموعة HumanVid.

واعتُمدت مجموعتا تقييم: مجموعة Internet التي تضم فيديوهات وصور منتجات من مواقع التسوق، و جزء الاختبار الرسمي لمجموعة ViViD التابعة لـAlibaba.

ولأن بيانات ViViD تفتقر إلى الوجوه، أُضيفت باستخدام توسيع الصور في Flux. ويوضح الفيديو السابق مثالًا على غياب الوجوه، وهو شائع في أدبيات التجربة الافتراضية للملابس.

شملت المقاييس خسارة L1; نسبة ذروة الإشارة إلى الضوضاء (PSNR); مؤشر التشابه البنيوي (SSIM); تشابه رقع الصور الإدراكي المتعلَّم (LPIPS); مسافة Fréchet Inception (FID)، و مسافة Fréchet للفيديو†† (FVD).

اختُبرت أنظمة نقل الملابس OOTDiffusion; CatVTON; OmniTry، و Any2AnyTryon. ومن نماذج توليد الصور بالاستناد إلى الشخص، اختُبرت VisualCloze; MOSAIC، و UNO التابع لـByteDance.

وفي المرحلة الثانية، لتحريك صورة الشخص، استُخدم إطارا StableAnimator و DisPose .

واختُبر VACE أيضًا في نطاق أضيق، لأنه لا يدعم المهمة مباشرةً، مع بذل بعض الجهد لتعويض الوظائف الناقصة:

مقارنة كمية مع توليفات نماذج توليد الصور بالاستناد إلى الشخص ونماذج التحريك على مجموعتي Internet وViViD. حققت الطريقة المقترحة أفضل أداء في جميع المقاييس المعلنة. وتشير القيم بالخط العريض إلى أفضل نتيجة في كل عمود.

مقارنة كمية مع توليفات نماذج توليد الصور بالاستناد إلى الشخص ونماذج التحريك على مجموعتي Internet وViViD. حققت الطريقة المقترحة أفضل أداء في جميع المقاييس المعلنة. وتشير القيم بالخط العريض إلى أفضل نتيجة في كل عمود.

يقول المؤلفون عن النتائج الأولى الموضحة أعلاه:

«يحقق نموذجنا أفضل أداء في جميع المقاييس مقارنةً بتوليفات نماذج توليد الصور بالاستناد إلى الشخص ونماذج التحريك».

«وتؤكد النتائج النوعية [أدناه] كذلك أن نهجنا يتبع الوضعيات وينقل الملابس بأعلى دقة، مع الحفاظ على الهوية بأمانة أكبر من جميع خطوط الأساس المعتمدة على توليد الصور بالاستناد إلى الشخص».

مقارنة نوعية على مجموعتي Internet وViViD مع خطوط أساس لتوليد الصور بالاستناد إلى الشخص والتحريك. ويرى المؤلفون أن طريقتهم تحاذي الوضعيات وتنقل الملابس بدقة أكبر، وتحافظ على الهوية باتساق أكبر من VisualCloze وMOSAIC وUNO وVACE.

مقارنة نوعية على مجموعتي Internet وViViD مع خطوط أساس لتوليد الصور بالاستناد إلى الشخص والتحريك. ويرى المؤلفون أن طريقتهم تحاذي الوضعيات وتنقل الملابس بدقة أكبر، وتحافظ على الهوية باتساق أكبر من VisualCloze وMOSAIC وUNO وVACE.

في الفئة الثانية من الاختبارات، قورنت توليفات نماذج التجربة الافتراضية بالصور ونماذج التحريك، وحقق العمل الجديد النتيجة الأعلى مجددًا:

مقارنة كمية مع توليفات نماذج التجربة الافتراضية بالصور والتحريك على مجموعتي Internet وViViD. حققت الطريقة المقترحة أفضل أداء إجمالي عبر المقاييس، بينما ظل SSIM مقاربًا لأقوى خط أساس. وتشير القيم بالخط العريض إلى أعلى نتيجة.

مقارنة كمية مع توليفات نماذج التجربة الافتراضية بالصور والتحريك على مجموعتي Internet وViViD. حققت الطريقة المقترحة أفضل أداء إجمالي عبر المقاييس، بينما ظل SSIM مقاربًا لأقوى خط أساس. وتشير القيم بالخط العريض إلى أعلى نتيجة.

ويضيف المؤلفون:

«تُظهر المقارنات النوعية [أدناه] أن نتائجنا أقرب إلى البيانات المرجعية الحقيقية من نتائج جميع خطوط الأساس المعتمدة على التجربة الافتراضية بالصور».

اختبارات نوعية باستخدام خطوط أساس أُنشئت بدمج نماذج VTON مع نماذج التحريك.

اختبارات نوعية باستخدام خطوط أساس أُنشئت بدمج نماذج VTON مع نماذج التحريك.

الخلاصة

يقدم Vanast حلًا موحدًا للمهمة من البداية إلى النهاية. لكن غياب تفاصيل متطلبات موارد التدريب والاستدلال في الدراسة يشير إلى أنه قد لا يكون الحل الأخف أو الأسرع. فالمهمة بالغة الصعوبة حتى في نظام غير محسّن، فكيف بتطبيق تجاري يحتاج إلى زمن استجابة منخفض وتكلفة معقولة وعائد مجدٍ على الاستثمار عند التشغيل الواسع؟

التجربة الافتراضية للملابس أحد أهداف الذكاء الاصطناعي شديدة الطموح. والصورة التي تنقلها العناوين والنتائج المنتقاة عن التقنيات الحالية تخفي الصعوبة الفعلية للمهمة. وربما تُحل في نهاية المطاف بتقنيات لاحقة وأخف من المحوّلات.

 

† متاح في الولايات المتحدة، ومحجوب جغرافيًا في مناطق أخرى كثيرة، إن لم يكن جميعها.

†† يشير المؤلفون إلى VFID، لكنهم لا يربطون إلا بدراسة ViViD التي لا تبرر هذه الإشارة، فيما استطعت تبينه خلال الوقت المحدود المتاح للتحقق. وقد افترضت أنهم يقصدون في الواقع مسافة Fréchet للفيديو (FVD)، وأنهم كانوا أيضًا يعانون ضيق الوقت. يرجى التواصل معي عند الحاجة إلى تصحيحات.

نُشر أول مرة يوم الأربعاء، 8 أبريل 2026

كاتب في مجال تعلم الآلة، متخصص في توليد صور البشر. كان رئيسًا سابقًا لمحتوى البحث في Metaphysic.ai، حتى دمجه في Brahma.ai التابعة لـ DNEG.
الموقع الإلكتروني: martinanderson.ai
للتواصل: martin@martinanderson.ai