إنشاء نماذج ثلاثية الأبعاد كاملة الجسم عن طريق الجمع بين عدة نيرفس

يتضمن قطاع أبحاث合成 الصور العديد من المقترحات الجديدة لأنظمة قادرة على إنشاء مقاطع فيديو وصور كاملة الجسم لشباب في مختلف أنواع الملابس. ومعظم الصور المولدة تكون ساكنة؛ وفي بعض الأحيان تتحرك التمثيلات، ولكن ليس دائمًا بدرجة جيدة.

يتحرك هذا الجزء من البحث ببطء مقارنة بمستوى التقدم الحالي في مجالات متعلقة مثل نماذج الانتشار الكامن؛ ومع ذلك، تواصل المجموعات البحثية، ومعظمها في آسيا، العمل بلا كلل على حل هذه المشكلة.

واحدة من العشرات، إن لم تكن المئات، من أنظمة ‘الجلسة الافتراضية’ المقترحة أو شبه المنفذة في السنوات 10-15 الماضية، حيث يتم تقييم الأجسام من خلال التعرف على الكائنات القائمة على التعلم الآلي وتكييفها مع عناصر الملابس المقترحة. مصدر: https://www.youtube.com/watch?v=2ZXrgGyhbak

الهدف هو إنشاء أنظمة جديدة لتمكين ‘الجلسات الافتراضية’ لسوق الأزياء والملابس – أنظمة يمكنها التكيف مع العملاء ومع المنتج الحالي أو الذي سيتم إطلاقه قريبًا، دون الحاجة إلى التأثيرات الوقت الحقيقي الخاضعة للتعديل ل الملابس، أو الحاجة إلى طلب من العملاء إرسال صور غير مناسبة قليلا لخطوط أنابيب التصور القائمة على التعلم الآلي.

لا يبدو أن أي من هياكل التركيب الشائعة يمكن تعديلها بسهولة لهذه المهمة: مساحة التخزين ال 潛在 لشبكات التوليد المعادية (GANs) غير مناسبة لإنتاج حركة زمنية مقنعة (أو حتى التحرير بشكل عام)؛ على الرغم من أن النيرف (NeRF) قادرة على توليد حركة إنسان واقعية، إلا أنها عادة ما تكون مقاومة للنوع من التحرير الذي سيكون ضروريًا ل ‘استبدال’ الأشخاص أو الملابس حسب الرغبة؛ سيتطلب محولو التشفير خاصًا بكل شخص وملابس تدريبًا؛ ونماذج الانتشار الكامن، مثل GANs، لا تملك آليات زمنية أصلية لإنشاء الفيديو.

EVA3D

على الرغم من ذلك، تواصل الأوراق والمقترحات. أحدثها هو من نوع يثير الاهتمام في سطر بحث غير متميز ومتجه بشكل حصري للشركات.

EVA3D، من جامعة نانيانغ التكنولوجية في سنغافورة، هو أول إشارة إلى نهج طال انتظاره – استخدام عدة شبكات حقل الإشعاع العصبي (NeRF) ، كل منها مخصص لجزء منفصل من الجسم، ويتم تجميعها بعد ذلك في تمثيل مجمّع ومتكامل.

شابة متحركة مجمعة من شبكات NeRF متعددة، لـ EVA3D. مصدر: https://hongfz16.github.io/projects/EVA3D.html

النتائج، من حيث الحركة، هي… جيدة. على الرغم من أن تمثيلات EVA3D ليست خارج وادي الغرابة، إلا أنها على الأقل يمكن رؤية مخرجها من حيث موقعها.

ما يجعل EVA3D متميزًا هو أن الباحثين وراءه،几乎 بشكل فريد في قطاع التركيب الكامل للصورة، أدركوا أن شبكة واحدة (GAN أو NeRF أو غيرها) لن تكون قادرة على التعامل مع توليد الجسم الكامل القابل للتعديل والمرونة لبعض الوقت – جزئيًا بسبب وتيرة البحث، وجزئيًا بسبب القيود اللوجستية والمادية.

لذلك، قام فريق نانيانغ بتقسيم المهمة عبر 16 شبكة وتكنولوجيا متعددة – نهج تم اعتماده بالفعل لترndering العصبي للبيئات الحضرية في Block-NeRF و CityNeRF، والذي يبدو أنه سيكون تدبيرًا نصف đường واعدًا ومثمرًا لتحقيق نماذج كاملة الجسم في السنوات الخمس القادمة، مع تطورات جديدة في المفاهيم أو الأجهزة.

ليس كل التحديات الموجودة في إنشاء هذا النوع من ‘الجلسة الافتراضية’ هي تقنية أو لوجستية، ويحدد الورقة بعض مشاكل البيانات، خاصة فيما يتعلق بالتعلم غير الموجه:

‘بيانات الأزياء في الغالب لديها مواقف إنسان محدودة للغاية (معظمها من مواقف الوقوف المماثلة) وزوايا مشاهدة غير متوازنة (معظمها من مناظير أمامية). يمكن أن تعيق توزيع البيانات الثنائي غير المتوازن التعلم غير الموجه ل 3D GANs، مما يؤدي إلى صعوبات في توليد وجهات جديدة / مواقف. لذلك، هناك حاجة إلى استراتيجية تدريب مناسبة للتخفيف من هذه القضية.’

يقسم سير عمل EVA3D الجسم البشري إلى 16 جزءًا منفصلًا، كل منها يتم إنشاؤه من خلال شبكة NeRF الخاصة به. من الواضح أن هذا يخلق أقسامًا ‘غير مجمدة’ كافية لتحفيز الشكل من خلال التقاط الحركة أو أنواع أخرى من بيانات الحركة. بالإضافة إلى هذا الميزة، يسمح النظام أيضًا بتخصيص الموارد القصوى للأجزاء من الجسم التي ‘تبيع’ الانطباع العام.

على سبيل المثال، فإن قدم الإنسان لها مجال محدود للغاية من المرونة، في حين أن صحة الوجه والرأس، إلى جانب جودة حركة الجسم بأكملها، من المرجح أن تكون العلامة الرئيسية للصحة للتصيير.

مقارنة نوعية بين EVA3D والأساليب السابقة. يزعم المؤلفون نتائج SOTA في هذا الصدد.

يتفوق النهج بشكل جذري عن مشروع NeRF-المركزي الذي يرتبط به концепčně – مشروع A-NeRF لعام 2021، من جامعة كولومبيا البريطانية وشركة Reality Labs Research، الذي سعى إلى إضافة هيكل داخلي للتحكم في تمثيل NeRF التقليدي ‘الواحد القطعة’، مما يجعل من الصعب تخصيص الموارد المعالجة لأجزاء مختلفة من الجسم بناءً على الاحتياج.

الحركات السابقة – A-NeRF يجهز NeRF ‘المحمص’ بنفس النوع من التمثيل المرن والمدروس الذي تستخدمه صناعة التأثيرات البصرية منذ فترة طويلة لتحريك شخصيات CGI. مصدر: https://lemonatsu.github.io/anerf/

يتشارك EVA3D مع معظم المشاريع البشرية المماثلة التي تسعى إلى استغلال الفضاء الكامن للنهج الشائعة، يستخدم نموذج Skinned Multi-Person Linear (SMPL) ، وهو طريقة تقليدية قائمة على CGI لإضافة الآلية إلى مجردة أساليب التركيب الحالية. في وقت سابق من هذا العام، استخدمت ورقة أخرى، هذه المرة من جامعة زيجيانغ في هانغتشو، وكلية الإعلام الإبداعي بجامعة هونغ كونغ، هذه الطرق لتحقيق إعادة تشكيل الجسم البشري العصبي.

نتائج نوعية EVA3D على DeepFashion.

الطريقة

النموذج SMPL المستخدم في العملية يُحسّن ل ‘الماضي’ البشري – الشخص الذي يتم، في الأساس، التضليل العميق الطوعي بواسطة EVA3D، ويتفاوض أوزان التمثيل بين الفضاء الكلاسيكي (أي ‘في حالة الراحة’ أو ‘الوضع المحايد’ لنموذج SMPL) والطريقة التي يتم بها تقديم المظهر النهائي.

سير العمل المفاهيمي لـ EVA3D. مصدر: https://arxiv.org/pdf/2210.04888.pdf

كما هو موضح في الرسم أعلاه، يتم استخدام صناديق التحديد من SMPL كتحديدات الحدود للشبكات 16 التي ستؤلف الجسم في النهاية. ثم يتم استخدام خوارزمية Linear Blend Skinning (LBS) العكسية من SMPL لنقل الأشعة العينة المرئية إلى الفضاء الكلاسيكي (الوضع الساكن). ثم يتم استجواب الشبكات الفرعية بناءً على هذه التكوينات، و最終 يتم تجميعها في تمثيل نهائي.

يتم استخدام المكونات الكاملة من NeRF لإنشاء إطار عمل GAN ثلاثي الأبعاد بشري.

تمثيلات إطار العمل GAN في المرحلة الثانية سوف يتم تدريبها في النهاية على مجموعات صور حقيقية ثنائية الأبعاد من البشر / الأزياء.

كل شبكة فرعية تمثل جزءًا من الجسم البشري تتكون من متعدد طبقات متصلة (MLPs) مع SIREN (Sinusoidal Representation Networks) تنشيط. على الرغم من أن SIREN يحل الكثير من المشاكل في سير العمل مثل هذا، وفي مشاريع مماثلة، فإنه يميل إلى التكيف بدلاً من التعميم، ويقترح الباحثون أن المكتبات البديلة يمكن استخدامها في المستقبل (انظر نهاية المقال).

البيانات والتدريب والاختبارات

يواجه EVA3D مشاكل بيانات غير عادية، بسبب القيود والنمط المعمول به في المواقف المتاحة في مجموعات بيانات الأزياء، والتي تميل إلى عدم وجود مواقف بديلة أو جديدة، وهي، ربما عمدًا، متكررة، من أجل التركيز على الملابس بدلاً من الشخص الذي يرتديها.

نظرًا لتوزيع المواقف غير المتوازن هذا، يستخدم EVA3D ما قبل البشرية (انظر أعلاه) بناءً على هندسة SMPL، ثم يتنبأ بميدان المسافة الموقعة (SDF) لتعويض هذا الموقف، بدلاً من وضع هدف مباشر.

للتجارب الداعمة، استخدم الباحثون أربعة مجموعات بيانات: DeepFashion؛ SHHQ؛ UBCFashion؛ وقاعدة بيانات الفيديو الراقص AIST (AIST Dance DB).

الاثنان الأخيران يحتويان على مواقف أكثر تنوعًا من الأولين، ولكنهما يمثلان نفس الأفراد بشكل متكرر، مما يلغي التنوع المفيد هذا؛ باختصار، البيانات أكثر من التحدي، بالنظر إلى المهمة.

أمثلة من SSHQ. مصدر: https://arxiv.org/pdf/2204.11823.pdf

كانت الأسس المستخدمة هي ENARF-GAN، أول مشروع لترندر صور NeRF من مجموعات بيانات صور ثنائية الأبعاد؛ و EG3D من ستانفورد وشركة NVIDIA (NVDA ) ؛ و StyleSDF، تعاون بين جامعة واشنطن، وشركة Adobe (ADBE ) Research، وستانفورد – جميعها طرق تتطلب مكتبات超 الدقة من أجل التوسيع من الأصل إلى دقة عالية.

تم استخدام مقاييس مثل المسافة الفريتش للانCEPTION (FID) والمسافة الكيرنل للانCEPTION (KID) ، إلى جانب نسبة النقاط الصحيحة (PCKh@0.5).

في التقييمات الكمية، قاد EVA3D في جميع المقاييس في أربعة مجموعات بيانات:

نتائج كمية.

يشير الباحثون إلى أن EVA3D يحقق أقل معدل خطأ لترندر الهندسة، وهو عاملاً حاسماً في مشروع من هذا النوع. كما يلاحظون أن نظامهم يمكنه التحكم في الموقف المولَّد وتحقيق درجات PCKh@0.5 أعلى، على عكس EG3D، وهو الطريقة المنافسة الوحيدة التي سجلت أعلى في فئة واحدة.

يعمل EVA3D بشكل أصلي في دقة 512x512px، على الرغم من أنه يمكن أن يتم تسريعه بسهولة وفعالية إلى دقة HD عن طريق إضافة طبقات للتوسيع، كما فعلت جوجل مؤخرًا مع عرضها لفيديو 1024 دقة النص إلى فيديو Imagen Video.

الطريقة ليست بدون حدود. يشير الورقة إلى أن تنشيط SIREN يمكن أن يسبب آثارات دائرية، والتي يمكن معالجتها في الإصدارات المستقبلية من خلال استخدام تمثيل أساسي بديل، مثل EG3D، بالاشتراك مع محول 2D. بالإضافة إلى ذلك، من الصعب تطبيق SMPL بدقة على مصادر البيانات للأزياء.

أخيرًا، لا يمكن للنظام أن يحتوي بسهولة على عناصر ملابس أكبر وأكثر سائلًا، مثل الفساتين الكبيرة؛ هذه الأنواع من الملابس تظهر نفس نوع الديناميكيات السائلة التي تجعل إنشاء الشعر المُحسَّن عصبيًا تحديًا مثل هذا. من المفترض أن الحلول المناسبة يمكن أن تساعد في معالجة كلا المشكلين.

نُشر لأول مرة في 12 أكتوبر 2022.