زاوية Anderson

تشكيل أنواع الجسم البشري مع تقنيات الذكاء الاصطناعي

Martin Anderson
أضف Unite.AI إلى مصادرك المفضلة على Google
النقاط الرئيسيةيستخدم NeuralReshaper النماذج البارامترية SMPL لتمكين التحكم الدقيق في الوزن والطول…
عرض المزيد
  • يستخدم NeuralReshaper النماذج البارامترية SMPL لتمكين التحكم الدقيق في الوزن والطول وتناسق الجسم.
  • تعالج بنية التشفير المزدوج بشكل منفصل إعادة تشكيل الجسم في المقدمة وملء الخلفية للحصول على نتائج واقعية.
  • تظل طرق CGI القائمة على SMPL ضرورية لأن شبكات GAN و NeRFs لا تستطيع بعد تعديل معلمات شكل الجسم بشكل موثوق.

يقدم مشروع بحثي جديد من الصين طريقة مبتكرة لتشكيل الجسم البشري في الصور، من خلال استخدام شبكة مزدوجة من المرمّزات العصبية منسقة، وموجهة بنموذج بارامتري، مما يسمح للمستخدم بتعديل الوزن والطول ونسبة الجسم في واجهة المستخدم التفاعلية.

تعديل بارامتري لشكل الجسم، مع شريط التمرير لتعديل ثلاث سمات متاحة. مصدر: https://arxiv.org/pdf/2203.10496.pdf

تعديل بارامتري لشكل الجسم، مع شريط التمرير لتعديل ثلاث سمات متاحة. مصدر: https://arxiv.org/pdf/2203.10496.pdf

يقدم هذا العمل عدة تحسينات على مشروع مشابه حديث من شركة Alibaba، حيث يمكنه تعديل الطول ونسبة الجسم بالإضافة إلى الوزن، ويحتوي على شبكة عصبونية مخصصة لملء الخلفية غير المرئية التي يمكن أن تظهر في صور الجسم النحيف. كما يحسن على طريقة بارامترية سابقة لتعديل الشكل الجسمي من خلال إزالة الحاجة إلى تدخل بشري مكثف خلال صياغة التحويل.

يسمى هذا النظام NeuralReshaper، ويتوافق مع نموذج ثلاثي الأبعاد للجسم البشري في صورة مصدر، ثم يستخدم التشوهات في النموذج لتعديل الصورة الأصلية وفقًا للمعايير الجديدة.

يمكن للنظام التعامل مع تحويلات الجسم على الأشخاص المرتدين للملابس وكذلك الأشخاص نصف عراة (أي في ملابس السباحة).

تحظى هذه التحويلات باهتمام كبير في أبحاث الذكاء الاصطناعي للأزياء، التي أنتجت منصات مبنية على StyleGAN وCycleGAN وشبكات عصبية عامة من أجل تجربة الملابس افتراضيًا، بحيث تلائم الملابس المتاحة شكل الجسم ونوعه في صورة يقدّمها المستخدم، أو تحسّن الاتساق البصري.

تحمل الورقة باسم تحويل الجسم البشري في الصورة الواحدة باستخدام الشبكات العصبونية، ويأتي من باحثين في جامعة تشجيانغ في هانجتشو، وكلية الإعلام الإبداعي في جامعة مدينة هونغ كونغ.

مواءمة SMPL

يستخدم NeuralReshaper نموذج SMPL (Skinned Multi-Person Linear Model) الذي طوّره معهد ماكس بلانك للنظم الذكية وشركة Industrial Light and Magic في عام 2015.

نماذج SMPL البارامترية للبشر من تعاون Planck/ILM في عام 2015. مصدر: https://files.is.tue.mpg.de/black/papers/SMPL2015.pdf

نماذج SMPL البارامترية للبشر من تعاون Planck/ILM في عام 2015. مصدر: https://files.is.tue.mpg.de/black/papers/SMPL2015.pdf

في المرحلة الأولى من العملية، يتم إنشاء نموذج SMPL من صورة مصدر يُراد تعديل الشكل الجسمي فيها. يتطابق النموذج مع الصورة وفقًا لـمنهجية استعادة الشبكة المجسمة البشرية (HMR) التي اقترحتها جامعات في ألمانيا والولايات المتحدة في عام 2018.

تتم حساب المعايير الثلاثة للتشوه (الوزن، والطول، ونسبة الجسم) في هذه المرحلة، جنبًا إلى جنب مع اعتبار معايير الكاميرا، مثل البعد البؤري. توفر النقاط الرئيسية ثنائية الأبعاد والتماثل المولّد للصورة الحدود التي يتم فيها تعديل الشكل الجسمي.

مراحل مواءمة SMPL: الصورة الأصلية ثم نتائج التحسين والاستدلال وتحسين النقاط الثنائية والهيئة الخارجية.

مراحل مواءمة SMPL من اليسار: الصورة الأصلية؛ نتيجة التحسين بطريقة دراسة عام 2016 التي قادها معهد ماكس بلانك؛ الاستدلال المباشر بنموذج استعادة شكل الإنسان ووضعه من طرف إلى طرف المدرّب مسبقًا؛ التحسين بالنقاط الأساسية ثنائية الأبعاد؛ وأخيرًا المواءمة بعد تحسين الهيئة الخارجية.

يُسقط التشوه الثلاثي الأبعاد في فضاء الصورة لتشكيل حقل تشوّه كثيف يحدد التحويل. تستغرق العملية نحو 30 ثانية لكل صورة.

بنية NeuralReshaper

يعمل NeuralReshaper على شبكتين عصبونيتين متوازيتين: مرمّز للمقدمة يولّد شكل الجسم المعدّل، ومحرك ترميز للخلفية التي تركز على ملء المناطق الخلفية غير المرئية (في حالة، على سبيل المثال، تقليل حجم الجسم – انظر الصورة أدناه).

يدمج إطار على نمط U-Net سمات المرمّزين ثم يمرر النتيجة إلى مفكّك ترميز موحّد يولّد صورة جديدة من المدخلين. وتتيح آلية جديدة موجّهة بالتشوّه هذا الدمج.

التدريب والتجارب

تم تنفيذ NeuralReshaper باستخدام PyTorch على جهاز NVIDIA (NVDA ) 1080ti GPU مع 11 غيغابايت من ذاكرة الفيديو. تم تدريب الشبكة لمدة 100 دورة تحت خوارزمية Adam، مع ضبط معدل تعلّم المولّد على 0.0001 ومعدل تعلّم المميّز على 0.0004. تم تدريب الشبكة على مجموعة بيانات مخصصة خارجية (مشتقة من COCO وMPII وLSP) مع حجم دفعة 8، ومجموعة بيانات DeepFashion مع حجم دفعة 2.

على اليسار، الصور الأصلية؛ على اليمين، الإخراج المتحول لNeuralReshaper.

على اليسار، الصور الأصلية؛ على اليمين، الإخراج المتحول لNeuralReshaper.

فيما يلي أمثلة من مجموعة DeepFashion وحدها بعد تدريب NeuralReshaper عليها؛ تظهر الصور الأصلية دائمًا على اليسار.

السمات الثلاث القابلة للتحكم منفصلة ويمكن تطبيقها باستقلال.

تحويل صور المجموعة الخارجية أصعب، لأنه يتطلب ملء خلفيات معقدة ورسم حدود واضحة ومقنعة للجسم المعدّل.



الحاجة إلى الأساليب البارامترية

كما تشير الورقة، فإن تحويل الصورة نفسها بهذه الطريقة مسألة غير محكمة التحديد في توليد الصور. تستفيد أطر GAN والمرمّزات التحويلية من أزواج الصور، كما في مشاريع تحويل الرسم إلى صورة وتحويل الصورة إلى رسم.

لكن هذه المهمة تتطلب صورًا للأشخاص أنفسهم بتكوينات جسدية مختلفة، مثل صور «قبل وبعد» في إعلانات الحمية أو جراحة التجميل، وهي بيانات يصعب الحصول عليها أو توليدها.

بدلًا من ذلك، يمكن تدريب شبكات GAN التحويلية على بيانات أكثر تنوعًا والبحث عن الاتجاه الكامن بين الرمز الكامن للصورة الأصلية والفئة المطلوبة، مثل «سمين» أو «نحيف» أو «طويل». غير أن هذا النهج لا يزال محدودًا جدًا لإعادة تشكيل الجسم بدقة.

حقول الإشعاع العصبية (NeRF) أكثر تقدمًا في محاكاة الجسم الكامل من معظم أنظمة GAN، لكنها مرتبطة بمشهد معين وكثيفة الموارد. وباستثناء تصغير الجسم كله بالنسبة إلى محيطه، تظل قدرتها على تعديل أشكال الأجسام بالتفصيل الذي تستهدفه NeuralReshaper والمشاريع السابقة محدودة جدًا.

يصعب التحكم في الفضاء الكامن لشبكات GAN؛ ولا تعالج VAE وحدها بعدُ تعقيدات إعادة إنتاج الجسم الكامل؛ ولا تزال قدرة NeRF على إعادة تشكيل الأجسام البشرية باستمرار وواقعية ناشئة. لذا يُرجّح استمرار استخدام أساليب CGI التقليدية مثل SMPL لضبط الميزات والفئات والرموز الكامنة وتجميعها، إذ لم تُفهم معاملات هذه التقنيات الناشئة وإمكانات استغلالها بالكامل بعد.

نُشر لأول مرة في 31 مارس 2022.

كاتب في مجال تعلم الآلة، متخصص في توليد صور البشر. كان رئيسًا سابقًا لمحتوى البحث في Metaphysic.ai، حتى دمجه في Brahma.ai التابعة لـ DNEG.
الموقع الإلكتروني: martinanderson.ai
للتواصل: martin@martinanderson.ai