ديزني تجمع بين تقنيات الرسومات الحاسوبية والتعلم العصبي لتحقيق تقدم في مجال الرسومات ثلاثية الأبعاد

قسم أبحاث ديزني للذكاء الاصطناعي طور طريقة هجينة لتحقيق رسومات ثلاثية الأبعاد عالية الجودة، وذلك من خلال الجمع بين تقنيات الرسومات الحاسوبية التقليدية والتعلم العصبي.

المقال المقدم بعنوان الرسومات بالنمط: الجمع بين النهج التقليدية والتعلم العصبي لتحقيق رسومات عالية الجودة للوجه، ويتم استعراضه في فيديو جديد مدته 10 دقائق على قناة ديزني للأبحاث على يوتيوب (مرفق في نهاية المقال*).

شبكات ثلاثية الأبعاد مع رسومات تعلم عصبي للوجه. انظر فيديو المرفق في نهاية المقال لمزيد من التفاصيل والدقة. مصدر: https://www.youtube.com/watch?v=k-RKSGbWLng (تم استبداله ب https://www.youtube.com/watch?v=TwpLqTmvqVk)

كما يشير الفيديو، يمكن للرسومات ثلاثية الأبعاد للوجه التي يتم إنشاؤها باستخدام التعلم العصبي (بما في ذلك التلاعب بالصور) أن تنتج نتائج أكثر واقعية للعيون و内部 الفم من الرسومات الحاسوبية، في حين أن الرسومات الحاسوبية للوجه أكثر ثباتًا وملائمة لاستخدامها في الإنتاج السينمائي.

لذلك، تجري ديزني تجاربها في استخدام مولد النمط الثاني من إنفيديا (StyleGan2) لتحقيق رسومات ثلاثية الأبعاد للوجه، مع التركيز على الميزات المحيطة بالوجه والمكونات الحيوية مثل العيون، مع وضع رسومات حاسوبية متسقة للبشرة على الخلفية.

من الفيديو (انظر نهاية المقال)، مفهوم التصميم وراء نهج ديزني الهجين، حيث يتم دمج شبكة حاسوبية تقليدية مع رسومات تعلم عصبي للوجه.

يذكر الفيديو أيضًا أن هناك فجوة كبيرة بين ما يمكن التقاطه وترميزه بسهولة وبين النتائج النهائية ثلاثية الأبعاد الواقعية،-complete مع الشعر والعيون و内部 الفم. ولإغلاق هذه الفجوة، يتم إجراء الكثير من العمل اليدوي من قبل الفنانين المهرة.

تحكم الإضاءة

النهج الهجين يعتبر مفيدًا أيضًا فيما يتعلق بتحكم الإضاءة – وهو تحدي ملحوظ للرسومات ثلاثية الأبعاد للوجه، حيث يمكن أن تكون الرسومات الحاسوبية للبشرة أكثر سهولة في إعادة الإضاءة.

إصدار متحرك من النهج الهجين بين الرسومات الحاسوبية والتعلم العصبي.

في بيئات أكثر تحديًا، مثل التصوير الخارجي، قام الباحثون بتطوير طريقة لملء الفراغات حول منطقة محيطة بالشخص الذي يتم إنشاؤه.

هناك حاشية سوداء تم إنشاؤها لتمكين “اللوحة” من ملء الأجزاء الخارجية من الهوية وتكامل الرسومات الحاسوبية للبشرة في الإخراج الهجين.

يذكر الفيديو أيضًا:

‘الرسومات ثلاثية الأبعاد لا تتطابق تمامًا مع قيود الخلفية – وهي مجرد إرشاد، حيث أن التحسين من أجل مكونات واقعية مثل الشعر والعيون والأسنان هو الهدف الرئيسي. وأكثر تحديًا هو الحفاظ على هوية متسقة مع تغيير إضاءة الخلفية.’

إنشاء شبكات الرسومات الحاسوبية من الرسومات ثلاثية الأبعاد للتعلم العصبي

قام فريق البحث أيضًا بتطوير محول تبايني مدرب على قاعدة بيانات كبيرة غير محددة من صور الوجه ثلاثية الأبعاد، ويزعم أنه يمكن أن ينتج “شبكات وجه ثلاثية الأبعاد عشوائية ولكنها معقولة” من البيانات الحقيقية.

هناك قيود لهذا البحث لتحقيقها، بما في ذلك صعوبة الحفاظ على ثبات الشعر في الرسومات ثلاثية الأبعاد للتعلم العصبي، ويظهر الفيديو (انظر أدناه) عدة أمثلة على الشعر المتغير بسرعة في لفة حول وجه ثلاثي الأبعاد هجين.

استخدامات إنشاء مجموعات البيانات

تم اقتراح هذه الطريقة أيضًا كطريقة محتملة لإنشاء بيانات اصطناعية وغني مجموعة صور الوجه، والتي أصبحت في السنوات الأخيرة مملة بشكل خطير.

تتخيل ديزني تقنية جديدة لملء مجموعات بيانات صور الوجه.

‘كل نتيجة واقعية ننتجها لها هندسة أساسية وخرائط مظهر، معروضة من زوايا الكاميرا غير المعروفة مع إضاءة معروفة. هذه المعلومات هي حقيقة ضرورية لتدريب التطبيقات التنازلية، مثل إعادة بناء الوجه ثلاثي الأبعاد أحادي العين، أو التعرف على الوجه، أو فهم المشهد. وبالتالي، يمكن اعتبار كل نتيجة عرضية عينة بيانات، ويمكننا إنشاء العديد من التنويعات لعدة أفراد مختلفين.’

‘علاوة على ذلك، حتى لشخص معبر عن وجهه بوجه واحد ووجهة نظر واحدة وإضاءة واحدة، يمكننا إنشاء تنويعات عشوائية للعرض الواقعي من خلال تغيير بذرة التقلب أثناء التحسين.’

يذكر الباحثون أن هذا التنوع من الإخراج القابل للتحكم يمكن أن يكون مفيدًا في تدريب تطبيقات التعرف على الوجه، ويتوصل إلى:

‘طريقتنا قادرة على الاستفادة من التكنولوجيا الحالية لتقاط ونمذجة وترميز البشرة، وإنشاء رسومات واقعية كاملة للوجه التي تتوافق مع الهوية المرغوبة والتعبير والتشكيل المطلوب. لهذه الطريقة تطبيقات في مجال الرسومات ثلاثية الأبعاد للأفلام والترفيه، مما يوفر عملًا يدويًا للفنانين وإنشاء بيانات في مجالات مختلفة من التعلم العميق.’

لمزيد من التفاصيل حول النهج الجديد، انظر الفيديو الذي تم إصداره اليوم:

* تم استبدال الرابط الأصلي بالفيديو بآخر متطابق بعد 8 ساعات من نشر المقال. قمت بتحديث جميع الروابط ذات الصلة، حيث لم يكن هناك أثر للفيديو الأصلي.

8:24 GMT+2 – تم استبدال الفيديو لأن قناة ديزني للأبحاث على يوتيوب قامت بتبديله لأسباب غير معروفة.