باحثو الذكاء الاصطناعي يخلقون نماذج лица ثلاثية الأبعاد لألعاب الفيديو من صور المستخدمين

فريق من الباحثين في NetEase (NTES ) ، شركة ألعاب صينية ، قد أنشأ نظامًا يمكنه استخراج الوجوه تلقائيًا من الصور وتوليد نماذج داخل اللعبة باستخدام بيانات الصورة. ونشرت نتائج الورقة ، التي تحمل عنوان ترجمة الوجه إلى المعلمة لإنشاء شخصيات اللعبة تلقائيًا ، على منصة Medium من قبل Synced.

يتزايد عدد مطوري الألعاب الذين يختارون استخدام الذكاء الاصطناعي لتحسين المهام التي تستغرق وقتًا طويلاً. على سبيل المثال ، يستخدم مطورو الألعاب خوارزميات الذكاء الاصطناعي لمساعدة حركات الشخصيات والأجسام. واستخدام آخر للذكاء الاصطناعي من قبل مطوري الألعاب هو إنشاء أدوات تخصيص الشخصيات الأكثر قوة.

تعتبر ميزة تخصيص الشخصية ميزة محبوبة جدًا في ألعاب الفيديو التي تتم لعبها بدور ، حيث يسمح للاعبين بتخصيص شخصياتهم في nhiều طرق مختلفة. ويختار العديد من اللاعبين جعل شخصياتهم تبدو مثل أنفسهم ، وهو ما يصبح أكثر تحقيقًا مع زيادة تعقيد أنظمة تخصيص الشخصية. ومع ذلك ، مع زيادة تعقيد أدوات إنشاء الشخصيات ، تصبح أكثر تعقيدًا أيضًا. ويمكن أن يستغرق إنشاء شخصية تشبهك ساعات من ضبط الشرائح وتغيير المعلمات الغامضة. ويتطلع فريق البحث في NetEase إلى تغيير كل ذلك من خلال إنشاء نظام يمكنه تحليل صورة اللاعب وتوليد نموذج لوجه اللاعب على شخصية اللعبة.

يتكون أداة إنشاء الشخصية التلقائية من نصفين: نظام تعلم التقليد ونظام ترجمة المعلمة. يستخرج نظام ترجمة المعلمة الميزات من الصورة الإدخالية وينشئ معلمات لاستخدام نظام التعلم. ثم يستخدم نموذج التعلم التقليد هذه المعلمات لتوليد وتحسين تمثيل الوجه الإدخالي بشكل متكرر.

يتسم نظام التعلم التقليد بهيكل ي模ьطريقة إنشاء محرك اللعبة لنمذجة الشخصيات بنمط ثابت. ويتضمن نموذج التقليد هيكلاً مصمماً لاستخراج الحقيقة الأرضية للوجه ، مع مراعاة متغيرات معقدة مثل اللحية والشفاه وال眉ين والشعر. وتتم تحديث معلمات الوجه من خلال عملية الانحدار ، مقارنة بالدخول. ويتم دائمًا التحقق من الفرق بين ميزات الدخول والنموذج المتولد ، ويتم تعديل النموذج حتى يتماشى نموذج اللعبة مع ميزات الدخول.

بعد تدريب شبكة التقليد ، يتحقق نظام ترجمة المعلمة من مخرجات شبكة التقليد مقابل ميزات الصورة الإدخالية ، ويتخذ قرارًا بشأن مساحة ميزة تسمح بحساب معلمات الوجه المثالية.

كان التحدي الأكبر هو ضمان أن نماذج الشخصيات ثلاثية الأبعاد يمكنها الحفاظ على التفاصيل والمظهر بناءً على صور البشر. وهذا مشكلة متعددة المجالات ، حيث يجب مقارنة الصور ثلاثية الأبعاد المتولدة والصور ثنائية الأبعاد للأشخاص الحقيقيين ويجب أن تكون الميزات الأساسية لكليهما متطابقة.

حل الباحثون هذه المشكلة باستخدام تقنيتين مختلفتين. كانت التقنية الأولى هي تقسيم تدريب نموذجهم إلى مهام تعلم متعددة: مهمة محتوى الوجه ومهمة تمييزية. يتم تحديد الشكل العام والهيكل العام لوجه الشخص عن طريق تقليل الفرق / الخسارة بين قيمين عالميين للمظهر ، بينما يتم ملء التفاصيل التمييزية / الدقيقة بواسطة تقليل الخسارة بين أشياء مثل الظلال في منطقة صغيرة. يتم دمج المهام المتعلمة المتعددة معًا لتحقيق تمثيل كامل.

وكانت التقنية الثانية المستخدمة لإنشاء نماذج ثلاثية الأبعاد هي نظام بناء الوجه ثلاثي الأبعاد الذي يستخدم هيكلا عظميا محاكيا ، مع مراعاة شكل العظام. وقد سمح هذا للباحثين بإنشاء صور ثلاثية الأبعاد أكثر تعقيدًا ودقة مقارنة بأنظمة النمذجة ثلاثية الأبعاد الأخرى التي تعتمد على الشبكات أو شبكات الوجه.

إن إنشاء نظام يمكنه توليد نماذج ثلاثية الأبعاد واقعية بناءً على صور ثنائية الأبعاد أمر مثير للإعجاب بحد ذاته ، ولكن نظام التوليد التلقائي لا يعمل فقط على صور ثنائية الأبعاد. يمكن للنظام أيضًا أخذ رسومات وكاريكاتير للوجوه وتمثيلها كنماذج ثلاثية الأبعاد بدقة مثيرة للإعجاب. ويشتبه الفريق البحثي في أن النظام يمكنه توليد نماذج دقيقة بناءً على شخصيات ثنائية الأبعاد لأن النظام يتحليل معاني الوجه بدلاً من تفسير قيم البكسل الخام.

بينما يمكن استخدام جهاز إنشاء الشخصية التلقائي لإنشاء شخصيات بناءً على الصور ، يقول الباحثون إن المستخدمين يجب أن يكونوا قادرين أيضًا على استخدامه كتقنية مساعدة وتنقيح الشخصية التي تم إنشاؤها وفقًا لتفضيلاتهم.