एआई शोधकर्ता उपयोगकर्ता फोटो से 3डी वीडियो गेम फेस मॉडल बनाते हैं

नेटइज़, एक चीनी गेमिंग कंपनी में शोधकर्ताओं की एक टीम ने एक ऐसी प्रणाली बनाई है जो फोटो से चेहरे को स्वचालित रूप से निकाल सकती है और छवि डेटा के साथ इन-गेम मॉडल बना सकती है। फ़ेस-टू-पैरामीटर ट्रांसलेशन फॉर गेम चारेक्टर ऑटो-क्रिएशन नामक पत्र के परिणामों को माध्यम पर सिंक्ड द्वारा सारांशित किया गया था।

अधिक से अधिक गेम डेवलपर समय लेने वाले कार्यों को स्वचालित करने के लिए एआई का उपयोग करने का विकल्प चुन रहे हैं। उदाहरण के लिए, गेम डेवलपर्स ने पात्रों और वस्तुओं की आंदोलनों को रेंडर करने में मदद के लिए एआई एल्गोरिदम का उपयोग कर रहे हैं। गेम डेवलपर्स द्वारा एआई का एक और हालिया उपयोग पात्र अनुकूलन टूल्स को अधिक शक्तिशाली बनाना है।

पात्र अनुकूलन रोल-प्ले वीडियो गेम्स की एक बहुत ही प्यारी विशेषता है, जो खिलाड़ियों को अपने खिलाड़ी अवतारों को विभिन्न तरीकों से अनुकूलित करने की अनुमति देती है। कई खिलाड़ी अपने अवतारों को अपने जैसा दिखाने का विकल्प चुनते हैं, जो पात्र अनुकूलन प्रणालियों की जटिलता बढ़ने के साथ अधिक संभव हो जाता है। हालांकि, जैसे ही ये पात्र निर्माण टूल अधिक परिष्कृत हो जाते हैं, वे भी बहुत अधिक जटिल हो जाते हैं। एक ऐसा पात्र बनाना जो खुद की तरह दिखता है, स्लाइडर्स को समायोजित करने और क्रिप्टिक पैरामीटर्स को बदलने में घंटों लग सकते हैं। नेटइज़ शोध टीम इसे बदलने के लिए एक ऐसी प्रणाली बनाने का लक्ष्य रखती है जो खिलाड़ी की एक फोटो का विश्लेषण करती है और इन-गेम पात्र पर खिलाड़ी के चेहरे का मॉडल बनाती है।

स्वचालित पात्र निर्माण टूल दो भागों से बना है: एक अनुकरण सीखने की प्रणाली और एक पैरामीटर अनुवाद प्रणाली। पैरामीटर अनुवाद प्रणाली इनपुट छवि से विशेषताओं को निकालती है और सीखने की प्रणाली के लिए पैरामीटर बनाती है। इन पैरामीटर्स का उपयोग अनुकरण सीखने के मॉडल द्वारा इनपुट चेहरे के प्रतिनिधित्व को पुनरावृत्ति और सुधार करने के लिए किया जाता है।

अनुकरण सीखने की प्रणाली का आर्किटेक्चर गेम इंजन द्वारा एक निरंतर शैली के साथ पात्र मॉडल बनाने के तरीके की नकल करता है। अनुकरण मॉडल को चेहरे की मैदान-सत्य को निकालने के लिए डिज़ाइन किया गया है, जिसमें जटिल चर जैसे दाढ़ी, लिपस्टिक, भौहें और बाल शैली शामिल हैं। चेहरे के पैरामीटर्स को ग्रेडिएंट डिसेंट की प्रक्रिया के माध्यम से अपडेट किया जाता है, जो इनपुट के खिलाफ तुलना की जाती है। इनपुट विशेषताओं और उत्पन्न मॉडल के बीच का अंतर लगातार जांचा जाता है, और मॉडल को इन-गेम मॉडल के साथ संरेखित होने तक संशोधित किया जाता है।

एक बार अनुकरण नेटवर्क को प्रशिक्षित किया जाने के बाद, पैरामीटर अनुवाद प्रणाली अनुकरण नेटवर्क के आउटपुट की तुलना इनपुट छवि विशेषताओं के खिलाफ करती है, एक ऐसा फीचर स्पेस तय करती है जो चेहरे के पैरामीटर्स की गणना करने की अनुमति देती है।

सबसे बड़ी चुनौती यह सुनिश्चित करना था कि 3डी पात्र मॉडल मानव फोटो पर आधारित विवरण और उपस्थिति को संरक्षित कर सकते हैं। यह एक क्रॉस-डोमेन समस्या है, जहां 3डी उत्पन्न छवियों और वास्तविक लोगों की 2डी छवियों की तुलना की जानी चाहिए और दोनों की मुख्य विशेषताएं समान होनी चाहिए।

शोधकर्ताओं ने इस समस्या का समाधान दो अलग-अलग तकनीकों के साथ किया। पहली तकनीक थी अपने मॉडल प्रशिक्षण को दो अलग-अलग सीखने कार्यों में विभाजित करना: एक चेहरे की सामग्री कार्य और एक विभेदक कार्य। एक व्यक्ति के चेहरे का सामान्य आकार और संरचना दो वैश्विक उपस्थिति मूल्यों के बीच के अंतर/हानि को कम करके निर्धारित की जाती है, जबकि विभेदक/बारीक विवरण एक छोटे से क्षेत्र में छाया जैसी चीजों के बीच हानि को कम करके भरे जाते हैं। दो अलग-अलग सीखने कार्यों को एक पूर्ण प्रतिनिधित्व प्राप्त करने के लिए एक साथ मिलाया जाता है।

3डी मॉडल बनाने के लिए उपयोग की जाने वाली दूसरी तकनीक एक 3डी चेहरा निर्माण प्रणाली थी जो एक सिम्युलेटेड कंकाल संरचना का उपयोग करती थी, जिसमें हड्डी के आकार को ध्यान में रखा जाता था। इससे शोधकर्ताओं को ग्रिड या चेहरे के जाले पर निर्भर अन्य 3डी मॉडलिंग प्रणालियों की तुलना में अधिक परिष्कृत और सटीक 3डी छवियां बनाने में मदद मिली।

2डी छवियों पर आधारित वास्तविक 3डी मॉडल बनाने वाली एक प्रणाली बनाना अपने आप में प्रभावशाली है, लेकिन स्वचालित जनरेशन प्रणाली केवल 2डी फोटो पर काम नहीं करती है। प्रणाली चेहरों के स्केच और कार्टून को भी 3डी मॉडल के रूप में प्रस्तुत कर सकती है जो आश्चर्यजनक सटीकता के साथ हैं। शोध टीम का संदेह है कि प्रणाली 2डी पात्रों पर आधारित सटीक मॉडल बनाने में सक्षम है क्योंकि यह कच्चे पिक्सेल मानों की व्याख्या करने के बजाय चेहरे की सेमांटिक्स का विश्लेषण करती है।

स्वचालित पात्र जनरेटर का उपयोग फोटो पर आधारित पात्र बनाने के लिए किया जा सकता है, शोधकर्ताओं का कहना है कि उपयोगकर्ताओं को इसे एक पूरक तकनीक के रूप में भी उपयोग करना चाहिए और अपनी पसंद के अनुसार उत्पन्न पात्र को और संपादित करना चाहिए।