Ερευνητές του AI Δημιουργούν 3D Μοντέλα Προσώπου για Βιντεοπαιχνίδια από Φωτογραφίες Χρηστών

Μια ομάδα ερευνητών στην NetEase (NTES ), μια κινεζική εταιρεία βιντεοπαιχνιδιών, έχει δημιουργήσει ένα σύστημα που μπορεί να εξαγάγει αυτόματα πρόσωπα από φωτογραφίες και να δημιουργήσει μοντέλα εντός του παιχνιδιού με τα δεδομένα της εικόνας. Τα αποτελέσματα της εργασίας, με τίτλο Μετάφραση Προσώπου σε Παραμέτρους για Αυτόματη Δημιουργία Χαρακτήρων Παιχνιδιών, συνοψίστηκαν από το Synced στο Medium.

Όλο και περισσότεροι dévelopπεurs παιχνιδιών επιλέγουν να χρησιμοποιήσουν το AI για να αυτοματοποιήσουν χρονοβόρες εργασίες. Για παράδειγμα, οι dévelopπεurs παιχνιδιών έχουν χρησιμοποιήσει αλγόριθμους AI για να βοηθήσουν να αναπαραστήσουν τις κινήσεις χαρακτήρων και αντικειμένων. Μια άλλη πρόσφατη χρήση του AI από τους développeurs παιχνιδιών είναι η δημιουργία πιο ισχυρών εργαλείων προσαρμογής χαρακτήρων.

Η προσαρμογή χαρακτήρων είναι μια πολύ αγαπημένη λειτουργία των βιντεοπαιχνιδιών ρόλων, που επιτρέπει στους παίκτες να προσαρμόζουν τους авatars τους με πολλούς διαφορετικούς τρόπους. Πολλοί παίκτες επιλέγουν να κάνουν τους авatars τους να μοιάζουν με τον εαυτό τους, το οποίο γίνεται πιο εφικτό καθώς η σοφιστικέωση των συστημάτων προσαρμογής χαρακτήρων αυξάνεται. Ωστόσο, καθώς αυτά τα εργαλεία δημιουργίας χαρακτήρων γίνονται πιο σύνθετα, επίσης γίνονται πολύ πιο σύνθετα. Η δημιουργία ενός χαρακτήρα που να μοιάζει με τον εαυτό σας μπορεί να πάρει ώρες προσαρμογής διακοπτών και αλλαγής κρυφών παραμέτρων. Η ερευνητική ομάδα της NetEase στοχεύει να αλλάξει όλα αυτά δημιουργώντας ένα σύστημα που αναλύει μια φωτογραφία του παίκτη και δημιουργεί ένα μοντέλο του προσώπου του παίκτη στο χαρακτήρα του παιχνιδιού.

Το αυτόματο εργαλείο δημιουργίας χαρακτήρων αποτελείται από δύο μέρη: ένα σύστημα μάθησης μίμησης και ένα σύστημα μετάφρασης παραμέτρων. Το σύστημα μετάφρασης παραμέτρων εξάγει χαρακτηριστικά από την είσοδο εικόνας και δημιουργεί παραμέτρους για το σύστημα μάθησης να χρησιμοποιήσει. Αυτές οι παραμέτρους χρησιμοποιούνται από το μοντέλο μάθησης μίμησης για να δημιουργήσει και να βελτιώσει την αναπαράσταση του εισαγώμενου προσώπου.

Το σύστημα μάθησης μίμησης έχει μια αρχιτεκτονική που μιμείται τον τρόπο με τον οποίο το μηχανισμό του παιχνιδιού δημιουργεί μοντέλα χαρακτήρων με σταθερό στυλ. Το μοντέλο μίμησης σχεδιάζεται για να εξαγάγει την αλήθεια του προσώπου, λαμβάνοντας υπόψη σύνθετες μεταβλητές όπως γένια, μπούκλες, φρύδια και στυλ μαλλιών. Οι παραμέτρους του προσώπου ενημερώνονται μέσω της διαδικασίας της καθόδου του gradient, σε σύγκριση με την είσοδο. Η διαφορά μεταξύ των χαρακτηριστικών της είσοδου και του δημιουργημένου μοντέλου ελέγχεται συνεχώς και γίνονται điều chỉnhσεις στο μοντέλο μέχρι το μοντέλο του παιχνιδιού να ευθυγραμμιστεί με τα χαρακτηριστικά της είσοδου.

Μετά την εκπαίδευση του μοντέλου μίμησης, το σύστημα μετάφρασης παραμέτρων ελέγχει τις εξόδους του μοντέλου μίμησης έναντι των χαρακτηριστικών της είσοδου εικόνας, αποφασίζοντας για ένα χώρο χαρακτηριστικών που επιτρέπει τον υπολογισμό των βέλτιστων παραμέτρων προσώπου.

Η μεγαλύτερη πρόκληση ήταν να διασφαλιστεί ότι τα 3D μοντέλα χαρακτήρων θα μπορούσαν να διατηρήσουν λεπτομέρειες και εμφάνιση με βάση φωτογραφίες ανθρώπων. Αυτό είναι ένα πρόβλημα διασταύρωσης, όπου 3D γεννημένα εικόνες και 2D εικόνες πραγματικών ανθρώπων πρέπει να συγκριθούν και τα βασικά χαρακτηριστικά και των δύο πρέπει να είναι τα ίδια.

Οι ερευνητές λύσαν αυτό το πρόβλημα με δύο διαφορετικές τεχνικές. Η πρώτη τεχνική ήταν να χωρίσουν την εκπαίδευση του μοντέλου τους σε δύο διαφορετικές εργασίες μάθησης: μια εργασία περιεχομένου προσώπου και μια εργασία διακριτικής. Η γενική μορφή και δομή του προσώπου ενός ανθρώπου διακρίνονται με την ελαχιστοποίηση της διαφοράς/απώλειας μεταξύ δύο συνολικών τιμών εμφάνισης, ενώ διακριτικά/λεπτά χαρακτηριστικά συμπληρώνονται με την ελαχιστοποίηση της απώλειας μεταξύ πραγμάτων όπως σκιές σε μια μικρή περιοχή. Οι δύο διαφορετικές εργασίες μάθησης συνδυάζονται για να επιτύχουν μια πλήρη αναπαράσταση.

Η δεύτερη τεχνική που χρησιμοποιήθηκε για τη δημιουργία 3D μοντέλων ήταν ένα σύστημα κατασκευής προσώπου 3D που χρησιμοποιεί μια προσομοιωμένη σκελετική δομή, λαμβάνοντας υπόψη το σχήμα των οστών. Αυτό επέτρεψε στους ερευνητές να δημιουργήσουν πολύ πιο σύνθετα και ακριβή 3D εικόνες σε σύγκριση με άλλα συστήματα μοντελοποίησης 3D που βασίζονται σε πλέγματα ή πλέγματα προσώπου.

Η δημιουργία ενός συστήματος που μπορεί να δημιουργήσει ρεαλιστικά 3D μοντέλα με βάση 2D εικόνες είναι εντυπωσιακή από μόνη της, αλλά το αυτόματο σύστημα δημιουργίας δεν λειτουργεί μόνο σε 2D φωτογραφίες. Το σύστημα μπορεί επίσης να πάρει σкетχές και καρικατούρες προσώπων και να τις αναπαραστήσει ως 3D μοντέλα με εντυπωσιακή ακρίβεια. Η ερευνητική ομάδα υποψιάζεται ότι το σύστημα είναι σε θέση να δημιουργήσει ακριβή μοντέλα με βάση 2D χαρακτήρες επειδή το σύστημα αναλύει τη σημασιολογία του προσώπου αντί να ερμηνεύει τις ακατέργαστες τιμές pixel.

Ενώ το αυτόματο εργαλείο δημιουργίας χαρακτήρων μπορεί να χρησιμοποιηθεί για τη δημιουργία χαρακτήρων με βάση φωτογραφίες, οι ερευνητές λένε ότι οι χρήστες πρέπει επίσης να能够 να το χρησιμοποιήσουν ως συμπληρωματική τεχνική και να επεξεργαστούν τον δημιουργημένο χαρακτήρα σύμφωνα με τις προτιμήσεις τους.