Ερευνητές του AI Δημιουργούν 3D Μοντέλα Προσώπου για Βιντεοπαιχνίδια από Φωτογραφίες Χρηστών

Eine ομάδα ερευνητών στη NetEase, μια κινεζική εταιρεία παιχνιδιών, έχει δημιουργήσει ένα σύστημα που μπορεί να εξαγάγει αυτόματα τα πρόσωπα από φωτογραφίες και να δημιουργήσει μοντέλα εντός του παιχνιδιού με τα δεδομένα της εικόνας. Τα αποτελέσματα της εργασίας, με τίτλο Face-to-Parameter Translation for Game Character Auto-Creation, συνοψίστηκαν από το Synced στο Medium.

Όλο και περισσότεροι dévelopπεurs παιχνιδιών επιλέγουν να χρησιμοποιήσουν το AI για να αυτοματοποιήσουν χρονοβόρες εργασίες. Για παράδειγμα, οι dévelopπεurs παιχνιδιών έχουν χρησιμοποιήσει αλγόριθμους AI για να βοηθήσουν την απόδοση των κινήσεων των χαρακτήρων και των αντικειμένων. Μια άλλη πρόσφατη χρήση του AI από τους développeurs παιχνιδιών είναι η δημιουργία πιο ισχυρών εργαλείων προσαρμογής χαρακτήρων.

Η προσαρμογή χαρακτήρων είναι ένα πολύ αγαπητό χαρακτηριστικό των βιντεοπαιχνιδιών ρόλων, που επιτρέπει στους παίκτες να προσαρμόσουν τους авatars τους με πολλούς διαφορετικούς τρόπους. Πολλοί παίκτες επιλέγουν να κάνουν τους авatars τους να μοιάζουν με τον εαυτό τους, το οποίο γίνεται πιο εφικτό καθώς η σοφιστικέ του συστήματος προσαρμογής χαρακτήρων αυξάνεται. Ωστόσο, καθώς αυτά τα εργαλεία δημιουργίας χαρακτήρων γίνονται πιο σοφιστικέ, γίνονται επίσης πολύ πιο σύνθετα. Η δημιουργία ενός χαρακτήρα που να μοιάζει με τον εαυτό σας μπορεί να πάρει ώρες από調整 των sliders και την αλλαγή κρυφών παραμέτρων. Η ομάδα ερευνών της NetEase στοχεύει να αλλάξει όλα αυτά δημιουργώντας ένα σύστημα που αναλύει μια φωτογραφία του παίκτη και δημιουργεί ένα μοντέλο του προσώπου του παίκτη στο χαρακτήρα του παιχνιδιού.

Το αυτόματο εργαλείο δημιουργίας χαρακτήρων αποτελείται από δύο μέρη: ένα σύστημα μίμησης μάθησης και ένα σύστημα μετάφρασης παραμέτρων. Το σύστημα μετάφρασης παραμέτρων εξάγει χαρακτηριστικά από την είσοδο εικόνας και δημιουργεί παραμέτρους για το σύστημα μάθησης να χρησιμοποιήσει. Αυτές οι παραμέτρους χρησιμοποιούνται από το μοντέλο μίμησης μάθησης για να δημιουργήσουν και να βελτιώσουν την αναπαράσταση του εισαγόμενου προσώπου.

Το σύστημα μίμησης μάθησης έχει μια αρχιτεκτονική που μιμείται τον τρόπο με τον οποίο ο μηχανισμός παιχνιδιού δημιουργεί μοντέλα χαρακτήρων με ένα σταθερό στυλ. Το μοντέλο μίμησης σχεδιάστηκε για να εξαγάγει την αλήθεια του προσώπου, λαμβάνοντας υπόψη σύνθετες μεταβλητές όπως γένια, μπούκλες, φρύδια και στυλ μαλλιών. Οι παραμέτρους του προσώπου ενημερώνονται μέσω της διαδικασίας της καθόδου του gradient, σε σύγκριση με την είσοδο. Η διαφορά μεταξύ των χαρακτηριστικών εισόδου και του γεννημένου μοντέλου ελέγχεται συνεχώς και γίνονται ρυθμίσεις στο μοντέλο μέχρι το μοντέλο του παιχνιδιού να ευθυγραμμιστεί με τα χαρακτηριστικά εισόδου.

Μετά την εκπαίδευση του μοντέλου μίμησης, το σύστημα μετάφρασης παραμέτρων ελέγχει τις εξόδους του μοντέλου μίμησης έναντι των χαρακτηριστικών της εικόνας εισόδου, αποφασίζοντας για einen χώρο χαρακτηριστικών που επιτρέπει τον υπολογισμό των βέλτιστων παραμέτρων προσώπου.

Η μεγαλύτερη πρόκληση ήταν η διαβεβαίωση ότι τα 3D μοντέλα χαρακτήρων θα μπορούσαν να διατηρήσουν λεπτομέρειες και εμφανίσεις με βάση φωτογραφίες ανθρώπων. Αυτό είναι ένα πρόβλημα διασταύρωσης, όπου 3D γεννημένες εικόνες και 2D εικόνες πραγματικών ανθρώπων πρέπει να συγκριθούν και τα βασικά χαρακτηριστικά και των δύο πρέπει να είναι τα ίδια.

Οι ερευνητές λύσαν αυτό το πρόβλημα με δύο διαφορετικές τεχνικές. Η πρώτη τεχνική ήταν να χωρίσουν την εκπαίδευση του μοντέλου τους σε δύο διαφορετικές εργασίες μάθησης: μια εργασία περιεχομένου προσώπου και μια εργασία διακριτικής. Η γενική μορφή και δομή του προσώπου ενός ανθρώπου διακρίνονται με την ελαχιστοποίηση της διαφοράς/απώλειας μεταξύ δύο παγκόσμιων τιμών εμφάνισης, ενώ διακριτικά/λεπτά χαρακτηριστικά συμπληρώνονται με την ελαχιστοποίηση της απώλειας μεταξύ πραγμάτων όπως σκιές σε μια μικρή περιοχή. Οι δύο διαφορετικές εργασίες μάθησης συγχωνεύονται για να επιτύχουν μια πλήρη αναπαράσταση.

Η δεύτερη τεχνική που χρησιμοποιήθηκε για τη δημιουργία 3D μοντέλων ήταν ένα σύστημα κατασκευής προσώπου 3D που χρησιμοποιεί μια προσομοιωμένη σκελετική δομή, λαμβάνοντας υπόψη το σχήμα των οστών. Αυτό επέτρεψε στους ερευνητές να δημιουργήσουν πολύ πιο σοφιστικέ και ακριβή 3D εικόνες σε σύγκριση με άλλα συστήματα μοντελοποίησης 3D που βασίζονται σε πλέγματα ή δίχτυα προσώπου.

Η δημιουργία ενός συστήματος που μπορεί να δημιουργήσει ρεαλιστικά 3D μοντέλα με βάση 2D εικόνες είναι εντυπωσιακό από μόνο του, αλλά το αυτόματο σύστημα γεννήτριας δεν λειτουργεί μόνο σε 2D φωτογραφίες. Το σύστημα μπορεί επίσης να πάρει σкетχές και καρικατούρες προσώπων και να τις αποδώσει ως 3D μοντέλα με εντυπωσιακή ακρίβεια. Η ερευνητική ομάδα υποψιάζεται ότι το σύστημα μπορεί να δημιουργήσει ακριβή μοντέλα με βάση 2D χαρακτήρες επειδή το σύστημα αναλύει την σεμασιολογία του προσώπου αντί να ερμηνεύει τις сыρες τιμές pixel.

Ενώ το αυτόματο εργαλείο δημιουργίας χαρακτήρων μπορεί να χρησιμοποιηθεί για τη δημιουργία χαρακτήρων με βάση φωτογραφίες, οι ερευνητές λένε ότι οι χρήστες πρέπει επίσης να能够 να το χρησιμοποιήσουν ως μια συμπληρωματική τεχνική και να επεξεργαστούν το γεννημένο χαρακτήρα σύμφωνα με τις προτιμήσεις τους.