Η γωνία του Anderson

Αναδιαμόρφωση Τυπολογιών Ανθρώπινου Σώματος με τη Βοήθεια του AI

Martin Anderson
Προσθέστε το Unite.AI στις προτιμώμενες πηγές σας στο Google
Βασικά σημείαΤο NeuralReshaper χρησιμοποιεί παραμετρικά μοντέλα SMPL για να επιτρέπει λεπτομερή…
Δείτε περισσότερα
  • Το NeuralReshaper χρησιμοποιεί παραμετρικά μοντέλα SMPL για να επιτρέπει λεπτομερή έλεγχο του βάρους, του ύψους και των αναλογιών του σώματος.
  • Η δίδυμη αρχιτεκτονική κωδικοποιητή χειρίζεται ξεχωριστά την αναμόρφωση του σώματος στο προσκήνιο και την επεξεργασία του φόντου για ρεαλιστικά αποτελέσματα.
  • Οι μέθοδοι CGI που βασίζονται στο SMPL παραμένουν απαραίτητες, επειδή τα GANs και τα NeRFs δεν μπορούν ακόμη να επεξεργαστούν αξιόπιστα τις παραμέτρους σχήματος του σώματος.

Μια νέα ερευνητική συνεργασία από την Κίνα προσφέρει μια καινοτόμο μέθοδο για αναδιαμόρφωση του ανθρώπινου σώματος σε εικόνες, χρησιμοποιώντας ένα συντονισμένο ζεύγος νευρωνικών κωδικοποιητών, που καθοδηγείται από ένα παραμετρικό μοντέλο, το οποίο επιτρέπει στον τελικό χρήστη να ρυθμίζει το βάρος, το ύψος και την αναλογία του σώματος σε μια διαδραστική διεπαφή.

Παραμετρική αναδιαμόρφωση του σώματος, με συρόμενα ρυθμιστικά που αλλάζουν τις τρεις διαθέσιμες λειτουργίες. Πηγή: https://arxiv.org/pdf/2203.10496.pdf

Παραμετρική αναδιαμόρφωση του σώματος, με συρόμενα ρυθμιστικά που αλλάζουν τις τρεις διαθέσιμες λειτουργίες. Πηγή: https://arxiv.org/pdf/2203.10496.pdf

Το έργο προσφέρει πολλές βελτιώσεις σε σχέση με ένα πρόσφατο παρόμοιο έργο από την Alibaba, καθώς μπορεί να αλλάξει πειστικά το ύψος και την αναλογία του σώματος, καθώς και το βάρος, και έχει ένα αφοσιωμένο νευρικό δίκτυο για την ‘επανασύνθεση’ του (μη υπαρκτού) φόντου που μπορεί να αποκαλυφθεί από πιο λεπτά σώματα. Επίσης, βελτιώνει μια πρότερη παραμετρική μέθοδο για αναδιαμόρφωση του σώματος, αφαιρώντας την ανάγκη για εκτεταμένη ανθρώπινη παρέμβαση κατά τη διαμόρφωση της μεταμόρφωσης.

Ονομάζεται NeuralReshaper, η νέα αρχιτεκτονική προσαρμόζει ένα παραμετρικό τρισδιάστατο μοντέλο ανθρώπινου σώματος σε μια πηγή εικόνας, και στη συνέχεια χρησιμοποιεί παραμορφώσεις στο μοντέλο για να προσαρμόσει την αρχική εικόνα στα νέα παραμέτρα.

Το σύστημα μπορεί να χειριστεί μεταμορφώσεις του σώματος σε σώματα πλήρως ντυμένα ή μερικώς ντυμένα (π.χ. με μαγιό).

Μεταμορφώσεις αυτού του τύπου παρουσιάζουν σήμερα μεγάλο ενδιαφέρον για τον τομέα της μόδας AI, ο οποίος έχει παράγει μια σειρά από StyleGAN/CycleGAN-βασισμένα και γενικά νευρικά δίκτυα για εικονικές δοκιμές που μπορούν να προσαρμόσουν τα διαθέσιμα ενδύματα στο σώμα και τον τύπο του χρήστη, ή να βοηθήσουν με την οπτική συμμόρφωση.

Το έγγραφο ονομάζεται Single-image Human-body Reshaping with Deep Neural Networks, και προέρχεται από ερευνητές στο Πανεπιστήμιο Zhejiang στην Hangzhou, και την Σχολή Δημιουργικής Μέσων στο Πανεπιστήμιο City του Hong Kong.

Προσαρμογή SMPL

Ο NeuralReshaper χρησιμοποιεί το Skinned Multi-Person Linear Model (SMPL) αναπτύχθηκε από το Ινστιτούτο Max Planck για τα Ευφυή Συστήματα και το διάσημο σπίτι VFX Industrial Light and Magic το 2015.

Παραμετρικοί άνθρωποι SMPL από τη συνεργασία Planck/ILM του 2015. Πηγή: https://files.is.tue.mpg.de/black/papers/SMPL2015.pdf

Παραμετρικοί άνθρωποι SMPL από τη συνεργασία Planck/ILM του 2015. Πηγή: https://files.is.tue.mpg.de/black/papers/SMPL2015.pdf

Στο πρώτο στάδιο της διαδικασίας, ένα μοντέλο SMPL δημιουργείται από μια πηγή εικόνας στην οποία επιθυμούνται μεταμορφώσεις του σώματος. Η προσαρμογή του μοντέλου SMPL στην εικόνα ακολουθεί τη μεθοδολογία της μεθόδου Human Mesh Recovery (HMR) που προτάθηκε από πανεπιστήμια στη Γερμανία και τις ΗΠΑ το 2018.

Οι τρεις παράμετροι για παραμόρφωση (βάρος, ύψος, αναλογία σώματος) υπολογίζονται σε αυτό το στάδιο, μαζί με μια σκέψη των παραμέτρων της κάμερας, όπως η εστιακή απόσταση. 2D σημεία και δημιουργημένη σιλουέτα συναρμογή παρέχουν την περικύκλωση για την παραμόρφωση με τη μορφή μιας 2D σιλουέτας, ένα πρόσθετο μέτρο βελτίωσης που αυξάνει την ακρίβεια του ορίου και επιτρέπει μια αυθεντική επανασύνθεση του φόντου.

Στάδια προσαρμογής SMPL: αριστερά, η πηγή εικόνας; δεύτερη από αριστερά, το αποτέλεσμα βελτίωσης που λαμβάνεται από τη μέθοδο που περιγράφεται στην έρευνα του 2016 με επικεφαλής το Ινστιτούτο Max Planck για τα Ευφυή Συστήματα; τρίτη από αριστερά, ένα άμεσο αποτέλεσμα από το προ-εκπαιδευμένο μοντέλο για την ανάκτηση της μορφής και της στάσης του ανθρώπινου σώματος; δεύτερη από δεξιά, τα αποτελέσματα που λαμβάνονται μετά την βελτίωση των 2D σημείων; και τέλος, δεξιά, η ολοκληρωμένη προσαρμογή μετά την βελτίωση της σιλουέτας (βλέπε παραπάνω).

Στάδια προσαρμογής SMPL: αριστερά η αρχική εικόνα· δεύτερο το αποτέλεσμα βελτιστοποίησης σύμφωνα με την έρευνα του 2016 με επικεφαλής το Ινστιτούτο Max Planck· τρίτο το άμεσο αποτέλεσμα συμπερασμού από το προεκπαιδευμένο μοντέλο End-to-end Recovery of Human Shape and Pose· τέταρτο το αποτέλεσμα βελτιστοποίησης των βασικών σημείων 2D· πέμπτο η τελική προσαρμογή μετά τη βελτιστοποίηση της σιλουέτας (βλέπε παραπάνω).

Η 3D παραμόρφωση προβάλλεται στη συνέχεια στο χώρο της εικόνας για να διευκολύνει ένα πυκνό πεδίο παραμόρφωσης που θα ορίσει την παραμόρφωση. Αυτή η διαδικασία διαρκεί περίπου 30 δευτερόλεπτα ανά εικόνα.

Αρχιτεκτονική NeuralReshaper

Ο NeuralReshaper εκτελεί δύο νευρικά δίκτυα παράλληλα: έναν κωδικοποιητή προσκηνίου που δημιουργεί το μεταμορφωμένο σώμα, και έναν κωδικοποιητή φόντου που επικεντρώνεται στην επανασύνθεση των (μη υπαρχόντων) περιοχών του φόντου (στην περίπτωση, για παράδειγμα, της λεπτότερης σώματος – βλέπε εικόνα παρακάτω).

Το U-net-στυλ πλαίσιο ενσωματώνει την έξοδο από τα χαρακτηριστικά των δύο κωδικοποιητών πριν από το να περάσει το αποτέλεσμα σε έναν κοινό αποκωδικοποιητή που τελικά παράγει μια νέα εικόνα από τις δύο εισόδους. Η αρχιτεκτονική διαθέτει έναν καινοτόμο μηχανισμό καθοδηγούμενο από την παραμόρφωση που επιτρέπει την ενσωμάτωση.

Εκπαίδευση και Πειράματα

Ο NeuralReshaper υλοποιείται στο PyTorch σε ένα μόνο NVIDIA (NVDA ) 1080ti GPU με 11gb της VRAM. Το δίκτυο εκπαιδεύτηκε για 100 εποχές υπό τον βελτιστοποιητή Adam, με ρυθμό μάθησης 0,0001 για τη γεννήτρια και 0,0004 για τον διαχωριστή. Η εκπαίδευση πραγματοποιήθηκε σε μια παρτίδα μεγέθους 8 για ένα ιδιωτικό εξωτερικό σύνολο δεδομένων (που προέρχεται από COCO, MPII, και LSP), και 2 για την εκπαίδευση στο DeepFashion σύνολο δεδομένων.

Αριστερά, οι αρχικές εικόνες, δεξιά, η αναδιαμορφωμένη έξοδος του NeuralReshaper.

Αριστερά, οι αρχικές εικόνες, δεξιά, η αναδιαμορφωμένη έξοδος του NeuralReshaper.

Παρακάτω είναι κάποια παραδείγματα αποκλειστικά από το DeepFashion σύνολο δεδομένων όπως εκπαιδεύτηκε για τον NeuralReshaper, με τις αρχικές εικόνες πάντα αριστερά.

Οι τρεις ελεγχόμενες ιδιότητες είναι αποσυνδεμένες και μπορούν να εφαρμοστούν ξεχωριστά.

Μεταμορφώσεις στο παραγόμενο εξωτερικό σύνολο δεδομένων είναι πιο απαιτητικές, καθώς συχνά απαιτούν την επανασύνθεση σύνθετων φόντων και σαφή και πειστική περιγραφή των μεταμορφωμένων τυπολογιών του σώματος:

Παραμετρική Ανάγκη

Όπως παρατηρεί το έγγραφο, οι μεταμορφώσεις της ίδιας εικόνας αντιπροσωπεύουν ένα μη καλώς ορισμένο πρόβλημα στη σύνθεση εικόνας. Πολλά μεταμορφωτικά GAN και κωδικοποιητικά πλαίσια μπορούν να χρησιμοποιήσουν ζευγαρωμένες εικόνες (όπως τα διάφορα έργα που σχεδιάστηκαν για να επηρεάσουν σχεδίαση>φωτογραφία και φωτογραφία>σχεδίαση μεταμορφώσεις).

Ωστόσο, στην περίπτωση αυτή, αυτό θα απαιτούσε ζευγαρωμένες εικόνες με τους ίδιους ανθρώπους σε διαφορετικές φυσικές διαμορφώσεις, όπως οι ‘πριν και μετά’ εικόνες στις διατροφικές ή χειρουργικές διαφημίσεις – δεδομένα που είναι δύσκολο να αποκτήσουν ή να δημιουργηθούν.

Εναλλακτικά, μεταμορφωτικά GAN δίκτυα μπορούν να εκπαιδευτούν σε πολύ πιο ποικίλα δεδομένα και να επηρεάσουν μεταμορφώσεις αναζητώντας την κατεύθυνση στον λανθάνοντα χώρο μεταξύ της πηγαίας (αρχικής εικόνας κωδικού) και της επιθυμητής κατηγορίας (σε αυτή την περίπτωση ‘παχύ’, ‘λεπτό’, ‘ψηλό’, κ.λπ.). Ωστόσο, αυτή η προσέγγιση είναι ακόμη πολύ περιορισμένη για τους σκοπούς της λεπτομερούς αναδιαμόρφωσης του σώματος.

Προσέγγιση Neural Radiance Fields (NeRF) είναι πολύ πιο προηγμένες σε προσομοίωση ολόκληρου του σώματος από τα περισσότερα GAN-βασισμένα συστήματα, αλλά παραμένουν συγκεκριμένα για την σκηνή και πόρους-εντατική, με τώρα πολύ περιορισμένη ικανότητα να επεξεργαστούν τύπους σώματος με τον τρόπο που ο NeuralReshaper και προηγούμενα έργα προσπαθούν να αντιμετωπίσουν (εκτός από κλιμάκωση του ολόκληρου σώματος σχετικά με το περιβάλλον).

Ο χώρος του GAN είναι δύσκολο να κυβερνήσει; VAEs μόνο δεν αντιμετωπίζουν ακόμη τις πολυπλοκότητες της πλήρους αναπαραγωγής του σώματος; και η ικανότητα του NeRF να αναμορφώσει συνεχώς και πραγματικά το ανθρώπινο σώμα είναι ακόμη σε πρώιμο στάδιο. Επομένως, η ενσωμάτωση ‘παραδοσιακών’ μεθοδολογιών CGI όπως το SMPL φαίνεται να συνεχίζει στον τομέα της σύνθεσης εικόνας ανθρώπινου σώματος, ως μέθοδος για να συλλέξει και να συντηρήσει χαρακτηριστικά, κατηγορίες και κωδικούς που οι παράμετροι και η εκμετάλλευση δεν είναι ακόμη πλήρως κατανοητές σε αυτές τις αναδυόμενες τεχνολογίες.

 

Πρώτη δημοσίευση 31ης Μαρτίου 2022.

Συγγραφέας στον τομέα της μηχανικής μάθησης, ειδικός σε συνθετικές ανθρώπινες εικόνες. Πρώην επικεφαλής του τμήματος περιεχομένου έρευνας στην Metaphysic.ai, μέχρι τη διάλυσή της στην Brahma.ai της DNEG.
Ιστοσελίδα: martinanderson.ai
Επικοινωνία: martin@martinanderson.ai