Η υπολογιστική όραση είναι ένα από τα πιο συζητημένα πεδία της βιομηχανίας του AI, χάρη στις πολλές πιθανές εφαρμογές σε πραγματικές εργασίες. Τα τελευταία χρόνια, τα πλαίσια υπολογιστικής όρασης έχουν προοδεύσει ταχύτατα, με τα σύγχρονα μοντέλα να είναι ικανά να αναλύουν χαρακτηριστικά προσώπου, αντικείμενα και πολλά άλλα σε πραγματικές συνθήκες. Παρόλο που αυτά τα μοντέλα έχουν πολλές ικανότητες, η μεταφορά ανθρώπινης κίνησης παραμένει ένα σημαντικό πρόβλημα για τα μοντέλα υπολογιστικής όρασης. Αυτή η εργασία περιλαμβάνει την ανακατεύθυνση κινήσεων και εκφράσεων προσώπου από μια εικόνα ή ένα βίντεο πηγής σε μια εικόνα ή ένα βίντεο στόχο. Η μεταφορά ανθρώπινης κίνησης χρησιμοποιείται ευρέως σε μοντέλα υπολογιστικής όρασης για το στυλ εικόνων ή βίντεο, την επεξεργασία πολυμεσικού περιεχομένου, τη σύνθεση ψηφιακών ανθρώπων και ακόμη και την παραγωγή δεδομένων για πλαίσια αντίληψης.

Σε αυτό το άρθρο, εστιάζουμε στο MagicDance, ένα μοντέλο που βασίζεται στη διάχυση και σχεδιάστηκε για να φέρει επανάσταση στη μεταφορά ανθρώπινης κίνησης. Το πλαίσιο MagicDance έχει ως στόχο να μεταφέρει εκφράσεις και κινήσεις προσώπου σε βίντεο χορού, με στόχο να παράγει νέες ακολουθίες κίνησης για συγκεκριμένες ταυτότητες στόχου, διατηρώντας την αρχική ταυτότητα. Το πλαίσιο MagicDance χρησιμοποιεί μια στρατηγική εκπαίδευσης δύο σταδίων, επικεντρωμένη στην αποσύνδεση ανθρώπινης κίνησης και εμφάνισης, όπως το χρώμα δέρματος, οι εκφράσεις προσώπου και τα ρούχα. Θα διερευνήσουμε το πλαίσιο MagicDance, εξετάζοντας την αρχιτεκτονική, τη λειτουργικότητα και την απόδοση σε σύγκριση με άλλα μοντέλα μεταφοράς ανθρώπινης κίνησης. Ας το ερευνήσουμε.

MagicDance: Ρεαλιστική Μεταφορά Ανθρώπινης Κίνησης

Όπως αναφέρθηκε νωρίτερα, η μεταφορά ανθρώπινης κίνησης είναι μια από τις πιο σύνθετες εργασίες υπολογιστικής όρασης, λόγω της πολυπλοκότητας που εμπλέκεται στη μεταφορά κινήσεων και εκφράσεων από μια εικόνα ή ένα βίντεο πηγής σε μια εικόνα ή ένα βίντεο στόχο. Παραδοσιακά, τα μοντέλα υπολογιστικής όρασης έχουν επιτύχει τη μεταφορά ανθρώπινης κίνησης με την εκπαίδευση ενός παραγωγικού μοντέλου, συμπεριλαμβανομένων GAN ή Παραγωγικών Ανταγωνιστικών Δικτύων σε συνόλους δεδομένων για εκφράσεις προσώπου και σώματος. Αν και η εκπαίδευση και η χρήση παραγωγικών μοντέλων παρέχουν ικανοποιητικά αποτελέσματα σε ορισμένες περιπτώσεις, συνήθως υποφέρουν από δύο σημαντικούς περιορισμούς.

1. Εξαρτώνται έντονα από ένα στοιχείο παραμόρφωσης εικόνας, ως αποτέλεσμα του οποίου συχνά δυσκολεύονται να παρεμβάλουν μέρη του σώματος που δεν είναι ορατά στην πηγή εικόνας, είτε λόγω αλλαγής προοπτικής είτε λόγω αυτοαπόκρυψης.
2. Δεν μπορούν να γενικεύσουν σε άλλες εικόνες που προέρχονται εξωτερικά, το οποίο περιορίζει τις εφαρμογές τους, ιδιαίτερα σε πραγματικές συνθήκες.

Τα σύγχρονα μοντέλα διάχυσης έχουν επιδείξει εξαιρετικές ικανότητες παραγωγής εικόνων σε διάφορες συνθήκες, και τα μοντέλα διάχυσης είναι τώρα ικανά να παρουσιάζουν ισχυρά οπτικά σε μια σειρά από εργασίες, όπως η παραγωγή βίντεο και η συμπλήρωση εικόνων, μαθαίνοντας από συνόλους δεδομένων εικόνων σε κλίμακα web. Λόγω των ικανοτήτων τους, τα μοντέλα διάχυσης μπορεί να είναι η ιδανική επιλογή για εργασίες μεταφοράς ανθρώπινης κίνησης. Αν και τα μοντέλα διάχυσης μπορούν να εφαρμοστούν για τη μεταφορά ανθρώπινης κίνησης, έχουν ορισμένους περιορισμούς, είτε όσον αφορά την ποιότητα του παραγόμενου περιεχομένου, είτε όσον αφορά τη διατήρηση της ταυτότητας ή την εμφάνιση χρονικών ασυνεπειών ως αποτέλεσμα του σχεδιασμού του μοντέλου και της στρατηγικής εκπαίδευσης. Επιπλέον, τα μοντέλα διάχυσης δεν παρουσιάζουν σημαντικό πλεονέκτημα σε σχέση με τα πλαίσια GAN όσον αφορά τη γενικευσιμότητα.

Για να υπερβούν τα εμπόδια που αντιμετωπίζουν τα μοντέλα διάχυσης και GAN στις εργασίες μεταφοράς ανθρώπινης κίνησης, οι προγραμματιστές έχουν εισαγάγει το MagicDance, ένα καινούριο πλαίσιο που στοχεύει να εκμεταλλευτεί το δυναμικό των μοντέλων διάχυσης για τη μεταφορά ανθρώπινης κίνησης, επιδεικνύοντας ένα πρωτοφανές επίπεδο διατήρησης ταυτότητας, υπεροχή οπτικής ποιότητας και γενικευσιμότητας. Στο κέντρο του, η θεμελιώδης σχεδιαστική ιδέα του πλαισίου MagicDance είναι να διασπάσει το πρόβλημα σε δύο στάδια: έλεγχο εμφάνισης και έλεγχο κίνησης, δύο ικανότητες που απαιτούνται από τα μοντέλα διάχυσης για να παραγάγουν ακριβή αποτελέσματα μεταφοράς κίνησης.

Η παραπάνω εικόνα δίνει μια σύντομη επισκόπηση του πλαισίου MagicDance, και όπως είναι ορατό, το πλαίσιο χρησιμοποιεί το μοντέλο Stable Diffusion και επίσης αναπτύσσει δύο επιπλέον συνιστώσες: Appearance Control Model και Pose ControlNet, όπου το πρώτο παρέχει καθοδήγηση εμφάνισης στο μοντέλο SD από μια αναφορά εικόνας μέσω προσοχής, ενώ το δεύτερο παρέχει καθοδήγηση έκφρασης/στάσης στο μοντέλο διάχυσης από μια συνθηκική εικόνα ή βίντεο. Το πλαίσιο επίσης χρησιμοποιεί μια στρατηγική εκπαίδευσης πολλαπλών σταδίων για να μάθει αυτά τα υπο-μοντέλα αποτελεσματικά, ώστε να αποσυνδέσει τον έλεγχο στάσης και την εμφάνιση.

Συνοπτικά, το πλαίσιο MagicDance είναι ένα

1. Νέο και αποτελεσματικό πλαίσιο που αποτελείται από αποσυνδεμένο έλεγχο στάσης και προ-εκπαίδευση εμφάνισης.
2. Το πλαίσιο MagicDance είναι ικανό να παράγει ρεαλιστικές ανθρώπινες εκφράσεις και κινήσεις υπό τον έλεγχο των συνθηκών στάσης και αναφορά εικόνας ή βίντεο.
3. Το πλαίσιο MagicDance στοχεύει να παράγει περιεχόμενο ανθρώπινης εμφάνισης που είναι συνεπές, εισάγοντας μια μονάδα προσοχής πολλαπλών πηγών που παρέχει ακριβή καθοδήγηση για το πλαίσιο Stable Diffusion UNet.
4. Το πλαίσιο MagicDance μπορεί επίσης να χρησιμοποιηθεί ως μια βολική επέκταση ή προσθήκη για το πλαίσιο Stable Diffusion, και επίσης διασφαλίζει τη συμβατότητα με τα υπάρχοντα βάρη μοντέλων, καθώς δεν απαιτεί πρόσθετη εκπαίδευση των παραμέτρων.

Επιπλέον, το πλαίσιο MagicDance παρουσιάζει εξαιρετικές ικανότητες γενικευσιμότητας τόσο για την εμφάνιση όσο και για την κίνηση.

1. Γενικευσιμότητα Εμφάνισης: Το πλαίσιο MagicDance παρουσιάζει ανώτερες ικανότητες όταν πρόκειται για την παραγωγή ποικίλων εμφανίσεων.
2. Γενικευσιμότητα Κίνησης: Το πλαίσιο MagicDance έχει επίσης την ικανότητα να παράγει μια ευρεία ποικιλία κινήσεων.

MagicDance: Στόχοι και Αρχιτεκτονική

Για μια δεδομένη αναφορά εικόνας, είτε πραγματικού ανθρώπου είτε στιλισμένης εικόνας, ο πρωταρχικός στόχος του πλαισίου MagicDance είναι να παράγει μια έξοδο εικόνας ή βίντεο που καθοδηγείται από την είσοδο και τις συνθήκες στάσης {P, F}, όπου P αντιπροσωπεύει το σκελετό ανθρώπινης στάσης και F αντιπροσωπεύει τα χαρακτηριστικά προσώπου. Η παραγόμενη έξοδος εικόνας ή βίντεο πρέπει να διατηρήσει την εμφάνιση και την ταυτότητα των ανθρώπων που εμπλέκονται, μαζί με το περιεχόμενο του φόντου που υπάρχει στην αναφορά εικόνας, ενώ διατηρεί τη στάση και τις εκφράσεις που ορίζονται από τις συνθήκες στάσης.

Αρχιτεκτονική

Κατά τη διάρκεια της εκπαίδευσης, το πλαίσιο MagicDance εκπαιδεύεται ως μια εργασία ανακατασκευής καρέ για να αναπαραγάγει το καρέ αναφοράς (ground truth) με την αναφορά εικόνας και την είσοδο στάσης που προέρχεται από το ίδιο βίντεο αναφοράς. Κατά τη διάρκεια του τεστ για να επιτύχουν τη μεταφορά κίνησης, η είσοδος στάσης και η εικόνα αναφοράς προέρχονται από διαφορετικές πηγές.

Η συνολική αρχιτεκτονική του πλαισίου MagicDance μπορεί να χωριστεί σε τέσσερις κατηγορίες: Προκαταρκτικό στάδιο, Προ-εκπαίδευση Ελέγχου Εμφάνισης, Αποσυνδεμένος Έλεγχος Στάσης και Μοντέλο Κίνησης.

Προκαταρκτικό Στάδιο

Τα μοντέλα διάχυσης στον λανθάνοντα χώρο ή LDM αντιπροσωπεύουν μοναδικά σχεδιασμένα μοντέλα διάχυσης για να λειτουργήσουν στον λανθάνοντα χώρο που διευκολύνεται από τη χρήση ενός autoencoder, και το πλαίσιο Stable Diffusion είναι ένα αξιοσημείωτο παράδειγμα LDM που χρησιμοποιεί έναν Vector Quantized-Variational AutoEncoder και αρχιτεκτονική U-Net. Το μοντέλο Stable Diffusion χρησιμοποιεί έναν μετασχηματιστή βασισμένο στο CLIP ως κωδικοποιητή κειμένου για να επεξεργαστεί κειμενικές εισόδους, μετατρέποντας κειμενικές εισόδους σε ενσωματώσεις. Η φάση εκπαίδευσης του πλαισίου Stable Diffusion εκθέτει το μοντέλο σε μια συνθήκη κειμένου και μια είσοδο εικόνας, με τη διαδικασία που περιλαμβάνει την κωδικοποίηση της εικόνας σε μια λανθάνουσα αναπαράσταση, και την υποβάλλει σε μια προκαθορισμένη ακολουθία βημάτων διάχυσης που κατευθύνεται από μια μεθοδολογία Gaussian. Η προκύπτουσα ακολουθία παράγει μια θορυβώδη λανθάνουσα αναπαράσταση που παρέχει μια τυπική κανονική κατανομή, με το πρωταρχικό στόχο της εκπαίδευσης του πλαισίου Stable Diffusion να είναι η απο-θορύβωση των θορυβωδών λανθανουσών αναπαραστάσεων σε καθαρές λανθάνουσες αναπαραστάσεις.

Προ-εκπαίδευση Ελέγχου Εμφάνισης

Ένα σημαντικό πρόβλημα με το αρχικό πλαίσιο ControlNet είναι η αδυναμία του να ελέγξει την εμφάνιση μεταξύ των χωρικά μεταβαλλόμενων κινήσεων συνεχώς, αν και έχει την τάση να παράγει εικόνες με στάσεις που μοιάζουν με αυτές στην είσοδο εικόνας, με την συνολική εμφάνιση να επηρεάζεται κυρίως από κειμενικές εισόδους. Αν και αυτή η μέθοδος λειτουργεί, δεν είναι κατάλληλη για εργασίες μεταφοράς κίνησης που δεν είναι οι κειμενικές εισόδους αλλά η αναφορά εικόνας που υπηρετεί ως η πρωταρχική πηγή για πληροφορίες εμφάνισης.

Το υπο-μοντέλο Προ-εκπαίδευσης Ελέγχου Εμφάνισης στο πλαίσιο MagicDance σχεδιάστηκε ως ένα βοηθητικό κλάδο για να παρέχει καθοδήγηση για τον έλεγχο εμφάνισης με καθοδήγηση ανά επίπεδο. Αντί να βασίζεται σε κειμενικές εισόδους, το συνολικό υπο-μοντέλο επικεντρώνεται στο να εκμεταλλευτεί τις ιδιότητες εμφάνισης από την αναφορά εικόνας, με στόχο να ενισχύσει την ικανότητα του πλαισίου να παράγει τις ιδιότητες εμφάνισης ακριβώς, ιδιαίτερα σε σενάρια που εμπλέκουν σύνθετες δυναμικές κίνησης. Επιπλέον, είναι μόνο το υπο-μοντέλο Ελέγχου Εμφάνισης που είναι εκπαιδεύσιμο κατά τη διάρκεια της προ-εκπαίδευσης ελέγχου εμφάνισης.

Αποσυνδεμένος Έλεγχος Στάσης

Μια αφελής λύση για τον έλεγχο της στάσης στην έξοδο εικόνας είναι να ενσωματώσει το προ-εκπαιδευμένο μοντέλο ControlNet με το προ-εκπαιδευμένο υπο-μοντέλο Ελέγχου Εμφάνισης απευθείας χωρίς να το εξειδικεύσει. Ωστόσο, η ενσωμάτωση μπορεί να οδηγήσει το πλαίσιο να δυσκολεύεται με τον έλεγχο στάσης που είναι ανεξάρτητος από την εμφάνιση, το οποίο μπορεί να οδηγήσει σε μια διαφορά μεταξύ των εισόδων στάσης και των παραγόμενων στάσεων. Για να αντιμετωπίσουμε αυτή τη διαφορά, το πλαίσιο MagicDance εξειδικεύει το υπο-μοντέλο Pose ControlNet μαζί με το προ-εκπαιδευμένο υπο-μοντέλο Ελέγχου Εμφάνισης.

Μοντέλο Κίνησης

Όταν λειτουργούν μαζί, το υπο-μοντέλο Αποσυνδεμένου Έλεγχου Στάσης και το υπο-μοντέλο Ελέγχου Εμφάνισης μπορούν να επιτύχουν ακριβή και αποτελεσματική μεταφορά εικόνας σε κίνηση, αν και μπορεί να οδηγήσει σε χρονική ασυνέπεια. Για να διασφαλίσουν τη χρονική συνέπεια, το πλαίσιο ενσωματώνει ένα επιπλέον μοντέλο κίνησης στην αρχιτεκτονική του πλαισίου Stable Diffusion UNet.

MagicDance: Προεκπαίδευση και σύνολα δεδομένων

Για την προ-εκπαίδευση, το πλαίσιο MagicDance χρησιμοποιεί ένα σύνολο δεδομένων TikTok που αποτελείται από πάνω από 350 βίντεο χορού διαφορετικής διάρκειας μεταξύ 10 και 15 δευτερολέπτων, που απαθανάτιζαν ένα άτομο που χορεύει με την πλειονότητα αυτών των βίντεο να περιέχουν το πρόσωπο και το άνω μέρος του σώματος. Το πλαίσιο MagicDance εξάγει κάθε βίντεο σε 30 καρέ ανά δευτερόλεπτο και τρέχει το OpenPose σε κάθε καρέ για να ανακαλύψει το σκελετό στάσης, τις στάσεις χεριών και τα χαρακτηριστικά προσώπου.

Για την προ-εκπαίδευση, το υπο-μοντέλο ελέγχου εμφάνισης προ-εκπαιδεύεται με μια παρτίδα μεγέθους 64 σε 8 NVIDIA A100 GPUs για 10.000 βήματα με μέγεθος εικόνας 512 x 512, ακολουθούμενο από την κοινή εξειδίκευση του υπο-μοντέλου ελέγχου στάσης και του υπο-μοντέλου ελέγχου εμφάνισης με μια παρτίδα μεγέθους 16 για 20.000 βήματα. Κατά τη διάρκεια της εκπαίδευσης, το πλαίσιο MagicDance τυχαία δειγματίζει δύο καρέ ως στόχο και αναφορά, αντίστοιχα, με τις εικόνες να περικόπτονται στην ίδια θέση και στο ίδιο ύψος. Κατά τη διάρκεια της αξιολόγησης, το μοντέλο περικόπτει την εικόνα κεντρικά αντί να την κάνει τυχαία.

MagicDance: Αποτελέσματα

Τα πειραματικά αποτελέσματα που διεξήχθησαν στο πλαίσιο MagicDance παρουσιάζονται στην ακόλουθη εικόνα, και όπως είναι ορατό, το πλαίσιο MagicDance υπερέχει των υφιστάμενων πλαισίων όπως το Disco και το DreamPose για τη μεταφορά ανθρώπινης κίνησης σε όλους τους δείκτες. Τα πλαίσια που φέρουν έναν αστερίσκο (“*”) πριν από το όνομά τους χρησιμοποιούν την εικόνα στόχου απευθείας ως είσοδο και περιλαμβάνουν περισσότερες πληροφορίες σε σύγκριση με τα άλλα πλάισια.

Είναι ενδιαφέρον να σημειωθεί ότι το πλαίσιο MagicDance επιτυγχάνει βαθμολογία Face-Cos 0,426, μια βελτίωση 156,62% σε σύγκριση με το πλαίσιο Disco, και μια αύξηση σχεδόν 400% σε σύγκριση με το πλαίσιο DreamPose. Τα αποτελέσματα υποδεικνύουν την ισχυρή ικανότητα του πλαισίου MagicDance να διατηρήσει πληροφορίες ταυτότητας και η ορατή βελτίωση της απόδοσης υποδηλώνει την υπεροχή του πλαισίου MagicDance σε σύγκριση με τις υπάρχουσες κορυφαίες μεθόδους.

Οι ακόλουθες εικόνες συγκρίνουν την ποιότητα της παραγωγής βίντεο ανθρώπινης κίνησης μεταξύ του πλαισίου MagicDance, Disco και TPS. Όπως είναι ορατό, τα αποτελέσματα που παράγονται από τα πλαίσια GT, Disco και TPS υποφέρουν από ασυνέπειες στην ταυτότητα ανθρώπινης στάσης και εκφράσεων.

Επιπλέον, η ακόλουθη εικόνα δείχνει την οπτικοποίηση της μεταφοράς έκφρασης και ανθρώπινης κίνησης στο σύνολο δεδομένων TikTok με το πλαίσιο MagicDance να είναι ικανό να παράγει ρεαλιστικές και ζωηρές εκφράσεις και κινήσεις υπό διαφορετικές συνθήκες στάσης και αναφορά εικόνας ή βίντεο, ενώ διατηρεί ακριβώς τις πληροφορίες ταυτότητας από την είσοδο αναφοράς.

Είναι αξιοσημείωτο ότι το πλαίσιο MagicDance διαθέτει εξαιρετικές ικανότητες γενικευσιμότητας σε εικόνες αναφοράς εκτός του πεδίου με άγνωστες στάσεις και στυλ, με εντυπωσιακό έλεγχο εμφάνισης ακόμη και χωρίς πρόσθετη εξειδίκευση στο πεδίο στόχου, με τα αποτελέσματα να παρουσιάζονται στην ακόλουθη εικόνα.

Οι ακόλουθες εικόνες δείχνουν την οπτικοποίηση των ικανοτήτων του πλαισίου MagicDance όσον αφορά τη μεταφορά έκφρασης και την ανθρώπινη κίνηση χωρίς πρόσθετα παραδείγματα (zero-shot). Όπως είναι ορατό, το πλαίσιο MagicDance γενικεύεται σε κινήσεις ανθρώπινης κίνησης στο φυσικό περιβάλλον.

MagicDance: Περιορισμοί

Το OpenPose είναι ένα βασικό στοιχείο του πλαισίου MagicDance, καθώς παίζει έναν κρίσιμο ρόλο για τον έλεγχο στάσης, επηρεάζοντας σημαντικά την ποιότητα και τη χρονική συνέπεια των παραγόμενων εικόνων. Ωστόσο, το πλαίσιο MagicDance ακόμη αντιμετωπίζει ορισμένες προκλήσεις για την ακριβή ανίχνευση των χαρακτηριστικών προσώπου και του σκελετού στάσης, ιδιαίτερα όταν τα αντικείμενα στις εικόνες είναι μερικώς ορατά ή εμφανίζουν ταχεία κίνηση. Αυτά τα προβλήματα μπορούν να οδηγήσουν σε οπτικά τεχνουργήματα στις παραγόμενες εικόνες.

Συμπέρασμα

Σε αυτό το άρθρο, μιλήσαμε για το MagicDance, ένα μοντέλο που βασίζεται στη διάχυση και στοχεύει να φέρει επανάσταση στη μεταφορά ανθρώπινης κίνησης. Το πλαίσιο MagicDance προσπαθεί να μεταφέρει 2D ανθρώπινες εκφράσεις και κινήσεις σε βίντεο χορού, με στόχο να παράγει νέες ακολουθίες κίνησης για συγκεκριμένες ταυτότητες στόχου, διατηρώντας την ταυτότητα σταθερή. Το πλαίσιο MagicDance είναι μια στρατηγική εκπαίδευσης δύο σταδίων για την αποσύνδεση ανθρώπινης κίνησης και εμφάνισης, όπως το χρώμα δέρματος, οι εκφράσεις προσώπου και τα ρούχα.

Το MagicDance είναι μια νέα προσέγγιση για την παραγωγή ρεαλιστικών βίντεο ανθρώπινης κίνησης, ενσωματώνοντας τη μεταφορά έκφρασης και κίνησης, και επιτρέποντας τη χρονικά συνεπή παραγωγή κίνησης στο φυσικό περιβάλλον χωρίς την ανάγκη πρόσθετης εξειδίκευσης, που δείχνει σημαντική πρόοδο σε σύγκριση με τις υφιστάμενες μεθόδους. Επιπλέον, το πλαίσιο MagicDance παρουσιάζει εξαιρετικές ικανότητες γενικευσιμότητας σε σύνθετες ακολουθίες κίνησης και διαφορετικές ταυτότητες ανθρώπινης κίνησης, καθιστώντας το πλαίσιο MagicDance ως τον ηγέτη στο πεδίο της υποβοηθούμενης από το AI μεταφοράς κίνησης και παραγωγής βίντεο.