Πρόσφατα πλαίσια που επιχειρούν τη δημιουργία μοντέλων διάχυσης κειμένου σε βίντεο ή παραγωγής T2V για να προσθέσουν σταθερότητα στη διαδικασία εκπαίδευσής τους, και το μοντέλο διάχυσης βίντεο, ένας από τους πρωτοπόρους στα πλαίσια δημιουργίας κειμένου σε βίντεο, επεκτείνει μια αρχιτεκτονική διάχυσης εικόνας 2D σε μια προσπάθεια να προσαρμόσει δεδομένα βίντεο και εκπαιδεύστε το μοντέλο σε βίντεο και εικόνα από κοινού από την αρχή. Με βάση το ίδιο, και προκειμένου να εφαρμοστεί μια ισχυρή προ-εκπαιδευμένη γεννήτρια εικόνας όπως το Stable Diffusion, οι πρόσφατες εργασίες διογκώνουν τη δισδιάστατη αρχιτεκτονική τους παρεμβάλλοντας χρονικά επίπεδα μεταξύ των προεκπαιδευμένων 2D επιπέδων και βελτιώνουν το νέο μοντέλο σε αόρατα μεγάλα σύνολα δεδομένων. Παρά την προσέγγισή τους, τα μοντέλα διάχυσης κειμένου σε βίντεο αντιμετωπίζουν μια σημαντική πρόκληση, καθώς η ασάφεια των περιγραφών κειμένου που χρησιμοποιούνται αποκλειστικά για τη δημιουργία του δείγματος βίντεο οδηγεί συχνά στο μοντέλο κειμένου σε βίντεο να έχει ασθενέστερο έλεγχο στη γενιά. Για να αντιμετωπιστεί αυτός ο περιορισμός, ορισμένα μοντέλα παρέχουν βελτιωμένη καθοδήγηση, ενώ ορισμένα άλλα λειτουργούν με ακριβή σήματα για τον ακριβή έλεγχο της σκηνής ή των ανθρώπινων κινήσεων στα συνθετικά βίντεο. Από την άλλη πλευρά, υπάρχουν μερικά πλαίσια κειμένου σε βίντεο που υιοθετούν εικόνες ως σήμα ελέγχου στη γεννήτρια βίντεο με αποτέλεσμα είτε μια ακριβή μοντελοποίηση χρονικής σχέσης είτε σε υψηλή ποιότητα βίντεο. 

Θα ήταν ασφαλές να πούμε ότι η δυνατότητα ελέγχου παίζει κρίσιμο ρόλο στις εργασίες δημιουργίας εικόνας και βίντεο, καθώς επιτρέπει στους χρήστες να δημιουργούν το περιεχόμενο που επιθυμούν. Ωστόσο, τα υπάρχοντα πλαίσια συχνά παραβλέπουν τον ακριβή έλεγχο της στάσης της κάμερας που χρησιμεύει ως κινηματογραφική γλώσσα για να εκφράσει καλύτερα τις βαθύτερες αφηγηματικές αποχρώσεις στο μοντέλο. Για να αντιμετωπίσουμε τους τρέχοντες περιορισμούς ελέγχου, σε αυτό το άρθρο, θα μιλήσουμε για το CameraCtrl, μια νέα ιδέα που επιχειρεί να ενεργοποιήσει τον ακριβή έλεγχο πόζας κάμερας για μοντέλα κειμένου σε βίντεο. Αφού παραμετροποιήσει με ακρίβεια την τροχιά της κάμερας, το μοντέλο εκπαιδεύει μια μονάδα κάμερας plug and play σε ένα μοντέλο κειμένου σε βίντεο και αφήνει ανέγγιχτα τα άλλα στοιχεία. Επιπλέον, το μοντέλο CameraCtrl διεξάγει επίσης μια ολοκληρωμένη μελέτη σχετικά με την επίδραση διαφόρων συνόλων δεδομένων και προτείνει ότι βίντεο με παρόμοια εμφάνιση και διαφορετική κατανομή κάμερας μπορούν να βελτιώσουν τη συνολική ικανότητα ελέγχου και γενίκευσης του μοντέλου. Πειράματα που διεξήχθησαν για την ανάλυση της απόδοσης του μοντέλου CameraCtrl σε εργασίες πραγματικού κόσμου υποδεικνύουν την αποτελεσματικότητα του πλαισίου στην επίτευξη ακριβούς και προσαρμοσμένου στον τομέα ελέγχου της κάμερας, χαράσσοντας έναν δρόμο προς τα εμπρός για την επιδίωξη προσαρμοσμένης και δυναμικής δημιουργίας βίντεο από πόζα κάμερας και εισόδους κειμένου. 

Αυτό το άρθρο στοχεύει να καλύψει σε βάθος το πλαίσιο CameraCtrl και διερευνούμε τον μηχανισμό, τη μεθοδολογία, την αρχιτεκτονική του πλαισίου μαζί με τη σύγκριση του με τα τελευταίας τεχνολογίας πλαίσια. Ας ξεκινήσουμε λοιπόν. 

CameraCtrl: Έλεγχος κάμερας για τη γενιά T2V

Η πρόσφατη ανάπτυξη και η πρόοδος των μοντέλων διάχυσης προώθησαν σημαντικά τη δημιουργία βίντεο καθοδηγούμενη από κείμενο τα τελευταία χρόνια και έφεραν επανάσταση στις ροές εργασίας σχεδιασμού περιεχομένου. Η δυνατότητα ελέγχου παίζει σημαντικό ρόλο στις πρακτικές εφαρμογές δημιουργίας βίντεο, καθώς επιτρέπει στους χρήστες να προσαρμόζουν τα παραγόμενα αποτελέσματα σύμφωνα με τις ανάγκες και τις απαιτήσεις τους. Με υψηλή δυνατότητα ελέγχου, το μοντέλο μπορεί να βελτιώσει τον ρεαλισμό, την ποιότητα και τη χρηστικότητα των βίντεο που δημιούργησε, και ενώ οι είσοδοι κειμένου και εικόνας χρησιμοποιούνται συνήθως από τα μοντέλα για τη βελτίωση της συνολικής δυνατότητας ελέγχου, συχνά δεν έχουν ακριβή έλεγχο της κίνησης και του περιεχομένου . Για να αντιμετωπιστεί αυτός ο περιορισμός, ορισμένα πλαίσια έχουν προτείνει τη μόχλευση σημάτων ελέγχου όπως ο σκελετός πόζας, η οπτική ροή και άλλα πολυτροπικά σήματα για να επιτρέψουν πιο ακριβή έλεγχο για την καθοδήγηση της παραγωγής βίντεο. Ένας άλλος περιορισμός που αντιμετωπίζουν τα υπάρχοντα πλαίσια είναι ότι στερούνται ακριβούς ελέγχου της διέγερσης ή της προσαρμογής των σημείων της κάμερας στη δημιουργία βίντεο, καθώς η ικανότητα ελέγχου της κάμερας είναι ζωτικής σημασίας, καθώς όχι μόνο ενισχύει τον ρεαλισμό των βίντεο που δημιουργούνται, αλλά επιτρέποντας προσαρμοσμένες απόψεις, ενισχύει την αφοσίωση των χρηστών, μια δυνατότητα που είναι απαραίτητη για την ανάπτυξη παιχνιδιών, την επαυξημένη πραγματικότητα και την εικονική πραγματικότητα. Επιπλέον, η επιδέξια διαχείριση των κινήσεων της κάμερας επιτρέπει στους δημιουργούς να αναδεικνύουν τις σχέσεις των χαρακτήρων, να τονίζουν τα συναισθήματα και να καθοδηγούν την εστίαση του κοινού-στόχου, κάτι που έχει μεγάλη σημασία στη βιομηχανία ταινιών και διαφήμισης. 

Για να αντιμετωπίσετε και να ξεπεράσετε αυτούς τους περιορισμούς, το πλαίσιο CameraCtrl, μια μαθησιακή και ακριβής μονάδα κάμερας plug and play με δυνατότητα ελέγχου των οπτικών γωνιών της κάμερας για δημιουργία βίντεο. Ωστόσο, η ενσωμάτωση μιας προσαρμοσμένης κάμερας σε μια υπάρχουσα διοχέτευση μοντέλων κειμένου σε βίντεο είναι μια εργασία που λέγεται πιο εύκολα παρά γίνεται, αναγκάζοντας το πλαίσιο CameraCtrl να αναζητήσει τρόπους για την αποτελεσματική αναπαράσταση και εισαγωγή της κάμερας στην αρχιτεκτονική του μοντέλου. Στην ίδια σημείωση, το πλαίσιο CameraCtrl υιοθετεί τις ενσωματώσεις Plucker ως την κύρια μορφή παραμέτρων της κάμερας και ο λόγος για την επιλογή των ενσωματώσεων Plucker μπορεί να αποδοθεί στην ικανότητά τους να κωδικοποιούν γεωμετρικές περιγραφές των πληροφοριών πόζας κάμερας. Επιπλέον, για να διασφαλιστεί η γενίκευση και η δυνατότητα εφαρμογής του μοντέλου CameraCtrl μετά την εκπαίδευση, το μοντέλο εισάγει ένα μοντέλο ελέγχου κάμερας που δέχεται μόνο ενσωματώσεις Plucker ως είσοδο. Για να διασφαλιστεί ότι το μοντέλο ελέγχου κάμερας εκπαιδεύεται αποτελεσματικά, το πλαίσιο και οι προγραμματιστές του διεξάγουν μια ολοκληρωμένη μελέτη για να διερευνήσουν πώς τα διαφορετικά δεδομένα εκπαίδευσης επηρεάζουν το πλαίσιο από συνθετικά έως ρεαλιστικά δεδομένα. Τα πειραματικά αποτελέσματα υποδεικνύουν ότι η εφαρμογή δεδομένων με διαφορετική κατανομή πόζας κάμερας και παρόμοια εμφάνιση με το αρχικό βασικό μοντέλο επιτυγχάνει την καλύτερη αντιστάθμιση μεταξύ της δυνατότητας ελέγχου και της γενίκευσης. Οι προγραμματιστές του πλαισίου CameraCtrl έχουν εφαρμόσει το μοντέλο πάνω από το πλαίσιο AnimateDiff, επιτρέποντας έτσι τον ακριβή έλεγχο στη δημιουργία βίντεο σε διαφορετικά εξατομικευμένα, επιδεικνύοντας την ευελιξία και τη χρησιμότητά του σε ένα ευρύ φάσμα πλαισίων δημιουργίας βίντεο. 

Το πλαίσιο AnimateDiff υιοθετεί το αποδοτικό LoRA προσέγγιση λεπτομέρειας για τη λήψη των βαρών του μοντέλου για διαφορετικούς τύπους λήψεων. Το πλαίσιο Direct-a-video προτείνει την εφαρμογή μιας ενσωματωμένης κάμερας για τον έλεγχο της στάσης των καμερών κατά τη διαδικασία δημιουργίας βίντεο, αλλά εξαρτάται μόνο από τρεις παραμέτρους κάμερας, περιορίζοντας την ικανότητα ελέγχου της κάμερας στους περισσότερους βασικούς τύπους. Από την άλλη πλευρά, τα πλαίσια που περιλαμβάνουν το MotionCtrl σχεδιάζουν έναν ελεγκτή κίνησης που δέχεται περισσότερες από τρεις παραμέτρους εισόδου και είναι σε θέση να παράγει βίντεο με πιο σύνθετες στάσεις κάμερας. Ωστόσο, η ανάγκη λεπτομέρειας τμημάτων των βίντεο που δημιουργούνται εμποδίζει τη γενίκευση του μοντέλου. Επιπλέον, ορισμένα πλαίσια ενσωματώνουν πρόσθετα δομικά σήματα ελέγχου όπως χάρτες βάθους στη διαδικασία για να βελτιώσουν τη δυνατότητα ελέγχου τόσο για τη δημιουργία εικόνας όσο και για τη δημιουργία κειμένου. Συνήθως, το μοντέλο τροφοδοτεί αυτά τα σήματα ελέγχου σε έναν πρόσθετο κωδικοποιητή και στη συνέχεια εγχέει τα σήματα σε μια γεννήτρια χρησιμοποιώντας διάφορες λειτουργίες. 

CameraCtrl: Αρχιτεκτονική Μοντέλων

Προτού μπορέσουμε να ρίξουμε μια ματιά στην αρχιτεκτονική και το πρότυπο εκπαίδευσης για τον κωδικοποιητή της κάμερας, είναι ζωτικής σημασίας για εμάς να κατανοήσουμε τις διαφορετικές αναπαραστάσεις της κάμερας. Συνήθως, μια στάση κάμερας αναφέρεται σε εγγενείς και εξωγενείς παραμέτρους και μία από τις απλές επιλογές για να επιτρέψετε τη συνθήκη μιας γεννήτριας βίντεο στη στάση της κάμερας είναι να τροφοδοτήσετε ακατέργαστες τιμές σχετικά με τις παραμέτρους της κάμερας στη γεννήτρια. Ωστόσο, η εφαρμογή μιας τέτοιας προσέγγισης ενδέχεται να μην βελτιώσει τον ακριβή έλεγχο της κάμερας για ορισμένους λόγους. Πρώτον, ενώ ο πίνακας περιστροφής περιορίζεται από την ορθογωνικότητα, το διάνυσμα μετάφρασης είναι τυπικά μη καταπονημένο σε μέγεθος και οδηγεί σε αναντιστοιχία στη διαδικασία εκμάθησης που μπορεί να επηρεάσει τη συνέπεια του ελέγχου. Δεύτερον, η χρήση ακατέργαστων παραμέτρων κάμερας μπορεί να δυσκολέψει το μοντέλο να συσχετίσει αυτές τις τιμές με τα εικονοστοιχεία εικόνας, με αποτέλεσμα μειωμένο έλεγχο των οπτικών λεπτομερειών. Για να αποφύγει αυτούς τους περιορισμούς, το πλαίσιο CameraCtrl επιλέγει ενσωματώσεις Plucker ως αναπαράσταση για τη στάση της κάμερας, καθώς οι ενσωματώσεις Plucker έχουν γεωμετρικές αναπαραστάσεις για κάθε pixel του κάδρου βίντεο και μπορούν να παρέχουν μια πιο περίπλοκη περιγραφή των πληροφοριών της θέσης κάμερας. 

Δυνατότητα ελέγχου κάμερας σε γεννήτριες βίντεο

Καθώς το μοντέλο παραμετροποιεί την τροχιά της φωτογραφικής μηχανής σε μια ακολουθία ενσωμάτωσης Plucker, π.χ. χωρικούς χάρτες, το μοντέλο έχει την επιλογή να χρησιμοποιήσει ένα μοντέλο κωδικοποιητή για να εξαγάγει τα χαρακτηριστικά της κάμερας και στη συνέχεια να συγχωνεύσει τα χαρακτηριστικά της κάμερας σε γεννήτριες βίντεο. Παρόμοιο με κείμενο σε εικόνα προσαρμογέα, το μοντέλο CameraCtrl παρουσιάζει έναν κωδικοποιητή κάμερας που έχει σχεδιαστεί ειδικά για βίντεο. Ο κωδικοποιητής κάμερας περιλαμβάνει ένα μοντέλο χρονικής προσοχής μετά από κάθε συνελικτικό μπλοκ, επιτρέποντάς του να καταγράφει τις χρονικές σχέσεις των στάσεων της κάμερας σε όλο το βίντεο κλιπ. Όπως φαίνεται στην ακόλουθη εικόνα, ο κωδικοποιητής της κάμερας δέχεται μόνο εισόδους ενσωμάτωσης Plucker και παρέχει λειτουργίες πολλαπλής κλίμακας. Μετά την απόκτηση των χαρακτηριστικών κάμερας πολλαπλής κλίμακας, το μοντέλο CameraCtrl στοχεύει να ενσωματώσει αυτές τις δυνατότητες στην αρχιτεκτονική U-net του μοντέλου κειμένου σε βίντεο και καθορίζει τα επίπεδα που πρέπει να χρησιμοποιηθούν για την αποτελεσματική ενσωμάτωση των πληροφοριών της κάμερας. Επιπλέον, δεδομένου ότι η πλειονότητα των υπαρχόντων πλαισίων υιοθετεί μια αρχιτεκτονική τύπου U-Net που περιέχει τόσο το χρονικό όσο και το χωρικό επίπεδο προσοχής, το μοντέλο CameraCtrl εισάγει τις αναπαραστάσεις της κάμερας στο μπλοκ προσωρινής προσοχής, μια απόφαση που υποστηρίζεται από την ικανότητα της χρονικής προσοχής επίπεδα για την καταγραφή χρονικών σχέσεων, ευθυγραμμισμένα με την εγγενή περιστασιακή και διαδοχική φύση μιας τροχιάς κάμερας με τα επίπεδα χωρικής προσοχής που απεικονίζουν τα μεμονωμένα καρέ. 

Εκμάθηση Διανομών Κάμερας

Η εκπαίδευση του στοιχείου κωδικοποιητή κάμερας εντός του πλαισίου CameraCtrl σε μια γεννήτρια βίντεο απαιτεί μεγάλο αριθμό βίντεο με καλά επισημασμένα και σχολιασμένα, με το μοντέλο να μπορεί να λαμβάνει την τροχιά της κάμερας χρησιμοποιώντας δομή από κίνηση ή προσέγγιση SfM. Το πλαίσιο CameraCtrl επιχειρεί να επιλέξει το σύνολο δεδομένων με εμφανίσεις που ταιριάζουν στενά με τα δεδομένα εκπαίδευσης του βασικού κειμένου με το μοντέλο βίντεο και να έχει όσο το δυνατόν ευρύτερη κατανομή πόζας κάμερας. Τα δείγματα στο σύνολο δεδομένων που δημιουργούνται με χρήση εικονικών μηχανών παρουσιάζουν διαφορετική κατανομή κάμερας, καθώς οι προγραμματιστές έχουν την ευελιξία να ελέγχουν τις παραμέτρους της κάμερας κατά τη φάση απόδοσης, αν και υποφέρει από κενό διανομής σε σύγκριση με σύνολα δεδομένων που περιέχουν δείγματα πραγματικού κόσμου. Όταν εργάζεστε με σύνολα δεδομένων που περιέχουν δείγματα πραγματικού κόσμου, η κατανομή της κάμερας είναι συνήθως περιορισμένη και σε τέτοιες περιπτώσεις, το πλαίσιο πρέπει να βρει μια ισορροπία μεταξύ της διαφορετικότητας μεταξύ των διαφορετικών τροχιών κάμερας και της πολυπλοκότητας της μεμονωμένης τροχιάς κάμερας. Η πολυπλοκότητα της μεμονωμένης τροχιάς της κάμερας διασφαλίζει ότι το μοντέλο μαθαίνει να ελέγχει σύνθετες τροχιές κατά τη διάρκεια της εκπαιδευτικής διαδικασίας, ενώ η ποικιλομορφία μεταξύ των διαφορετικών τροχιών κάμερας διασφαλίζει ότι το μοντέλο δεν ταιριάζει υπερβολικά σε ορισμένα σταθερά μοτίβα. Επιπλέον, για την παρακολούθηση της διαδικασίας εκπαίδευσης του κωδικοποιητή κάμερας, το πλαίσιο CameraCtrl προτείνει τη μέτρηση ευθυγράμμισης κάμερας για τη μέτρηση της ποιότητας ελέγχου της κάμερας ποσοτικοποιώντας το σφάλμα μεταξύ της τροχιάς της κάμερας των παραγόμενων δειγμάτων και των συνθηκών της κάμερας εισόδου. 

CameraCtrl: Πειράματα και αποτελέσματα

Το πλαίσιο CameraCtrl εφαρμόζει το μοντέλο AnimateDiff ως το βασικό του μοντέλο κειμένου σε βίντεο και ένας σημαντικός λόγος πίσω από αυτό είναι ότι η στρατηγική εκπαίδευσης του μοντέλου AnimateDiff επιτρέπει στην ενότητα κίνησης να ενσωματωθεί με μοντέλα βάσης κειμένου σε εικόνα ή LoRA από κείμενο σε εικόνα για να φιλοξενήσει βίντεο γενιά σε διαφορετικά είδη και τομείς. Το μοντέλο χρησιμοποιεί τον βελτιστοποιητή Adam για να εκπαιδεύσει το μοντέλο με σταθερό ρυθμό εκμάθησης 1e-4. Επιπλέον, για να διασφαλιστεί ότι το μοντέλο δεν επηρεάζει τις δυνατότητες δημιουργίας βίντεο του πρωτότυπου μοντέλο κειμένου σε βίντεο αρνητικά, το πλαίσιο CameraCtrl χρησιμοποιεί τη μέτρηση FID ή Frechet Inception Distance για να αξιολογήσει την ποιότητα εμφάνισης του βίντεο και συγκρίνει την ποιότητα του βίντεο που δημιουργήθηκε πριν και μετά τη συμπερίληψη της μονάδας κάμερας. 

Για να αξιολογηθεί η απόδοσή του, το πλαίσιο CameraCtrl αξιολογείται σε σχέση με δύο υπάρχοντα πλαίσια ελέγχου κάμερας: MotionCtrl και AnimateDiff. Ωστόσο, δεδομένου ότι το πλαίσιο AnimateDiff υποστηρίζει μόνο οκτώ βασικές τροχιές κάμερας, η σύγκριση μεταξύ CameraCtrl και AnimateDiff περιορίζεται σε τρεις βασικές τροχιές. Από την άλλη πλευρά, για σύγκριση με το MotionCtrl, το πλαίσιο επιλέγει πάνω από χίλιες τυχαίες τροχιές κάμερας από το υπάρχον σύνολο δεδομένων εκτός από τις βασικές τροχιές κάμερας, δημιουργεί βίντεο χρησιμοποιώντας αυτές τις τροχιές και τις αξιολογεί χρησιμοποιώντας τις μετρήσεις TransErr και RotErr. 

Όπως μπορεί να παρατηρηθεί, το πλαίσιο CameraCtrl υπερέχει του πλαισίου AnimateDiff στη βασική τροχιά και προσφέρει καλύτερα αποτελέσματα σε σύγκριση με το πλαίσιο MotionCtrl στη μέτρηση πολύπλοκης τροχιάς. 

Επιπλέον, το ακόλουθο σχήμα δείχνει την επίδραση της αρχιτεκτονικής του κωδικοποιητή κάμερας στη συνολική ποιότητα των παραγόμενων δειγμάτων. Η σειρά α έως τη σειρά δ αντιπροσωπεύει τα αποτελέσματα που δημιουργούνται με τον κωδικοποιητή κάμερας που έχει εφαρμοστεί στην αρχιτεκτονική: ControlNet, ControlNet με χρονική προσοχή, T2I Adaptor και T2I adapter με χρονική προσοχή αντίστοιχα. 

Στο παρακάτω σχήμα, τα δύο πρώτα αντικαθιστούν το βίντεο που δημιουργείται χρησιμοποιώντας έναν συνδυασμό του κωδικοποιητή RGB του πλαισίου SparseCtrl και τη μέθοδο που χρησιμοποιείται στο πλαίσιο CameraCtrl. 

Τελικές Σκέψεις

Σε αυτό το άρθρο, μιλήσαμε για το CameraCtrl, μια νέα ιδέα που επιχειρεί να ενεργοποιήσει τον ακριβή έλεγχο πόζας κάμερας για μοντέλα κειμένου σε βίντεο. Αφού παραμετροποιήσει με ακρίβεια την τροχιά της κάμερας, το μοντέλο εκπαιδεύει μια μονάδα κάμερας plug and play σε ένα μοντέλο κειμένου σε βίντεο και αφήνει ανέγγιχτα τα άλλα στοιχεία. Επιπλέον, το μοντέλο CameraCtrl διεξάγει επίσης μια ολοκληρωμένη μελέτη σχετικά με την επίδραση διαφόρων συνόλων δεδομένων και προτείνει ότι βίντεο με παρόμοια εμφάνιση και διαφορετική κατανομή κάμερας μπορούν να βελτιώσουν τη συνολική ικανότητα ελέγχου και γενίκευσης του μοντέλου. Πειράματα που διεξήχθησαν για την ανάλυση της απόδοσης του μοντέλου CameraCtrl σε εργασίες πραγματικού κόσμου υποδεικνύουν την αποτελεσματικότητα του πλαισίου στην επίτευξη ακριβούς και προσαρμοσμένου στον τομέα ελέγχου της κάμερας, χαράσσοντας έναν δρόμο προς τα εμπρός για την επιδίωξη προσαρμοσμένης και δυναμικής δημιουργίας βίντεο από πόζα κάμερας και εισόδους κειμένου.