Η υπολογιστική όραση είναι σήμερα ένα από τα πιο συναρπαστικά και εκτενώς μελετημένα πεδία της κοινότητας AI. Παρά την ταχεία βελτίωση των μοντέλων της, η δημιουργία κίνησης σε εικόνες παραμένει μια διαχρονική πρόκληση για τους προγραμματιστές. Ακόμη και σήμερα, τα σχετικά πλαίσια δυσκολεύονται να μετατρέψουν στατικές εικόνες σε βίντεο που εμφανίζουν φυσική δυναμική και συγχρόνως διατηρούν την αρχική τους εμφάνιση. Παραδοσιακά, εστιάζουν κυρίως σε φυσικές σκηνές με κινήσεις συγκεκριμένων κατηγοριών, όπως τα ανθρώπινα μαλλιά ή το σώμα, ή σε στοχαστική δυναμική, όπως τα υγρά και τα σύννεφα. Παρότι αυτή η προσέγγιση λειτουργεί έως έναν βαθμό, περιορίζει την εφαρμογή τους σε γενικότερο οπτικό περιεχόμενο.

Επιπλέον, οι συμβατικές προσεγγίσεις επικεντρώνονται κυρίως στη σύνθεση ταλαντωτικών και στοχαστικών κινήσεων ή στην προσαρμογή σε συγκεκριμένες κατηγορίες αντικειμένων. Ένα σημαντικό μειονέκτημα είναι όμως οι ισχυρές παραδοχές που επιβάλλουν, οι οποίες τελικά περιορίζουν την εφαρμογή τους, ιδιαίτερα σε γενικά σενάρια δημιουργίας κίνησης σε εικόνες ανοικτού πεδίου. Τα τελευταία χρόνια, τα μοντέλα T2V, δηλαδή μετατροπής κειμένου σε βίντεο, έχουν σημειώσει αξιοσημείωτη επιτυχία στη δημιουργία ζωντανών και ποικίλων βίντεο από κειμενικές προτροπές. Αυτή η επιτυχία αποτελεί τη βάση του πλαισίου DynamiCrafter.

Το DynamiCrafter επιχειρεί να ξεπεράσει τους σημερινούς περιορισμούς των μοντέλων δημιουργίας κίνησης και να επεκτείνει την εφαρμογή τους σε γενικά σενάρια με εικόνες ανοικτού πεδίου. Συνθέτει δυναμικό περιεχόμενο από τέτοιες εικόνες, μετατρέποντάς τες σε βίντεο με κίνηση. Η βασική ιδέα είναι να ενσωματώνει την εικόνα ως καθοδήγηση στη διαδικασία παραγωγής, αξιοποιώντας την προϋπάρχουσα γνώση κίνησης των μοντέλων διάχυσης από κείμενο σε βίντεο. Για μια δεδομένη εικόνα, εφαρμόζει πρώτα έναν μετασχηματιστή ερωτημάτων, ο οποίος την προβάλλει σε έναν πλούσιο χώρο αναπαράστασης πλαισίου ευθυγραμμισμένο με το κείμενο, ώστε το μοντέλο βίντεο να μπορεί να επεξεργαστεί συμβατά το περιεχόμενό της. Ωστόσο, εξακολουθεί να δυσκολεύεται να διατηρήσει ορισμένες οπτικές λεπτομέρειες. Για να αντιμετωπίσει αυτό το πρόβλημα, τροφοδοτεί το μοντέλο διάχυσης με ολόκληρη την εικόνα, συνενώνοντάς την με τον αρχικό θόρυβο και παρέχοντας έτσι ακριβέστερη οπτική πληροφορία.

Το άρθρο εξετάζει σε βάθος το DynamiCrafter, τον μηχανισμό, τη μεθοδολογία και την αρχιτεκτονική του, καθώς και τη σύγκρισή του με κορυφαία πλαίσια δημιουργίας εικόνων και βίντεο. Ας ξεκινήσουμε.

DynamiCrafter: Δημιουργία κίνησης σε εικόνες ανοικτού πεδίου

Η δημιουργία κίνησης σε μια στατική εικόνα προσφέρει συχνά μια ελκυστική οπτική εμπειρία, καθώς φαίνεται να της δίνει ζωή. Με την πάροδο των ετών, πολλά πλαίσια έχουν εξετάσει διαφορετικές μεθόδους. Οι πρώτες προσεγγίσεις βασίζονταν στη φυσική προσομοίωση και επικεντρώνονταν στην κίνηση συγκεκριμένων αντικειμένων. Επειδή όμως κάθε κατηγορία αντικειμένων μοντελοποιούνταν ανεξάρτητα, δεν ήταν ούτε αποτελεσματικές ούτε γενικεύσιμες. Για την αναπαραγωγή πιο ρεαλιστικών κινήσεων εμφανίστηκαν μέθοδοι βασισμένες σε αναφορές, οι οποίες μετέφεραν πληροφορίες κίνησης ή εμφάνισης από σήματα αναφοράς, όπως βίντεο, στη διαδικασία σύνθεσης. Παρότι έδιναν καλύτερα αποτελέσματα και μεγαλύτερη χρονική συνοχή από τις προσομοιώσεις, απαιτούσαν πρόσθετη καθοδήγηση που περιόριζε τις πρακτικές εφαρμογές τους.

Τα τελευταία χρόνια, τα περισσότερα πλαίσια εστιάζουν κυρίως σε φυσικές σκηνές με στοχαστικές, εξειδικευμένες ή ταλαντωτικές κινήσεις. Παρότι αυτή η προσέγγιση λειτουργεί έως έναν βαθμό, τα αποτελέσματα δεν είναι ικανοποιητικά και αφήνουν σημαντικά περιθώρια βελτίωσης. Τα εντυπωσιακά αποτελέσματα των μοντέλων παραγωγής βίντεο από κείμενο ενέπνευσαν τους δημιουργούς του DynamiCrafter να αξιοποιήσουν τις ισχυρές δυνατότητές τους για τη δημιουργία κίνησης σε εικόνες.

Η βασική αρχή του DynamiCrafter είναι η ενσωμάτωση μιας εικόνας ως συνθήκης, ώστε να καθοδηγεί την παραγωγή βίντεο από μοντέλα διάχυσης από κείμενο σε βίντεο. Ο τελικός στόχος παραμένει απαιτητικός, καθώς χρειάζεται τόσο διατήρηση των λεπτομερειών όσο και κατανόηση του οπτικού πλαισίου για τη δημιουργία δυναμικής. Πολυτροπικά ελεγχόμενα μοντέλα διάχυσης βίντεο, όπως το VideoComposer, έχουν επιχειρήσει να επιτρέψουν την παραγωγή βίντεο με οπτική καθοδήγηση από εικόνα. Δεν είναι όμως κατάλληλα για αυτή την εφαρμογή, επειδή προκαλούν είτε απότομες χρονικές αλλαγές είτε χαμηλή οπτική αντιστοιχία με την είσοδο, λόγω των λιγότερο ολοκληρωμένων μηχανισμών ενσωμάτωσης εικόνας. Το DynamiCrafter προτείνει ενσωμάτωση δύο ροών: καθοδήγηση οπτικών λεπτομερειών και αναπαράσταση πλαισίου ευθυγραμμισμένη με το κείμενο. Οι δύο ροές λειτουργούν συμπληρωματικά, επιτρέποντας στο μοντέλο να συνθέτει δυναμικό περιεχόμενο που διατηρεί τις λεπτομέρειες.

Για μια δεδομένη εικόνα, το DynamiCrafter την προβάλλει πρώτα σε έναν χώρο αναπαράστασης πλαισίου ευθυγραμμισμένο με το κείμενο, χρησιμοποιώντας ένα ειδικά σχεδιασμένο δίκτυο εκμάθησης πλαισίου. Ο χώρος περιλαμβάνει έναν εκπαιδεύσιμο μετασχηματιστή ερωτημάτων, που διευκολύνει την προσαρμογή στα μοντέλα διάχυσης, και έναν προεκπαιδευμένο κωδικοποιητή εικόνας CLIP, που εξάγει οπτικά χαρακτηριστικά ευθυγραμμισμένα με το κείμενο. Το μοντέλο αξιοποιεί τα πλούσια χαρακτηριστικά πλαισίου μέσω επιπέδων διασταυρούμενης προσοχής και συνδυάζει τα χαρακτηριστικά κειμένου με αυτά μέσω σύντηξης με πύλες. Αυτή η προσέγγιση ανταλλάσσει πληροφορίες μεταξύ των μαθημένων αναπαραστάσεων πλαισίου και των οπτικών λεπτομερειών που ευθυγραμμίζονται με το κείμενο, διευκολύνοντας τη σημασιολογική κατανόηση της εικόνας και τη σύνθεση εύλογης, ζωντανής δυναμικής. Για να προσθέσει περισσότερες οπτικές λεπτομέρειες, το πλαίσιο συνενώνει ολόκληρη την εικόνα με τον αρχικό θόρυβο του μοντέλου διάχυσης. Η διπλή ενσωμάτωση εξασφαλίζει έτσι τόσο οπτική αντιστοιχία όσο και εύλογο δυναμικό περιεχόμενο σε σχέση με την εικόνα εισόδου.

Τα μοντέλα διάχυσης (DM) έχουν επιδείξει εντυπωσιακή απόδοση και δυνατότητες στη δημιουργία εικόνων από κείμενο (T2I). Για να μεταφερθεί αυτή η επιτυχία στην παραγωγή βίντεο, προτάθηκαν μοντέλα διάχυσης βίντεο (VDM) που χρησιμοποιούν αρχιτεκτονική με χωριστή μοντελοποίηση χώρου και χρόνου στον χώρο των εικονοστοιχείων για βίντεο χαμηλής ανάλυσης. Η μεταφορά της γνώσης από τα πλαίσια T2I στα T2V βοηθά στη μείωση του κόστους εκπαίδευσης. Παρότι τα VDM μπορούν να δημιουργούν βίντεο υψηλής ποιότητας, δέχονται μόνο κειμενικές προτροπές ως σημασιολογική καθοδήγηση, οι οποίες μπορεί να είναι ασαφείς ή να μην αποτυπώνουν τις πραγματικές προθέσεις του χρήστη. Τα περισσότερα σπάνια ακολουθούν πιστά την εικόνα εισόδου και παρουσιάζουν μη ρεαλιστικές χρονικές μεταβολές. Το DynamiCrafter βασίζεται σε μοντέλα διάχυσης βίντεο υπό συνθήκη κειμένου και αξιοποιεί την πλούσια προϋπάρχουσα γνώση δυναμικής τους, με ειδικούς σχεδιασμούς για καλύτερη σημασιολογική κατανόηση και αντιστοιχία με την είσοδο.

DynamiCrafter: Μέθοδος και αρχιτεκτονική

Για μια δεδομένη στατική εικόνα, το DynamiCrafter επιχειρεί να μετατρέψει την εικόνα σε βίντεο, δηλαδή να παράγει ένα σύντομο κλιπ. Το βίντεο διατηρεί το οπτικό περιεχόμενό της και παρουσιάζει φυσική δυναμική. Ωστόσο, η εικόνα μπορεί να εμφανιστεί σε οποιαδήποτε θέση της ακολουθίας καρέ. Αυτή η αυθαίρετη θέση αποτελεί ιδιαίτερη πρόκληση στις εργασίες παραγωγής βίντεο υπό συνθήκη εικόνας που απαιτούν υψηλή οπτική αντιστοιχία. Το DynamiCrafter την αντιμετωπίζει αξιοποιώντας την προϋπάρχουσα παραγωγική γνώση προεκπαιδευμένων μοντέλων διάχυσης βίντεο.

Δυναμική εικόνας από την προϋπάρχουσα γνώση διάχυσης βίντεο

Τα μοντέλα διάχυσης από κείμενο σε βίντεο ανοικτού πεδίου συνήθως εμφανίζουν δυναμικό οπτικό περιεχόμενο που μοντελοποιείται με βάση κειμενικές περιγραφές. Για να δημιουργηθεί κίνηση σε μια στατική εικόνα με αυτή την προϋπάρχουσα γνώση, πρέπει πρώτα να ενσωματωθεί ολοκληρωμένα η οπτική πληροφορία στη διαδικασία παραγωγής βίντεο. Για τη σύνθεση δυναμικής, το μοντέλο T2V πρέπει επίσης να κατανοεί το πλαίσιο της εικόνας και να διατηρεί τις οπτικές λεπτομέρειες στα παραγόμενα βίντεο.

Αναπαράσταση πλαισίου ευθυγραμμισμένη με το κείμενο

Για να καθοδηγήσει την παραγωγή βίντεο με το πλαίσιο της εικόνας, το DynamiCrafter προβάλλει την εικόνα σε έναν ευθυγραμμισμένο χώρο ενσωματώσεων, ώστε το μοντέλο βίντεο να χρησιμοποιεί συμβατά την πληροφορία της. Έπειτα χρησιμοποιεί τον κωδικοποιητή εικόνας για να εξαγάγει χαρακτηριστικά από την είσοδο, ενώ οι ενσωματώσεις κειμένου παράγονται με προεκπαιδευμένο κωδικοποιητή κειμένου CLIP. Παρότι τα συνολικά σημασιολογικά διακριτικά του κωδικοποιητή εικόνας CLIP ευθυγραμμίζονται με τις λεζάντες, αντιπροσωπεύουν κυρίως το περιεχόμενο σε σημασιολογικό επίπεδο και δεν αποτυπώνουν όλη την πληροφορία της εικόνας. Το DynamiCrafter χρησιμοποιεί το πλήρες σύνολο οπτικών διακριτικών του τελευταίου επιπέδου του CLIP για πληρέστερη εξαγωγή πληροφοριών, καθώς αυτά εμφανίζουν υψηλή πιστότητα σε εργασίες παραγωγής εικόνων υπό συνθήκη. Επιπλέον, οι ενσωματώσεις πλαισίου και κειμένου αλληλεπιδρούν με τα ενδιάμεσα χαρακτηριστικά του U-Net μέσω διπλών επιπέδων διασταυρούμενης προσοχής. Αυτό επιτρέπει την απορρόφηση των συνθηκών εικόνας με τρόπο που εξαρτάται από το επίπεδο. Καθώς τα ενδιάμεσα επίπεδα του U-Net συνδέονται περισσότερο με στάσεις ή σχήματα αντικειμένων, αναμένεται τα χαρακτηριστικά εικόνας να επηρεάζουν κυρίως την εμφάνιση των βίντεο, ιδίως επειδή τα επίπεδα στα δύο άκρα συνδέονται περισσότερο με την εμφάνιση.

Καθοδήγηση οπτικών λεπτομερειών

Το DynamiCrafter χρησιμοποιεί μια πλούσια σε πληροφορίες αναπαράσταση πλαισίου, η οποία επιτρέπει στο μοντέλο διάχυσης βίντεο να παράγει βίντεο με μεγάλη ομοιότητα προς την εικόνα εισόδου. Ωστόσο, όπως φαίνεται στην ακόλουθη εικόνα, το παραγόμενο περιεχόμενο μπορεί να παρουσιάζει αποκλίσεις. Αυτό οφείλεται στην περιορισμένη ικανότητα του προεκπαιδευμένου CLIP να διατηρεί πλήρως την πληροφορία εισόδου, καθώς έχει σχεδιαστεί για την ευθυγράμμιση γλωσσικών και οπτικών χαρακτηριστικών.

Για να βελτιώσει την οπτική αντιστοιχία, το DynamiCrafter παρέχει στο μοντέλο διάχυσης βίντεο πρόσθετες οπτικές λεπτομέρειες από την εικόνα εισόδου. Συνενώνει την εικόνα συνθήκης με τον αρχικό θόρυβο κάθε καρέ και τα τροφοδοτεί ως καθοδήγηση στο U-Net αποθορυβοποίησης.

Διαδικασία εκπαίδευσης

Το DynamiCrafter ενσωματώνει την εικόνα συνθήκης μέσω δύο συμπληρωματικών ροών που συμβάλλουν στην καθοδήγηση λεπτομερειών και στον έλεγχο του πλαισίου. Για αυτό χρησιμοποιεί μια διαδικασία εκπαίδευσης τριών σταδίων:

1. Στο πρώτο στάδιο, εκπαιδεύει το δίκτυο αναπαράστασης πλαισίου εικόνας.
2. Στο δεύτερο στάδιο, προσαρμόζει το δίκτυο αναπαράστασης πλαισίου εικόνας στο μοντέλο μετατροπής κειμένου σε βίντεο.
3. Στο τρίτο και τελευταίο στάδιο, προσαρμόζει περαιτέρω το δίκτυο αναπαράστασης πλαισίου εικόνας από κοινού με τη συνιστώσα καθοδήγησης οπτικών λεπτομερειών.

Για να προσαρμόσει την πληροφορία εικόνας στο μοντέλο T2V, το DynamiCrafter προτείνει ένα δίκτυο αναπαράστασης πλαισίου, P, που αποτυπώνει οπτικές λεπτομέρειες ευθυγραμμισμένες με το κείμενο. Επειδή το P απαιτεί πολλά βήματα βελτιστοποίησης για να συγκλίνει, εκπαιδεύεται αρχικά με ένα απλούστερο μοντέλο μετατροπής κειμένου σε εικόνα (T2I). Έτσι επικεντρώνεται στην εκμάθηση του πλαισίου της εικόνας πριν ενσωματωθεί στο T2V μέσω κοινής εκπαίδευσης του P και των χωρικών επιπέδων του T2V, αντί των χρονικών επιπέδων.

Για να εξασφαλίσει συμβατότητα με το T2V, το DynamiCrafter συνδυάζει την εικόνα εισόδου με τον θόρυβο κάθε καρέ και προσαρμόζει περαιτέρω τόσο το P όσο και τα χωρικά επίπεδα του VDM. Η μέθοδος διατηρεί την υπάρχουσα χρονική γνώση του T2V χωρίς τις αρνητικές επιδράσεις της πυκνής συγχώνευσης εικόνων, που θα μπορούσαν να μειώσουν την απόδοση και να απομακρύνουν το μοντέλο από τον βασικό στόχο. Επιπλέον, επιλέγει τυχαία ένα καρέ βίντεο ως συνθήκη εικόνας για δύο λόγους: πρώτον, για να μην αναπτύξει το δίκτυο ένα προβλέψιμο μοτίβο που συνδέει άμεσα τη συγχωνευμένη εικόνα με συγκεκριμένη θέση καρέ· δεύτερον, για να ενθαρρύνει μια πιο προσαρμοστική αναπαράσταση πλαισίου, αποφεύγοντας την παροχή υπερβολικά άκαμπτων πληροφοριών για οποιοδήποτε συγκεκριμένο καρέ.

DynamiCrafter: Πειράματα και αποτελέσματα

Το DynamiCrafter εκπαιδεύει αρχικά το δίκτυο αναπαράστασης πλαισίου και τα επίπεδα διασταυρούμενης προσοχής εικόνας στο Stable Diffusion. Έπειτα αντικαθιστά τη συνιστώσα Stable Diffusion με το VideoCrafter και προσαρμόζει περαιτέρω το δίκτυο πλαισίου και τα χωρικά επίπεδα, ενσωματώνοντας τη συνένωση εικόνας. Κατά την εκτέλεση χρησιμοποιεί δειγματολήπτη DDIM με καθοδήγηση πολλαπλών συνθηκών χωρίς ταξινομητή. Για να αξιολογήσει τη χρονική συνοχή και την ποιότητα των βίντεο στον χρόνο και στον χώρο, αναφέρει τις μετρικές FVD (Frechet Video Distance) και KVD (Kernel Video Distance) και αξιολογεί την απόδοση χωρίς πρόσθετη εκπαίδευση στα σύνολα αναφοράς MSR-VTT και UCF-101. Για τη μελέτη της αντιληπτικής αντιστοιχίας μεταξύ αποτελεσμάτων και εικόνας εισόδου εισάγει τη μετρική PIC (Perceptual Input Conformity), χρησιμοποιώντας την αντιληπτική απόσταση DreamSim ως συνάρτηση απόστασης.

Η ακόλουθη εικόνα συγκρίνει οπτικά το παραγόμενο περιεχόμενο με κίνηση για διαφορετικά στυλ και είδη περιεχομένου.

Όπως φαίνεται, σε σύγκριση με τις άλλες μεθόδους, το DynamiCrafter ακολουθεί πιστά την εικόνα εισόδου και παράγει βίντεο με χρονική συνοχή. Ο ακόλουθος πίνακας παρουσιάζει αποτελέσματα μελέτης χρηστών με 49 συμμετέχοντες: το ποσοστό προτίμησης για τη χρονική συνοχή (T.C.) και την ποιότητα κίνησης (M.C.), καθώς και το ποσοστό επιλογής με βάση την οπτική αντιστοιχία προς την εικόνα εισόδου (I.C.). Το DynamiCrafter υπερέχει των υφιστάμενων μεθόδων με σημαντική διαφορά.

Η ακόλουθη εικόνα παρουσιάζει τα αποτελέσματα της μεθόδου ενσωμάτωσης δύο ροών και της διαδικασίας εκπαίδευσης.

Τελικές σκέψεις

Στο άρθρο εξετάσαμε το DynamiCrafter, μια προσπάθεια υπέρβασης των σημερινών περιορισμών της δημιουργίας κίνησης σε εικόνες και επέκτασης της εφαρμογής της σε γενικά σενάρια ανοικτού πεδίου. Το πλαίσιο συνθέτει δυναμικό περιεχόμενο από τέτοιες εικόνες και τις μετατρέπει σε βίντεο με κίνηση. Η βασική του ιδέα είναι η ενσωμάτωση της εικόνας ως καθοδήγησης στη διαδικασία παραγωγής, αξιοποιώντας την προϋπάρχουσα γνώση κίνησης των μοντέλων διάχυσης από κείμενο σε βίντεο. Για κάθε εικόνα εφαρμόζει πρώτα έναν μετασχηματιστή ερωτημάτων που την προβάλλει σε έναν πλούσιο χώρο αναπαράστασης πλαισίου ευθυγραμμισμένο με το κείμενο, ώστε το μοντέλο βίντεο να επεξεργάζεται συμβατά το περιεχόμενό της. Για να διατηρήσει περισσότερες οπτικές λεπτομέρειες, τροφοδοτεί στη συνέχεια το μοντέλο διάχυσης με ολόκληρη την εικόνα, συνενώνοντάς την με τον αρχικό θόρυβο και παρέχοντας ακριβέστερη οπτική πληροφορία.