Η παραγωγική τεχνητή νοημοσύνη αποτελεί εδώ και καιρό κινητήρια δύναμη στην κοινότητα της AI. Η πρόοδος στην παραγωγή εικόνων, ιδιαίτερα μέσω μοντέλων διάχυσης, έχει βοηθήσει σημαντικά τα μοντέλα παραγωγής βίντεο, τόσο στην έρευνα όσο και στις πραγματικές εφαρμογές. Συνήθως αυτά τα μοντέλα εκπαιδεύονται από την αρχή ή προκύπτουν από μερική ή πλήρη λεπτομερή προσαρμογή προεκπαιδευμένων μοντέλων εικόνας, με πρόσθετα χρονικά επίπεδα και μείγμα συνόλων δεδομένων εικόνων και βίντεο.

Σε αυτό το άρθρο εξετάζουμε το Stable Video Diffusion, ένα μοντέλο διάχυσης βίντεο σε λανθάνοντα χώρο που μπορεί να παράγει προηγμένο περιεχόμενο υψηλής ανάλυσης από εικόνα σε βίντεο και από κείμενο σε βίντεο. Εξηγούμε πώς τα μοντέλα λανθάνουσας διάχυσης για δισδιάστατες εικόνες ενισχύουν τις δυνατότητες και την αποδοτικότητα της παραγωγής βίντεο, με την προσθήκη χρονικών επιπέδων και τη λεπτομερή προσαρμογή σε μικρά σύνολα βίντεο υψηλής ποιότητας. Θα εξετάσουμε την αρχιτεκτονική και τη λειτουργία του μοντέλου, θα αξιολογήσουμε την απόδοσή του με διαφορετικές μετρικές και θα το συγκρίνουμε με κορυφαία πλαίσια παραγωγής βίντεο.

Stable Video Diffusion και μοντέλα παραγωγής βίντεο: Εισαγωγή

Οι σχεδόν απεριόριστες δυνατότητες της παραγωγικής AI την έχουν καταστήσει κεντρικό αντικείμενο έρευνας για τους ειδικούς στην τεχνητή νοημοσύνη και τη μηχανική μάθηση. Τα τελευταία χρόνια τα μοντέλα παραγωγής εικόνων έχουν εξελιχθεί γρήγορα ως προς την αποδοτικότητα και την απόδοση. Τα ευρήματα αυτά έχουν επιτρέψει στους ερευνητές να βελτιώσουν και την παραγωγή βίντεο, ενισχύοντας την πρακτική χρησιμότητα και τις εφαρμογές της. Ωστόσο, μεγάλο μέρος της σχετικής έρευνας επικεντρώνεται στην ακριβή διάταξη των χρονικών και χωρικών επιπέδων, δίνοντας μικρότερη προσοχή στην επίδραση της σωστής επιλογής δεδομένων.

Η έρευνα στα μοντέλα παραγωγής εικόνων έχει δείξει ότι η κατανομή των δεδομένων εκπαίδευσης επηρεάζει σημαντικά την απόδοση. Η προεκπαίδευση σε ένα μεγάλο, ποικιλόμορφο σύνολο δεδομένων και η μετέπειτα προσαρμογή σε ένα μικρότερο σύνολο υψηλότερης ποιότητας συχνά βελτιώνουν αισθητά τα αποτελέσματα. Τα μοντέλα παραγωγής βίντεο αξιοποιούν τις επιτυχίες της παραγωγής εικόνων, αλλά η επίδραση των δεδομένων και των στρατηγικών εκπαίδευσης δεν έχει ακόμη μελετηθεί αρκετά. Το Stable Video Diffusion διερευνά αυτές τις λιγότερο εξερευνημένες περιοχές, με ιδιαίτερη έμφαση στην επιλογή δεδομένων.

Τα πρόσφατα μοντέλα παραγωγής βίντεο χρησιμοποιούν μοντέλα διάχυσης και καθοδήγηση από κείμενο ή εικόνες για να συνθέτουν διαδοχικά καρέ με συνοχή. Τα μοντέλα διάχυσης μαθαίνουν να αφαιρούν σταδιακά τον θόρυβο από ένα δείγμα κανονικής κατανομής μέσω επαναληπτικής βελτίωσης. Έχουν δώσει καλά αποτελέσματα στη σύνθεση βίντεο υψηλής ανάλυσης και εικόνων από κείμενο. Με την ίδια βασική αρχή, το Stable Video Diffusion εκπαιδεύει ένα μοντέλο διάχυσης βίντεο σε λανθάνοντα χώρο πάνω στο σύνολο δεδομένων βίντεο. Το άρθρο αναφέρεται επίσης στη χρήση παραγωγικών ανταγωνιστικών δικτύων (GAN) και, σε κάποιο βαθμό, αυτοπαλινδρομικών μοντέλων.

Η στρατηγική του Stable Video Diffusion βασίζεται σε μοντέλα αναφοράς λανθάνουσας διάχυσης βίντεο με σταθερή αρχιτεκτονική και σταθερή στρατηγική εκπαίδευσης, ώστε να αξιολογηθεί χωριστά η επίδραση της επιμέλειας δεδομένων. Οι βασικές συνεισφορές του είναι:

• Μια συστηματική και αποτελεσματική διαδικασία επιμέλειας που μετατρέπει μεγάλη συλλογή ανεπεξέργαστων δειγμάτων βίντεο σε σύνολο δεδομένων υψηλής ποιότητας για μοντέλα παραγωγής βίντεο.
• Η εκπαίδευση προηγμένων μοντέλων από εικόνα σε βίντεο και από κείμενο σε βίντεο, με απόδοση καλύτερη από υπάρχοντα πλαίσια.
• Πειράματα σε συγκεκριμένους τομείς για τη διερεύνηση της τρισδιάστατης κατανόησης και της ισχυρής πρότερης γνώσης κίνησης του μοντέλου.

Στη βάση του, το Stable Video Diffusion αξιοποιεί τα ευρήματα από τα μοντέλα διάχυσης βίντεο σε λανθάνοντα χώρο και τις τεχνικές επιμέλειας δεδομένων.

Μοντέλα διάχυσης βίντεο σε λανθάνοντα χώρο

Τα μοντέλα αυτά, γνωστά και ως Video-LDM, εκπαιδεύουν το κύριο παραγωγικό μοντέλο σε λανθάνοντα χώρο για να μειώσουν την υπολογιστική πολυπλοκότητα. Τα περισσότερα χρησιμοποιούν ένα προεκπαιδευμένο μοντέλο από κείμενο σε εικόνα και προσθέτουν χρονικά επίπεδα ανάμειξης στην αρχιτεκτονική του. Συνήθως εκπαιδεύουν μόνο αυτά τα χρονικά επίπεδα ή παραλείπουν συνολικά την εκπαίδευση, σε αντίθεση με το Stable Video Diffusion που προσαρμόζει ολόκληρο το πλαίσιο. Για τη σύνθεση βίντεο από κείμενο, το μοντέλο καθοδηγείται απευθείας από μια προτροπή κειμένου. Τα αποτελέσματα δείχνουν ότι μπορεί εύκολα να προσαρμοστεί σε σύνθεση πολλαπλών όψεων ή παραγωγή βίντεο από εικόνα.

Επιμέλεια δεδομένων

Η επιμέλεια δεδομένων είναι απαραίτητη τόσο για το Stable Video Diffusion όσο και για τα παραγωγικά μοντέλα γενικότερα. Η προεκπαίδευση μεγάλων μοντέλων σε μεγάλα σύνολα δεδομένων ενισχύει εργασίες όπως η γλωσσική μοντελοποίηση και η παραγωγή εικόνων από κείμενο. Στα μοντέλα εικόνας έχει εφαρμοστεί με επιτυχία μέσω αποδοτικών αναπαραστάσεων γλώσσας και εικόνας, αλλά δεν έχει δοθεί αντίστοιχη προσοχή στην παραγωγή βίντεο. Για να αντιμετωπίσει τα εμπόδια στην επιμέλεια δεδομένων βίντεο, το Stable Video Diffusion χρησιμοποιεί εκπαίδευση τριών σταδίων, βελτιώνοντας σημαντικά τα αποτελέσματα και την απόδοση.

Επιμέλεια δεδομένων για σύνθεση βίντεο υψηλής ποιότητας

Στο πρώτο στάδιο πραγματοποιείται προεκπαίδευση εικόνας με ένα δισδιάστατο μοντέλο διάχυσης από κείμενο σε εικόνα. Στο δεύτερο στάδιο πραγματοποιείται προεκπαίδευση βίντεο σε μεγάλο όγκο δεδομένων. Στο τρίτο στάδιο το μοντέλο προσαρμόζεται λεπτομερώς σε ένα μικρό υποσύνολο βίντεο υψηλής ποιότητας και ανάλυσης.

Πριν από αυτά τα στάδια απαιτούνται επεξεργασία και επισημείωση δεδομένων. Αποτελούν τη βάση του δεύτερου σταδίου και είναι κρίσιμες για το τελικό αποτέλεσμα. Για μέγιστη αποδοτικότητα, το πλαίσιο εφαρμόζει πρώτα μια διαδοχική διαδικασία ανίχνευσης αλλαγών πλάνου σε τρία διαφορετικά επίπεδα καρέ ανά δευτερόλεπτο (FPS). Η παρακάτω εικόνα δείχνει γιατί χρειάζεται αυτή η διαδικασία.

Έπειτα, κάθε απόσπασμα βίντεο επισημειώνεται με τρεις διαφορετικές μεθόδους αυτόματης παραγωγής περιγραφών. Ο παρακάτω πίνακας συγκρίνει τα σύνολα δεδομένων πριν και μετά το φιλτράρισμα.

Στάδιο I: Προεκπαίδευση εικόνας

Το πρώτο στάδιο βασίζεται σε προεκπαιδευμένο μοντέλο διάχυσης εικόνας, συγκεκριμένα στο Stable Diffusion 2.1, που παρέχει στο πλαίσιο ισχυρότερες οπτικές αναπαραστάσεις.

Στάδιο II: Προεκπαίδευση βίντεο

Το δεύτερο στάδιο αξιοποιεί το εύρημα ότι η επιμέλεια δεδομένων στα πολυτροπικά μοντέλα παραγωγής εικόνων βελτιώνει τα αποτελέσματα, την αποδοτικότητα και τη διακριτική παραγωγή εικόνων. Δεν υπάρχουν όμως εξίσου ισχυρές έτοιμες αναπαραστάσεις για το φιλτράρισμα ανεπιθύμητων δειγμάτων βίντεο. Έτσι, το Stable Video Diffusion χρησιμοποιεί τις ανθρώπινες προτιμήσεις ως σήματα για τη δημιουργία κατάλληλου συνόλου προεκπαίδευσης. Η παρακάτω εικόνα δείχνει τη θετική επίδραση της προεκπαίδευσης σε επιμελημένο σύνολο δεδομένων και τη βελτίωση της απόδοσης κατά την προεκπαίδευση βίντεο σε μικρότερα σύνολα.

Συγκεκριμένα, το πλαίσιο χρησιμοποιεί διαφορετικές μεθόδους επιμέλειας υποσυνόλων του LVD και εξετάζει την κατάταξη μοντέλων LVD που εκπαιδεύτηκαν σε αυτά. Διαπιστώνει ότι τα επιμελημένα δεδομένα βελτιώνουν την απόδοση τόσο του ίδιου του πλαισίου όσο και των μοντέλων διάχυσης γενικότερα. Η στρατηγική λειτουργεί επίσης σε μεγαλύτερα, πιο σχετικά και πρακτικά σύνολα δεδομένων. Η επόμενη εικόνα παρουσιάζει ξανά τη θετική επίδραση της επιμελημένης προεκπαίδευσης στην απόδοση σε μικρότερα σύνολα βίντεο.

Στάδιο III: Λεπτομερής προσαρμογή υψηλής ποιότητας

Μέχρι το δεύτερο στάδιο, το πλαίσιο επικεντρώνεται στη βελτίωση της απόδοσης μέσω της προεκπαίδευσης βίντεο. Στο τρίτο στάδιο εξετάζει την περαιτέρω βελτίωση μετά την προσαρμογή σε βίντεο υψηλής ποιότητας και τη μετάβαση από το δεύτερο στο τρίτο στάδιο. Χρησιμοποιεί τεχνικές εκπαίδευσης από μοντέλα λανθάνουσας διάχυσης εικόνας και αυξάνει την ανάλυση των παραδειγμάτων εκπαίδευσης. Για να αξιολογήσει τη μέθοδο, τη συγκρίνει σε τρία κατά τα άλλα ίδια μοντέλα που διαφέρουν μόνο στην αρχικοποίηση. Στο πρώτο αρχικοποιούνται τα βάρη και παραλείπεται η εκπαίδευση βίντεο, ενώ τα άλλα δύο αρχικοποιούνται με βάρη από άλλα μοντέλα λανθάνουσας διάχυσης βίντεο.

Αποτελέσματα και ευρήματα

Για την αξιολόγηση σε πραγματικές εργασίες και τη σύγκριση με κορυφαία πλαίσια, το Stable Video Diffusion χρησιμοποιεί πρώτα τη βέλτιστη προσέγγιση δεδομένων για να εκπαιδεύσει ένα βασικό μοντέλο. Έπειτα το προσαρμόζει για να δημιουργήσει διαφορετικά προηγμένα μοντέλα, καθένα για συγκεκριμένη εργασία.

Η παραπάνω εικόνα παρουσιάζει δείγματα υψηλής ανάλυσης από εικόνα σε βίντεο. Η επόμενη δείχνει την ικανότητα παραγωγής βίντεο υψηλής ποιότητας από κείμενο.

Προεκπαιδευμένο βασικό μοντέλο

Το μοντέλο βασίζεται στο Stable Diffusion 2.1. Πρόσφατα ευρήματα έδειξαν ότι η προσαρμογή του προγράμματος θορύβου και η αύξηση του θορύβου κατά την εκπαίδευση των μοντέλων διάχυσης εικόνας ήταν κρίσιμες για την παραγωγή εικόνων καλύτερης ανάλυσης. Με αυτή την προσέγγιση, το βασικό μοντέλο μαθαίνει ισχυρές αναπαραστάσεις κίνησης και ξεπερνά τα μοντέλα αναφοράς στην παραγωγή βίντεο από κείμενο χωρίς πρόσθετα παραδείγματα εκπαίδευσης για την εργασία. Ο παρακάτω πίνακας παρουσιάζει τα αποτελέσματα.

Παρεμβολή καρέ και παραγωγή πολλαπλών όψεων

Το πλαίσιο προσαρμόζει το μοντέλο από εικόνα σε βίντεο σε σύνολα δεδομένων πολλαπλών όψεων, ώστε να παράγει νέες όψεις ενός αντικειμένου. Αυτό το μοντέλο ονομάζεται SVD-MV, δηλαδή Stable Video Diffusion–Multi View. Το αρχικό SVD προσαρμόζεται με δύο σύνολα δεδομένων: δέχεται μία εικόνα και επιστρέφει μια ακολουθία εικόνων πολλαπλών όψεων.

Όπως δείχνουν οι παρακάτω εικόνες, το SVD-MV επιτυγχάνει υψηλή απόδοση συγκρίσιμη με το προηγμένο Scratch Multi View. Τα αποτελέσματα δείχνουν ότι αξιοποιεί αποτελεσματικά όσα έχει μάθει το αρχικό SVD για την παραγωγή πολλαπλών όψεων. Δείχνουν επίσης ότι σχετικά μικρός αριθμός επαναλήψεων εκπαίδευσης δίνει τα καλύτερα αποτελέσματα, όπως συμβαίνει με τα περισσότερα μοντέλα που προσαρμόζονται από το SVD.

Στην παραπάνω εικόνα, οι μετρικές εμφανίζονται αριστερά. Το SVD-MV ξεπερνά με αισθητή διαφορά τα Scratch-MV και SD2.1 Multi-View. Η δεύτερη εικόνα δείχνει την επίδραση του αριθμού επαναλήψεων στην απόδοση βάσει του CLIP Score, με το SVD-MV να διατηρεί σταθερά αποτελέσματα.

Τελικές σκέψεις

Το Stable Video Diffusion είναι ένα μοντέλο διάχυσης βίντεο σε λανθάνοντα χώρο που παράγει προηγμένο περιεχόμενο υψηλής ανάλυσης από εικόνα ή κείμενο. Η ιδιαίτερη στρατηγική του χρησιμοποιεί σταθερή αρχιτεκτονική και σταθερή εκπαίδευση σε μοντέλα αναφοράς, ώστε να αξιολογεί την επίδραση της επιμέλειας δεδομένων.

Τα μοντέλα λανθάνουσας διάχυσης για δισδιάστατες εικόνες βελτιώνουν τις δυνατότητες και την αποδοτικότητα των μοντέλων παραγωγής βίντεο, με πρόσθετα χρονικά επίπεδα και προσαρμογή σε μικρά σύνολα βίντεο υψηλής ποιότητας. Για τη συλλογή δεδομένων προεκπαίδευσης, το πλαίσιο μελετά την κλιμάκωση και εφαρμόζει συστηματικές πρακτικές συλλογής. Προτείνει έτσι μέθοδο επιμέλειας μεγάλου όγκου βίντεο, μετατρέποντας θορυβώδες υλικό σε κατάλληλα δεδομένα εισόδου.

Τα τρία διακριτά στάδια εκπαίδευσης αναλύονται χωριστά για να αξιολογηθεί η συμβολή τους στην απόδοση. Το αποτέλεσμα είναι μια ισχυρή αναπαράσταση βίντεο, κατάλληλη για περαιτέρω προσαρμογή και βέλτιστη σύνθεση βίντεο, με αποτελέσματα συγκρίσιμα με κορυφαία μοντέλα που χρησιμοποιούνται ήδη.