Γεννήστε Καλύτερο AI Βίντεο Από Δύο Εικόνες

Η διαδικασία interpolation βίντεο (VFI) είναι ένα ανοιχτό πρόβλημα στην έρευνα για τα γεννητικά βίντεο. Η πρόκληση είναι να γεννήσει μεσοδιαστήματα πλαισίων μεταξύ δύο υφιστάμενων πλαισίων σε μια ακολουθία βίντεο.

Πατήστε για αναπαραγωγή. Το πλαίσιο FILM, μια συνεργασία μεταξύ της Google και του Πανεπιστημίου του Ουάσιγκτον, πρότεινε μια αποτελεσματική μέθοδο interpolation πλαισίων που παραμένει δημοφιλής στα ερασιτεχνικά και επαγγελματικά σφαιρία. Στο αριστερό μέρος, μπορούμε να δούμε τα δύο ξεχωριστά και διακριτά πλαισία superimposed· στο κέντρο, το ‘τελικό πλαισίο’· και στη δεξιά, η τελική σύνθεση μεταξύ των πλαισίων. Πηγές: https://film-net.github.io/ και https://arxiv.org/pdf/2202.04901

Γενικά, αυτή η τεχνική χρονολογείται πριν από έναν αιώνα και έχει χρησιμοποιηθεί στη παραδοσιακή animation από τότε. Σε αυτό το πλαίσιο, τα κύρια ‘κλειδιά’ πλαισίων θα δημιουργηθούν από έναν κύριο καλλιτέχνη animation, ενώ η δουλειά του ‘tweening’ μεσοδιαστημάτων πλαισίων θα εκτελεστεί από άλλους υπαλλήλους, ως μια πιο μενIAL εργασία.

Πριν από την άνοδο του γεννητικού AI, η interpolation πλαισίων χρησιμοποιήθηκε σε έργα όπως Real-Time Intermediate Flow Estimation (RIFE), Depth-Aware Video Frame Interpolation (DAIN), και το Frame Interpolation for Large Motion (FILM – δείτε παραπάνω) για σκοπούς αύξησης του ρυθμού πλαισίων ενός υφιστάμενου βίντεο, ή για να ενεργοποιήσετε τεχνητά-γεννημένα chậm-κίνητα εφέ. Αυτό επιτυγχάνεται με τη διάσπαση των υφιστάμενων πλαισίων ενός clip και τη δημιουργία εκτιμώμενων μεσοδιαστημάτων πλαισίων.

VFI χρησιμοποιείται επίσης στην ανάπτυξη καλύτερων βίντεο codecs, και, γενικότερα, σε optical flow-based συστήματα (συμπεριλαμβανομένων των γεννητικών συστημάτων), που χρησιμοποιούν προηγούμενη γνώση των ερχόμενων keyframes για να βελτιστοποιήσουν και να διαμορφώσουν το μεσοδιαστηματικό περιεχόμενο που προηγείται τους.

Τελικά Πλαισία σε Γεννητικά Συστήματα Βίντεο

Τα σύγχρονα γεννητικά συστήματα όπως Luma και Kling επιτρέπουν στους χρήστες να ορίσουν ένα αρχικό και ένα τελικό πλαισίο, και μπορούν να εκτελέσουν αυτήν την εργασία αναλύοντας keypoints στα δύο εικόνες και εκτιμώντας μια τροχιά μεταξύ των δύο εικόνων.

Όπως μπορούμε να δούμε στα παρακάτω παραδείγματα, η παροχή ενός ‘κλειδιού’ πλαισίου επιτρέπει στο γεννητικό σύστημα βίντεο (σε αυτήν την περίπτωση, Kling) να διατηρεί πτυχές όπως η ταυτότητα, ακόμη και αν τα αποτελέσματα δεν είναι τέλεια (ιδιαίτερα με μεγάλες κινήσεις).

Πατήστε για αναπαραγωγή. Kling είναι ένα από τα πολλά γεννητικά βίντεο, συμπεριλαμβανομένων Runway και Luma, που επιτρέπουν στον χρήστη να ορίσει ένα τελικό πλαισίο. Σε meisten περιπτώσεις, η ελάχιστη κίνηση θα οδηγήσει στα πιο ρεαλιστικά και λιγότερο ελαττωματικά αποτελέσματα. Πηγή: https://www.youtube.com/watch?v=8oylqODAaH8

Στην παραπάνω περίπτωση, η ταυτότητα του ατόμου είναι συνεχής μεταξύ των δύο keyframes που παρέχονται από τον χρήστη, οδηγώντας σε μια σχετικά συνεχή γεννήθηκε βίντεο.

Όπου μόνο το αρχικό πλαισίο παρέχεται, το παράθυρο προσοχής του γεννητικού συστήματος δεν είναι συνήθως αρκετά μεγάλο για να ‘θυμάται’ πώς ήταν το άτομο στην αρχή του βίντεο. Αντίθετα, η ταυτότητα είναι πιθανό να αλλάξει λίγο με κάθε πλαισίο, μέχρι να χαθεί κάθε ομοιότητα. Στην παρακάτω περίπτωση, μια αρχική εικόνα ανέβηκε, και η κίνηση του ατόμου καθοδηγείται από μια κείμενο-πρόταση:

Πατήστε για αναπαραγωγή. Χωρίς τελικό πλαισίο, το Kling έχει μόνο μια μικρή ομάδα αμέσως προηγούμενων πλαισίων για να καθοδηγήσει τη γεννήθηκε των επόμενων πλαισίων. Σε περιπτώσεις όπου απαιτείται κάποια σημαντική κίνηση, αυτή η ατροφία της ταυτότητας γίνεται σοβαρή.

Μπορούμε να δούμε ότι η ομοιότητα του ηθοποιού δεν είναι ανθεκτική στις οδηγίες,既然 το γεννητικό σύστημα δεν γνωρίζει πώς θα ήταν το άτομο αν χαιρετούσε, και δεν χαιρετάει στην εικόνα-σπέρμα (η μόνη διαθέσιμη αναφορά).

Η πλειοψηφία των ιογενών γεννητικών clips είναι προσεκτικά επιλεγμένα για να υποβαθμίσουν αυτές τις ελλείψεις. Ωστόσο, η πρόοδος των χρονικά συνεστιαμένων γεννητικών συστημάτων βίντεο μπορεί να εξαρτηθεί από νέες εξελίξεις από το ερευνητικό τομέα σχετικά με την interpolation πλαισίων,既然 το μόνο πιθανό εναλλακτικό είναι η εξάρτηση από παραδοσιακά CGI ως οδηγούς, ‘guide’ βίντεο (και ακόμη και σε αυτήν την περίπτωση, η συνέπεια της υφής και του φωτισμού είναι目前 difícil να επιτευχθεί).

Επιπλέον, η αργή-επαναλαμβανόμενη φύση της παραγωγής ενός νέου πλαισίου από μια μικρή ομάδα近期 πλαισίων καθιστά πολύ δύσκολο να επιτύχει μεγάλες και τολμηρές κινήσεις. Αυτό είναι επειδή ένα αντικείμενο που κινείται γρήγορα σε ένα πλαισίο μπορεί να μεταβεί από τη μια πλευρά στην άλλη σε ένα seul πλαισίο, αντίθετα με τις πιο σταδιακές κινήσεις στις οποίες το σύστημα έχει πιθανότατα εκπαιδευτεί.

Ομοίως, μια σημαντική και τολμηρή αλλαγή στάσης μπορεί να οδηγήσει όχι μόνο σε αλλαγή ταυτότητας, αλλά και σε ζωηρές μη-συγκριτές:

Πατήστε για αναπαραγωγή. Σε αυτό το παράδειγμα από Luma, η ζητούμενη κίνηση δεν φαίνεται να είναι καλά-παρασταμένη στα δεδομένα εκπαίδευσης.

Framer

Αυτό μας οδηγεί σε ένα ενδιαφέρον πρόσφατο έγγραφο από την Κίνα, το οποίο ισχυρίζεται ότι έχει επιτύχει ένα νέο state-of-the-art στην αυθεντική-εμφάνιση interpolation πλαισίων – και το οποίο είναι το πρώτο του είδους του που προσφέρει drag-based αλληλεπίδραση χρήστη.

Framer επιτρέπει στον χρήστη να καθοδηγήσει την κίνηση χρησιμοποιώντας μια διεπαφή drag-based, αν και έχει επίσης einen ‘αυτόματο’ τρόπο. Πηγή: https://www.youtube.com/watch?v=4MPGKgn7jRc

Οι εφαρμογές drag-centric έχουν γίνει συχνές στο εγχειρίδιο πρόσφατα καθώς ο ερευνητικός τομέας αγωνίζεται για να παρέχει инструментαλίες για τα γεννητικά συστήματα που δεν βασίζονται στα assez груβά αποτελέσματα που λαμβάνονται από τις κείμενο-πρόταση.

Το νέο σύστημα, με τίτλο Framer, μπορεί όχι μόνο να ακολουθήσει την οδηγία του χρήστη drag, αλλά και έχει einen πιο συμβατικό ‘autopilot’ τρόπο. Εκτός από την παραδοσιακή tweening, το σύστημα είναι ικανό να παράγει time-lapse simulations, καθώς και morphing και νέες απόψεις της εισαγωγής εικόνας.

Μεσοδιαστήματα πλαισίων που παράγονται για μια time-lapse simulation σε Framer. Πηγή: https://arxiv.org/pdf/2410.18978

Σχετικά με την παραγωγή νέων απόψεων, Framer διασχίζει λίγο στο έδαφος των Neural Radiance Fields (NeRF) – αν και απαιτεί μόνο δύο εικόνες, ενώ NeRF γενικά απαιτεί έξι ή περισσότερες εικόνες εισαγωγής.

Σε δοκιμές, Framer, που βασίζεται στο Stable Video Diffusion της Stability.ai, ήταν σε θέση να ξεπεράσει τις προσεγγίσεις των αντιπάλων, σε μια μελέτη χρηστών.

Στην ώρα της γραφής, ο κώδικας είναι προγραμματισμένος να κυκλοφορήσει στο GitHub. Δείγματα βίντεο (από τα οποία προέρχονται οι παραπάνω εικόνες) είναι διαθέσιμα στην ιστοσελίδα του έργου, και οι ερευνητές έχουν επίσης κυκλοφορήσει ένα βίντεο στο YouTube.

Το νέο έγγραφο έχει τίτλο Framer: Interactive Frame Interpolation, και προέρχεται από εννέα ερευνητές σε διάφορες πανεπιστημιακές και ερευνητικές μονάδες.

Μέθοδος

Framer χρησιμοποιεί keypoint-based interpolation σε οποιοδήποτε από τα δύο modalities, όπου η εισαγωγή εικόνας αξιολογείται για βασική τοπολογία, και ‘κινητά’ σημεία ανατίθενται όπου απαιτείται. Σε πραγματικότητα, αυτά τα σημεία είναι ισοδύναμα με τα σημεία προσώπου σε συστήματα ID, αλλά γενικεύονται σε οποιαδήποτε επιφάνεια.

Οι ερευνητές fine-tuned Stable Video Diffusion (SVD) στο OpenVid-1M dataset, προσθέτοντας μια επιπλέον ικανότητα σύνθεσης τελευταίου πλαισίου. Αυτό διευκολύνει einen μηχανισμό ελέγχου τροχιάς (πάνω δεξιά στη σχηματική εικόνα παρακάτω) που μπορεί να αξιολογήσει μια τροχιά προς το τελικό πλαισίο (ή πίσω από αυτό).

Σχέδιο για Framer.

Σχετικά με την προσθήκη της τελευταίας συνθήκης πλαισίου, οι συγγραφείς αναφέρουν:

‘Για να διατηρήσουμε το οπτικό προηγούμενο του προ-εκπαιδευμένου SVD όσο το δυνατόν, ακολουθούμε το παράδειγμα συνθήκης του SVD και εγχέουμε συνθήκες τελικού πλαισίου στο latent χώρο και σεμαντικό χώρο, αντίστοιχα.

‘Συγκεκριμένα, συνδυάζουμε το VAE-κωδικοποιημένο latent χαρακτηριστικό του πρώτου [πλαισίου] με το θορυβώδες latent του πρώτου πλαισίου, όπως έγινε στο SVD. Επιπλέον, συνδυάζουμε το latent χαρακτηριστικό του τελευταίου πλαισίου, zn, με το θορυβώδες latent του τελικού πλαισίου, λαμβάνοντας υπόψη ότι οι συνθήκες και τα αντίστοιχα θορυβώδη latents είναι χωρικά ευθυγραμμισμένα.

‘Επιπλέον, εξάγουμε το CLIP image embedding του πρώτου και του τελευταίου πλαισίου ξεχωριστά και τα συνδυάζουμε για cross-attention feature injection.’

Για την drag-based λειτουργικότητα, ο μηχανισμός τροχιάς αξιοποιεί το πλαίσιο CoTracker της Meta Ai, το οποίο αξιολογεί πολλές πιθανές τροχιές μπροστά. Αυτές οι τροχιές λιγοστεύουν σε 1-10 πιθανές τροχιές.

Οι συντεταγμένες των σημείων που λαμβάνονται μετατρέπονται μέσω μιας μεθοδολογίας που εμπνέεται από τις αρχιτεκτονικές DragNUWA και DragAnything. Αυτό αποκτήθηκε ένα Gaussian heatmap, το οποίο διευκρινίζει τις στόχους περιοχές για κίνηση.

Στη συνέχεια, τα δεδομένα τροφοδοτούνται στα μηχανισμοί συνθήκης του ControlNet, ενός輔助 συστήματος που αρχικά σχεδιάστηκε για το Stable Diffusion, και από τότε προσαρμόστηκε σε άλλες αρχιτεκτονικές.

Για τον ‘autopilot’ τρόπο, η αντιστοίχηση χαρακτηριστικών αρχικά επιτυγχάνεται μέσω του SIFT, το οποίο ερμηνεύει μια τροχιά που μπορεί να περάσει σε einen auto-ενημερώσιμο μηχανισμό που εμπνέεται από το DragGAN και το DragDiffusion.

Σχέδιο για εκτίμηση τροχιάς σημείων σε Framer.

Δεδομένα και Δοκιμές

Για την fine-tuning του Framer, οι χωρικές προσοχές και οι残 blocks были παγωμένοι, και μόνο οι στρώσεις προσοχής χρόνου και οι残 blocks επηρεάστηκαν.

Το μοντέλο εκπαιδεύτηκε για 10.000 επαναλήψεις με AdamW, σε μια ταχύτητα μάθησης 1e-4, και ένα μέγεθος batch 16. Η εκπαίδευση πραγματοποιήθηκε σε 16 NVIDIA A100 GPUs.

Καθώς οι προηγούμενες προσεγγίσεις στο πρόβλημα δεν προσφέρουν drag-based επεξεργασία, οι ερευνητές επέλεξαν να συγκρίνουν τον ‘autopilot’ τρόπο του Framer με την τυπική λειτουργικότητα των παλαιότερων προσεγγίσεων.

Τα πλαίσια που δοκιμάστηκαν για την κατηγορία των τρεχουσών diffusion-βασισμένων συστημάτων βίντεο ήταν LDMVFI· Dynamic Crafter· και SVDKFI. Για τα ‘παραδοσιακά’ συστήματα βίντεο, τα πλαίσια που δοκιμάστηκαν ήταν AMT· RIFE· FLAVR· και το προαναφερθέν FILM.

Επιπλέον της μελέτης χρηστών, δοκιμές πραγματοποιήθηκαν πάνω στα DAVIS και UCF101 datasets.

Οι ποιοτικές δοκιμές μπορούν να αξιολογηθούν μόνο από τις αντικειμενικές ικανότητες της ερευνητικής ομάδας και από τις μελέτες χρηστών. Ωστόσο, το έγγραφο σημειώνει, οι παραδοσιακές ποσοτικές μετρικές είναι σε μεγάλο βαθμό ακατάλληλες για την πρόταση που έχει τεθεί:

‘[Reconstruction] μετρικές όπως PSNR, SSIM, και LPIPS αποτυγχάνουν να καταγράψουν την ποιότητα των interpolated πλαισίων ακριβώς,既然 αυτές τις μετρικές ποινικοποιούν άλλες πιθανές interpolations που δεν είναι pixel-ευθυγραμμισμένες με το αρχικό βίντεο.

‘Ενώ μετρικές γεννήσεως όπως FID προσφέρουν κάποια βελτίωση, ακόμη και αυτές δεν είναι επαρκείς既然 δεν λαμβάνουν υπόψη τη χρονική συνέπεια και αξιολογούν τα πλαισία σε απομόνωση.’

Παρά τούτο, οι ερευνητές διεξήγαγαν ποιοτικές δοκιμές με διάφορες δημοφιλείς μετρικές:

Ποσοτικές αποτελέσματα για Framer vs. αντίπαλες συστήματα.

Οι συγγραφείς σημειώνουν ότι παρά το γεγονός ότι είχαν τις πιθανότητες εναντίον τους, Framer ακόμη επιτύγχασε το καλύτερο FVD score μεταξύ των μεθόδων που δοκιμάστηκαν.

Παρακάτω είναι τα δείγματα αποτελεσμάτων του εγγράφου για μια ποιοτική σύγκριση:

Ποιοτική σύγκριση με προηγούμενες προσεγγίσεις. Παρακαλώ αναφερθείτε στο έγγραφο για καλύτερη ανάλυση, καθώς και για αποτελέσματα βίντεο στο https://www.youtube.com/watch?v=4MPGKgn7jRc.

Οι συγγραφείς σχολιάζουν:

‘[Η] μέθοδος μας παράγει σημαντικά πιο καθαρά κείμενα και φυσική κίνηση σε σύγκριση με τις υπάρχουσες μεθόδους interpolation. Ειδικά, εκτελείται πολύ καλά σε σενάρια με σημαντικές διαφορές μεταξύ των εισαγωγικών πλαισίων, όπου οι παραδοσιακές μεθόδους συχνά αποτυγχάνουν να interpolούν το περιεχόμενο ακριβώς.

‘Σε σύγκριση με άλλες diffusion-βασισμένες μεθόδους όπως LDMVFI και SVDKFI, Framer αποδεικνύει ανώτερη προσαρμοστικότητα σε δύσκολα σενάρια και προσφέρει καλύτερο έλεγχο.’

Για τη μελέτη χρηστών, οι ερευνητές συγκέντρωσαν 20 συμμετέχοντες, οι οποίοι αξιολόγησαν 100 τυχαία-διατεταγμένα αποτελέσματα βίντεο από τις διάφορες μεθόδους που δοκιμάστηκαν. Έτσι, 1000 αξιολογήσεις λαμβάνονται, αξιολογώντας τις πιο ‘ρεαλιστικές’ προτάσεις:

Αποτελέσματα από τη μελέτη χρηστών.

Όπως φαίνεται από το γράφημα παραπάνω, οι χρήστες επέλεξαν υπερβολικά τα αποτελέσματα από Framer.

Το συνοδευτικό βίντεο στο YouTube βίντεο περιγράφει κάποιες από τις πιθανές άλλες χρήσεις του Framer, συμπεριλαμβανομένης της morphing και cartoon in-betweening – όπου η整η концепция ξεκίνησε.

Συμπέρασμα

Είναι δύσκολο να υπερβολically την σημασία αυτής της πρόκλησης για την εργασία της AI-βασισμένης γεννήσεως βίντεο. Μέχρι τώρα, παλαιότερες λύσεις όπως FILM και η (μη-AI) EbSynth έχουν χρησιμοποιηθεί, και από ερασιτεχνικά και επαγγελματικά communities, για tweening μεταξύ πλαισίων· αλλά αυτές οι λύσεις έρχονται με αξιοσημείωτες περιορισμοί.

Λόγω της δόλιας επιλογής των επίσημων βίντεο-παραδειγμάτων για τα νέα T2V πλαίσια, υπάρχει μια ευρεία δημόσια παρεξήγηση ότι τα συστήματα machine learning μπορούν να ανακαλύψουν ακριβώς τη γεωμετρία σε κίνηση χωρίς να χρειάζονται μηχανισμούς καθοδήγησης όπως 3D morphable μοντέλα (3DMMs), ή άλλες βοηθητικές προσεγγίσεις, όπως LoRAs.

Για να είμαστε ειλικρινείς, το tweening itu-même, ακόμη και αν θα μπορούσε να εκτελεστεί τέλεια, συνιστά μόνο ένα ‘hack’ ή απάτη σε αυτό το πρόβλημα. Παρόλα αυτά,既然 είναι συχνά πιο εύκολο να παράγουν δύο καλά-ευθυγραμμισμένα πλαισιά παρά να επιτύχουν καθοδήγηση μέσω κειμένου-πρότασης ή του τρέχοντος εύρους εναλλακτικών, είναι καλό να δούμε την προοδευτική πρόοδο σε μια AI-βασισμένη εκδοχή αυτής της παλαιότερης μεθόδου.

Πρώτη δημοσίευση Τρίτη, Οκτωβρίου 29, 2024