Μαγείρεμα για τη Συνέχεια της Αφήγησης για τη Δημιουργία Μακρών Βίντεο

Η πρόσφατη δημόσια κυκλοφορία του γενετικού μοντέλου Hunyuan Video έχει εντείνει τις συνεχιζόμενες συζητήσεις σχετικά με το потенシャル των μεγάλων μοντέλων όρασης-γλώσσας να δημιουργήσουν ολόκληρες ταινίες.

Ωστόσο, όπως έχουμε παρατηρήσει, αυτό είναι ένα πολύ μακρινό προοπτικό για την ώρα, για eine σειρά από λόγους. Ένας από αυτούς είναι το πολύ σύντομο παράθυρο προσοχής των περισσότερων γενετικών συστημάτων βίντεο, τα οποία δυσκολεύονται να διατηρήσουν τη συνέχεια ακόμη και σε μια σύντομη μονή λήψη, όχι σε μια σειρά λήψεων.

Ένας άλλος λόγος είναι ότι συνεχείς αναφορές σε περιεχόμενο βίντεο (όπως εξερεύνησιμες περιβάλλοντες, τα οποία δεν πρέπει να αλλάζουν τυχαία αν ξαναπεράσετε τα βήματα σας μέσα από αυτά) μπορούν να επιτευχθούν σε μοντέλα διάχυσης μόνο με τεχνικές προσαρμογής όπως η προσαρμογή χαμηλού βαθμού (LoRA), η οποία περιορίζει τις ικανότητες των μοντέλων βάσης.

Επομένως, η εξέλιξη των γενετικών βίντεο φαίνεται να έχει σταματήσει, εκτός αν αναπτυχθούν νέες προσεγγίσεις για τη συνέχεια της αφήγησης.

Συνταγή για τη Συνέχεια

Με αυτό στο μυαλό, μια νέα συνεργασία μεταξύ των ΗΠΑ και της Κίνας έχει προτείνει τη χρήση βίντεο μαγειρικής ως πιθανό πρότυπο για μελλοντικά συστήματα συνέχειας αφήγησης.

Κάντε κλικ για να παίξετε. Το VideoAuteur συστηματοποιεί την ανάλυση τμημάτων μιας διαδικασίας μαγειρικής, για να παράγει ένα λεπτομερώς υποτιτλισμένο νέο σύνολο δεδομένων και μια μέθοδο ορχήστρας για τη δημιουργία βίντεο μαγειρικής. Ανατρέξτε στην πηγή για καλύτερη ανάλυση. Πηγή: https://videoauteur.github.io/

Με τίτλο VideoAuteur, το έργο προτείνει μια διπλή διαδικασία για τη δημιουργία βίντεο μαγειρικής χρησιμοποιώντας συνεκτικές καταστάσεις που συνδυάζουν κλειδιά και υποτιτλισμούς, επιτυγχάνοντας αποτελέσματα υψηλής ποιότητας σε – αναμφισβήτητα – ένα υποκατειλημμένο χώρο.

Η σελίδα του έργου VideoAuteur περιλαμβάνει επίσης eine σειρά από πιο εντυπωσιακά βίντεο που χρησιμοποιούν την ίδια τεχνική, όπως μια προτεινόμενη προεπισκόπηση για μια (μη υφιστάμενη) ταινία Marvel/DC:

Κάντε κλικ για να παίξετε. Δύο υπερήρωες από εναλλακτικά σύμπαντα έρχονται αντιμέτωποι σε μια ψευδή προεπισκόπηση από το VideoAuteur. Ανατρέξτε στην πηγή για καλύτερη ανάλυση.

Η σελίδα περιλαμβάνει επίσης παρόμοια στυλιστικά βίντεο για μια μη υφιστάμενη σειρά ζώων του Netflix και μια διαφήμιση αυτοκινήτου Tesla (TSLA ).

Κατά την ανάπτυξη του VideoAuteur, οι συγγραφείς πειραματίστηκαν με διάφορες συναρτήσεις απώλειας και άλλες καινοτόμες προσεγγίσεις. Για να αναπτύξουν μια συνταγή για τη δημιουργία βίντεο μαγειρικής, καλλιέργησαν το CookGen, το μεγαλύτερο σύνολο δεδομένων που επικεντρώνεται στο χώρο της μαγειρικής, με 200.000 βίντεο κλιπ με μέσο χρόνο διάρκειας 9,5 δευτερολέπτων.

Με μέσο όρο 768,3 λέξεις ανά βίντεο, το CookGen είναι άνετα το πιο εκτενώς υποτιτλισμένο σύνολο δεδομένων του είδους. Διάφορα μοντέλα όρασης-γλώσσας χρησιμοποιήθηκαν, μεταξύ άλλων προσεγγίσεων, για να διασφαλιστεί ότι οι περιγραφές ήταν τόσο λεπτομερείς, σχετικές και ακριβείς όσο δυνατόν.

Τα βίντεο μαγειρικής επιλέχθηκαν επειδή οι οδηγίες μαγειρικής έχουν μια δομημένη και αμφισβήτητη αφήγηση, καθιστώντας την ανότηση και την αξιολόγηση μια ευκολότερη εργασία. Εκτός από τα πορνογραφικά βίντεο (πιθανό να εισέλθουν σε αυτόν τον χώρο σύντομα), είναι δύσκολο να σκεφτεί κανείς άλλο είδος τόσο οπτικά και αφηγηματικά ‘τυπωμένο’.

Οι συγγραφείς δηλώνουν:

‘Η προτεινόμενη μας διπλή αυτο-αναδρομική διαδικασία, η οποία περιλαμβάνει einen μακρύ σκηνοθέτη αφήγησης και οπτικά-υποусловμένη δημιουργία βίντεο, αποδεικνύει υποσχόμενες βελτιώσεις στη σημασιολογική συνέχεια και οπτική πιστότητα στα γεννημένα μακρά βίντεο αφήγησης.

‘Μέσω των πειραμάτων μας στο σύνολο δεδομένων, παρατηρούμε ενισχύσεις στη χωρική και χρονική συνεκτικότητα σε ακολουθίες βίντεο. ‘

‘Ελπίζουμε ότι η δουλειά μας μπορεί να διευκολύνει περαιτέρω έρευνα στη δημιουργία μακρών βίντεο αφήγησης.’

Το νέο έργο έχει τον τίτλο VideoAuteur: Προς τη Δημιουργία Μακρών Βίντεο Αφήγησης, και προέρχεται από οκτώ συγγραφείς από το Πανεπιστήμιο Johns Hopkins, ByteDance και ByteDance Seed.

Δημιουργία Συνολών Δεδομένων

Για να αναπτύξουν το CookGen, το οποίο τροφοδοτεί ένα διπλό γενετικό σύστημα για την παραγωγή βίντεο μαγειρικής, οι συγγραφείς χρησιμοποίησαν υλικό από τις συλλογές YouCook και HowTo100M. Οι συγγραφείς συγκρίνουν το μέγεθος του CookGen με προηγούμενα σύνολα δεδομένων που επικεντρώνονται στην ανάπτυξη αφήγησης σε γενετικά βίντεο, όπως το Flintstones dataset, το Pororo cartoon dataset, StoryGen, το StoryStream της Tencent και VIST.

Σύγκριση εικόνων και μήκους κειμένου μεταξύ CookGen και των πλησιέστερων συνόλων δεδομένων. Πηγή: https://arxiv.org/pdf/2501.06173

Το CookGen επικεντρώνεται σε πραγματικές αφηγήσεις, ιδιαίτερα σε διαδικασίες όπως η μαγειρική, προσφέροντας πιο καθαρές και εύκολες να αναλυθούν ιστορίες σε σύγκριση με σύνολα δεδομένων που βασίζονται σε εικόνες. Υπερβαίνει το μεγαλύτερο υπάρχον σύνολο δεδομένων, το StoryStream, με 150 φορές περισσότερα кадράκια και 5 φορές πυκνότερες κειμενικές περιγραφές.

Οι ερευνητές προσάρμοσαν ένα μοντέλο υποτιτλισμού χρησιμοποιώντας τη μεθοδολογία του LLaVA-NeXT ως βάση. Οι ψευδο-ετικέτες ASR που αποκτήθηκαν για το HowTo100M χρησιμοποιήθηκαν ως ‘ενέργειες’ για κάθε βίντεο και στη συνέχεια βελτιώθηκαν περαιτέρω από μεγάλες γλωσσικές μοντέλα (LLMs).

Για παράδειγμα, το ChatGPT-4o χρησιμοποιήθηκε για να παράγει ένα σύνολο δεδομένων υποτιτλισμού και ζητήθηκε να επικεντρωθεί στις αλληλεπιδράσεις αντικειμένου-υποκειμένου (όπως τα χέρια που χειρίζονται σκεύη και φαγητό), τις ιδιότητες αντικειμένων και τις χρονικές δυναμικές.

Καθώς τα σενάρια ASR είναι πιθανό να περιέχουν ανακρίβειες και να είναι γενικά ‘θορυβώδη’, χρησιμοποιήθηκε η Intersection-over-Union (IoU) ως μετρική για να μετρηθεί πόσο στενά ταυτίζονται οι υποτιτλισμοί με το τμήμα του βίντεο που αφορούν. Οι συγγραφείς σημειώνουν ότι αυτό ήταν κρίσιμο για τη δημιουργία αφηγηματικής συνέχειας.

Τα καλλιεργημένα κλιπ αξιολογήθηκαν χρησιμοποιώντας Fréchet Video Distance (FVD), το οποίο μετρά την απόσταση μεταξύ πραγματικών (πραγματικού κόσμου) παραδειγμάτων και γεννημένων παραδειγμάτων, και με ή χωρίς πραγματικά κλειδιά, φθάνοντας σε ένα αποτελεσματικό αποτέλεσμα:

Χρήση FVD για την αξιολόγηση της απόστασης μεταξύ βίντεο που γεννήθηκαν με τους νέους υποτιτλισμούς, και με ή χωρίς την χρήση κλειδιών που πάρθηκαν από τα δείγματα βίντεο.

Επιπλέον, τα κλιπ αξιολογήθηκαν και από το GPT-4o και έξι ανθρώπινους αναλυτές, ακολουθώντας LLaVA-Hound‘s ορισμό της ‘hallucination’ (δηλαδή, την ικανότητα ενός μοντέλου να εφευρίσκει πλασματικά περιεχόμενα).

Οι ερευνητές σύγκρινε την ποιότητα των υποτιτλισμών με το Qwen2-VL-72B σύνολο, αποκτώντας μια ελαφρώς βελτιωμένη βαθμολογία.

Σύγκριση βαθμολογιών FVD και ανθρώπινης αξιολόγησης μεταξύ Qwen2-VL-72B και της συλλογής των συγγραφέων.

Μέθοδος

Η γενετική φάση του VideoAuteur διαιρείται μεταξύ του Διευθυντή Μακράς Αφήγησης (LND) και του οπτικά-υποусловμένου μοντέλου δημιουργίας βίντεο (VCVGM).

Ο LND γεννάει μια ακολουθία οπτικών ενσωματώσεων ή κλειδιών που χαρακτηρίζουν τη ροή της αφήγησης, παρόμοια με ‘ασήμαντα σημεία’. Το VCVGM γεννάει κλιπ βίντεο με βάση αυτές τις επιλογές.

Σχήμα για τη διαδικασία επεξεργασίας του VideoAuteur. Ο Διευθυντής Μακράς Αφήγησης κάνει τις κατάλληλες επιλογές για να τροφοδοτήσει το γενετικό μοντέλο Seed-X.

Οι συγγραφείς συζητούν εκτενώς τα διαφορετικά πλεονεκτήματα μιας διευθύνσεως εικόνας-κειμένου και ενός διευθυντή κλειδιών που βασίζεται στη γλώσσα, και καταλήγουν στο συμπέρασμα ότι η πρώτη είναι η πιο αποτελεσματική προσέγγιση.

Η διεύθυνση εικόνας-κειμένου γεννάει μια ακολουθία με την εναλλαγή των κειμένων και των οπτικών ενσωματώσεων, χρησιμοποιώντας ένα αυτο-αναδρομικό μοντέλο για να προβλέψει το επόμενο κείμενο, με βάση το συνδυασμένο контέκστ της γλώσσας και των εικόνων. Αυτό διασφαλίζει μια στενή ευθυγράμμιση μεταξύ των οπτικών και της γλώσσας.

Αντίθετα, ο διευθυντής κλειδιών που βασίζεται στη γλώσσα συνθέτει κλειδιά χρησιμοποιώντας ένα μοντέλο διάχυσης που βασίζεται στη γλώσσα, χωρίς να ενσωματώνει οπτικές ενσωματώσεις στη διαδικασία δημιουργίας.

Οι ερευνητές βρήκαν ότι ενώ η γλώσσα-κεντρική μέθοδος γεννάει οπτικά ελκυστικά κλειδιά, της λείπει η συνέχεια μεταξύ των καδράκων, υποστηρίζοντας ότι η διευθύνση εικόνας-κειμένου επιτυγχάνει υψηλότερες βαθμολογίες σε ρεαλισμό και οπτική συνέχεια. Επίσης, βρήκαν ότι αυτή η μέθοδος ήταν σε θέση να μάθει έναν ρεαλιστικό οπτικό στυλ μέσω της εκπαίδευσης, αν και μερικές φορές με κάποια επαναλαμβανόμενα ή θορυβώδη στοιχεία.

Ανίκανα, σε μια έρευνα που κυριαρχείται από την προσάρμοση του Stable Diffusion και του Flux σε διαδικασίες, οι συγγραφείς χρησιμοποίησαν το SEED-X 7B-παραμετρικό μοντέλο LLM για τη γενετική διαδικασία (αν και αυτό το μοντέλο χρησιμοποιεί την κυκλοφορία SDXL του Stability.ai’s Stable Diffusion για ένα περιορισμένο μέρος της αρχιτεκτονικής του).

Οι συγγραφείς δηλώνουν:

‘Ανίκανα από την κλασική διαδικασία Image-to-Video (I2V) που χρησιμοποιεί μια εικόνα ως την αρχική καρέ, η προσέγγισή μας χρησιμοποιεί [περιγραφές οπτικών λατών] ως συνεχείς συνθήκες σε όλη τη διάρκεια της ακολουθίας.

‘Επιπλέον, βελτιώνουμε τη ρομποτική και την ποιότητα των γεννημένων βίντεο, προσαρμόζοντας το μοντέλο για να χειρίζεται θορυβώδεις οπτικές ενσωματώσεις,既然 οι περιγραφές οπτικών λατών μπορεί να μην είναι τέλειες λόγω σφαλμάτων регрессии.’

Δοκιμές

Σύμφωνα με τις μεθόδους του SeedStory, οι ερευνητές χρησιμοποιούν το SEED-X για να εφαρμόσουν προσαρμογή LoRA στο σύνολο δεδομένων αφήγησης, περιγράφοντας το αποτέλεσμα ως ένα ‘Sora-like’ μοντέλο, προ-εκπαιδευμένο σε μεγάλης κλίμακας συνδυασμούς βίντεο-κειμένου, και ικανό να δέχεται τόσο οπτικές όσο και κειμενικές προτροπές και συνθήκες.

32.000 βίντεο αφήγησης χρησιμοποιήθηκαν για την ανάπτυξη του μοντέλου, με 1.000 να κρατούνται ως δείγματα επαλήθευσης. Τα βίντεο κόπηκαν σε 448 εικονοστοιχεία στην κοντύτερη πλευρά και στη συνέχεια κεντρο-κόπηκαν σε 448x448px.

Για την εκπαίδευση, η δημιουργία αφήγησης αξιολογήθηκε κυρίως στο σύνολο επαλήθευσης YouCook2. Το σύνολο Howto100M χρησιμοποιήθηκε για την αξιολόγηση της ποιότητας των δεδομένων και επίσης για τη δημιουργία βίντεο από εικόνες.

Για την οπτική συνθήκη απώλειας, οι συγγραφείς χρησιμοποίησαν απώλεια διάχυσης από το DiT και μια εργασία του 2024 που βασίζεται στο Stable Diffusion.

Για να αποδείξουν την άποψή τους ότι η διευθύνση εικόνας-κειμένου είναι μια ανώτερη προσέγγιση, οι συγγραφείς έθεσαν το VideoAuteur ενάντια σε μεθόδους που βασίζονται αποκλειστικά σε κειμενικές εισόδους: EMU-2, SEED-X, SDXL και FLUX.1-schnell (FLUX.1-s).

Δεδομένου ενός παγκόσμιου προτροπής, ‘Βήμα-προς-βήμα οδηγός για τη μαγειρική του mapo tofu’, ο διευθυντής εικόνας-κειμένου γεννάει ενέργειες, υποτιτλισμούς και οπτικές ενσωματώσεις ακολουθιακά για να αφηγηθεί τη διαδικασία. Οι πρώτες δύο σειρές δείχνουν κλειδιά που αποκωδικοποιούνται από τους χώρους λατών του EMU-2 και του SEED-X. Αυτές οι εικόνες είναι ρεαλιστικές και συνεκτικές αλλά λιγότερο γυαλιστερές από εκείνες των προηγμένων μοντέλων όπως το SDXL και το FLUX.

Οι συγγραφείς δηλώνουν:

‘Η γλώσσα-κεντρική προσέγγιση που χρησιμοποιεί μοντέλα κειμένου-εικόνας παράγει οπτικά ελκυστικά κλειδιά αλλά πλήττεται από την έλλειψη συνέχειας μεταξύ των καδράκων λόγω περιορισμένης αμοιβαίας πληροφορίας. Αντίθετα, η μέθοδος γεννήσεως εικόνας-κειμένου εκμεταλλεύεται γλωσσικά-συνδεδεμένα οπτικά λατόνια, επιτυγχάνοντας einen ρεαλιστικό οπτικό στυλ μέσω της εκπαίδευσης. ‘

‘Ωστόσο, đôi khi γεννάει εικόνες με επαναλαμβανόμενα ή θορυβώδη στοιχεία, καθώς το αυτο-αναδρομικό μοντέλο αγωνίζεται να δημιουργήσει ακριβείς ενσωματώσεις σε μια seule πέρασμα.’

Η ανθρώπινη αξιολόγηση επιβεβαιώνει περαιτέρω την άποψη των συγγραφέων σχετικά με την βελτιωμένη απόδοση της μεθόδου εικόνας-κειμένου, με τις μεθόδους εικόνας-κειμένου να επιτυγχάνουν τις υψηλότερες βαθμολογίες σε μια έρευνα.

Σύγκριση προσεγγίσεων από μια ανθρώπινη μελέτη που διεξήχθη για το έγγραφο.

Ωστόσο, σημειώνουμε ότι οι γλώσσα-κεντρικές προσεγγίσεις επιτύγχαναν τις καλύτερες αισθητικές βαθμολογίες. Οι συγγραφείς υποστηρίζουν, ωστόσο, ότι αυτό δεν είναι το κεντρικό ζήτημα στη δημιουργία μακρών βίντεο αφήγησης.

Κάντε κλικ για να παίξετε. Τμήματα που γεννήθηκαν για ένα βίντεο κατασκευής πίτσας, από το VideoAuteur.

Συμπέρασμα

Η πιο δημοφιλής κατηγορία ερευνών σχετικά με αυτή την πρόκληση, δηλαδή τη συνέχεια αφήγησης σε μακρά βίντεο, ασχολείται με單ές εικόνες. Έργα αυτού του είδους περιλαμβάνουν DreamStory, StoryDiffusion, TheaterGen και το ConsiStory της NVIDIA.

Σε κάποιο βαθμό, το VideoAuteur επίσης ανήκει σε αυτήν την ‘στατική’ κατηγορία,既然 χρησιμοποιεί εικόνες-σπέρματα από τις οποίες γεννιούνται τμήματα. Ωστόσο, η εναλλαγή του βίντεο και του σημασιολογικού περιεχομένου φέρνει τη διαδικασία ένα βήμα πιο κοντά σε μια πρακτική διαδικασία.

Πρώτη δημοσίευση Πέμπτη, 16 Ιανουαρίου 2025