Ένας κωδικοποιητής βίντεο για πλάνα που δημιουργούνται με AI

Καθώς η εποχή της απεριόριστης χρήσης AI πλησιάζει στο τέλος της, μια νέα οικονομική προσέγγιση στη δημιουργία βίντεο με AI υπόσχεται σημαντική εξοικονόμηση tokens και χρόνου.

Το πραγματικό κόστος της εξαγωγής συμπερασμάτων από μοντέλα AI φέρνει μια νέα δόση ρεαλισμού στον καταιγιστικό ρυθμό της σημερινής επανάστασης της AI, ενώ αυξάνεται το ενδιαφέρον για τον εξορθολογισμό του κόστους της μηχανικής μάθησης. Εκτός από τη δυνατότητα λειτουργίας της AI εντός του ίδιου του οργανισμού και τη γενικότερη άνοδο της ιδιωτικής AI, βελτιστοποίηση θα χρειαστούν φυσικά και οι διαδικασίες μηχανικής μάθησης που απαιτούν πολλή μνήμη VRAM και άλλους πόρους.

Η δημιουργία βίντεο με AI είναι ίσως ο μεγαλύτερος καταναλωτής πόρων σε αυτόν τον τομέα. Αν έχετε ποτέ συμπιέσει ξανά μια ταινία ή την έχετε εξαγάγει από πρόγραμμα επεξεργασίας βίντεο, γνωρίζετε την επιβάρυνση που προκαλεί αυτή η εργασία, η οποία δεν αφορά AI, στο υλικό σας: καταναλώνει RAM και κύκλους CPU και συχνά εμποδίζει κάθε άλλη χρήση του υπολογιστή, εκτός αν περιοριστεί η επίδραση του αλγορίθμου συμπίεσης.

Αρκεί επομένως να φανταστούμε σε ποια κλίμακα η άνοδος του βίντεο AI επαναλαμβάνει αυτή την απαιτητική σε υπολογιστική ισχύ διαδικασία στα κέντρα δεδομένων όλου του κόσμου. Σε τέτοια κλίμακα, ακόμη και οι μικρότερες βελτιώσεις αποκτούν αμέσως σημασία όταν αθροιστούν.

Το καρέ στο επίκεντρο

Σε αυτό το πλαίσιο, μια νέα ερευνητική εργασία από τη Σανγκάη, σε συνεργασία με την JD.com (JD ), προτείνει έναν κωδικοποιητή βίντεο που δεν στοχεύει στην τελική απόδοση του βίντεο, δηλαδή στη συμπίεση μεγάλων ακατέργαστων καρέ σε μικρότερο αρχείο, αλλά στην ίδια τη διαδικασία δημιουργίας βίντεο με AI.

Ένας συνηθισμένος κωδικοποιητής βίντεο δεν αποθηκεύει κάθε καρέ ως πλήρη εικόνα. Αντίθετα, δημιουργεί μικρότερο αριθμό πλήρων εικόνων, που ονομάζονται καρέ I, και στη συνέχεια αποθηκεύει τις αλλαγές μεταξύ των καρέ.

Για παράδειγμα, αν ένας άνθρωπος κινηθεί ελαφρά σε ένα βίντεο, ο κωδικοποιητής καταγράφει μόνο τα μέρη του καρέ που άλλαξαν, αντί να αποθηκεύσει ξανά ολόκληρη τη σκηνή. Πρόκειται για τα καρέ P, που προκύπτουν από προηγούμενα καρέ, και τα καρέ B, που μπορούν επίσης να αξιοποιήσουν πληροφορίες από επόμενα καρέ:

Δομή ενός κωδικοποιητή βίντεο: η επάνω σειρά δείχνει διαδοχικά καρέ με τις ενδείξεις I, P και B. Τα καρέ I αποθηκεύονται ολόκληρα και εμφανίζονται με πλήρη χρώματα, ενώ τα καρέ P και B εμφανίζονται ξεθωριασμένα για να δηλώσουν την ανακατασκευή τους. Τα βέλη δείχνουν αν χρησιμοποιούνται προηγούμενα καρέ, επόμενα καρέ ή και τα δύο. Τα κάτω τμήματα απεικονίζουν ένα πλήρως αποθηκευμένο καρέ (I, αριστερά), ένα καρέ που σχηματίζεται από προηγούμενο καρέ (P, δεύτερο από αριστερά) και ένα καρέ που σχηματίζεται από προηγούμενα και επόμενα καρέ (B, δεξιά).

Η επαναχρησιμοποίηση γειτονικών πληροφοριών διατηρεί μικρά τα αρχεία βίντεο. Τα περισσότερα καρέ δεν είναι νέες εικόνες, αλλά οδηγίες που περιγράφουν τις αλλαγές από το προηγούμενο καρέ. Τα καρέ I είναι επομένως πλήρεις ασυμπίεστες ή ελάχιστα συμπιεσμένες εικόνες που καταλαμβάνουν πολύ χώρο. Τα ενδιάμεσα καρέ περιέχουν μόνο τις διαφορές από τα καρέ I και μεταξύ τους.

Όταν κάθε μεμονωμένο καρέ είναι μια πλήρης ασυμπίεστη εικόνα, η ταινία ουσιαστικά δεν έχει συμπίεση. Μια δίωρη ταινία αποθηκευμένη με αυτόν τον τρόπο θα απαιτούσε σχεδόν ένα terabyte χώρου στον δίσκο ή και περισσότερο. Κι όμως, έτσι δημιουργεί ταινίες η AI^† : κατανέμει ίσους πόρους και tokens σε κάθε καρέ, καθώς υπολογίζει πώς θα συνθέσει το βίντεο.

Εξοικονόμηση σε μεγάλη κλίμακα

Η νέα εργασία με τίτλο AdaCodec: A Predictive Visual Code for Video MLLMs χρησιμοποιεί, αντίθετα, πλήρη οπτικά tokens αποκλειστικά σε καρέ αναφοράς (καρέ I), ενώ αναπαριστά όλα τα ενδιάμεσα καρέ ως συμπαγή P-tokens. Η αρχή αυτή προέρχεται σαφώς από την παραδοσιακή συμπίεση των συμβατικών κωδικοποιητών βίντεο.

Μετά από αυτή την εσωτερική συμπίεση, το βίντεο που δημιουργεί η AI μπορεί να συμπιεστεί με τον συνηθισμένο τρόπο. Θεωρητικά, όλη η εξοικονόμηση γίνεται στην πλευρά του διακομιστή:

Επισκόπηση του AdaCodec. Αριστερά, τα βίντεο χωρίζονται σε προσαρμοζόμενες ομάδες καρέ. Πλήρη καρέ I χρησιμοποιούνται στις στιγμές που είναι δύσκολο να προβλεφθούν, ενώ τα ενδιάμεσα καρέ P αναπαρίστανται με συμπαγείς πληροφορίες κίνησης και υπολοίπου. Δεξιά, το σύστημα ισοφαρίζει ή ξεπερνά το Qwen3-VL-8B σε έντεκα δοκιμές αξιολόγησης, διατηρεί υψηλότερη ακρίβεια στα βίντεο μεγάλης διάρκειας με διαφορετικούς προϋπολογισμούς tokens και μειώνει την καθυστέρηση απόκρισης, επεξεργαζόμενο σημαντικά λιγότερα tokens βίντεο. Πηγή

Σύμφωνα με τα αναφερόμενα αποτελέσματα των δοκιμών του AdaCodec, αξίζει να επιδιωχθεί αυτή η εξοικονόμηση. Η εργασία αναφέρει ότι το σύστημα ξεπέρασε το μη τροποποιημένο μοντέλο Qwen3-VL-8B σε όλες τις κύριες δοκιμές αξιολόγησης με τον ίδιο όγκο υπολογισμών. Εξακολούθησε να ισοφαρίζει ή να ξεπερνά την απόδοσή του ακόμη και μετά τη μείωση των tokens βίντεο κατά περίπου 86%.

Οι συγγραφείς αναφέρουν*:

«Εμπνεόμαστε από την προβλεπτική κωδικοποίηση, στην οποία ένα σύστημα μεταδίδει τα σφάλματα μιας πρόβλεψης αντί για το ακατέργαστο σήμα. Η αρχή αυτή έχει βιολογική βάση: θεωρείται ότι το οπτικό σύστημα κωδικοποιεί τα σφάλματα πρόβλεψης, δηλαδή τη διαφορά ανάμεσα στην αναμενόμενη και την παρατηρούμενη είσοδο, αντί της ίδιας της εισόδου.»

«Οι σύγχρονοι κωδικοποιητές βίντεο εφαρμόζουν την ίδια ιδέα κωδικοποίησης υπολοίπου στην τεχνολογία: τα καρέ αναφοράς μεταφέρουν ολόκληρο το περιεχόμενο, ενώ τα προβλεπόμενα καρέ μεταφέρουν σήματα κίνησης και υπολοίπου σε σχέση με ένα καρέ αναφοράς.»

«Αυτά τα συστήματα έχουν διαφορετικούς στόχους, αλλά μοιράζονται την ίδια δομή υπό συνθήκη: όταν τα γειτονικά δείγματα περιέχουν πλεονάζουσα πληροφορία, το κανάλι πρέπει να μεταφέρει όσα δεν μπορεί να εξηγήσει η πρόβλεψη.»

«Οι τυπικοί κωδικοποιητές, ωστόσο, είναι βελτιστοποιημένοι για ροές bit και ανακατασκευή που προορίζεται για ανθρώπινη θέαση, όχι για τα οπτικά tokens που χρησιμοποιεί ένα LLM. Γι’ αυτό επανασχεδιάζουμε αυτόν τον μηχανισμό ως διεπαφή MLLM για την κατανόηση βίντεο.»

Τη νέα εργασία συνέγραψαν 11 ερευνητές από το Shanghai Jiao Tong University, το Shanghai Innovation Institute και την JD.com. Συνοδεύεται από μια σελίδα έργου, ενώ έχει ανακοινωθεί ότι θα δημοσιευτεί ο πηγαίος κώδικας.

Μέθοδος

Όπως περιγράφηκε, αντί να αντιμετωπίζει κάθε καρέ ως εντελώς νέα εικόνα, το σύστημα αναζητά τις αλλαγές μεταξύ διαδοχικών καρέ. Στα αριστερά της παρακάτω εικόνας, μια μικρή περιοχή του τρέχοντος καρέ αντιστοιχίζεται στην πιο παρόμοια περιοχή ενός προηγούμενου καρέ:

Διάγραμμα της δομής του AdaCodec.

Η απόσταση μεταξύ των δύο θέσεων γίνεται ένα διάνυσμα κίνησης, ενώ οι οπτικές διαφορές που απομένουν αποτελούν το υπόλοιπο. Αυτές οι συμπαγείς περιγραφές αντικαθιστούν την ανάγκη αποθήκευσης μιας πλήρους εικόνας.

Στα δεξιά, οι πληροφορίες που προκύπτουν εισάγονται στο μοντέλο AI. Τα σημαντικά καρέ αναφοράς εξακολουθούν να υποβάλλονται σε επεξεργασία ως πλήρεις εικόνες, αλλά τα ενδιάμεσα καρέ αναπαρίστανται από πολύ μικρότερα tokens κίνησης και υπολοίπου. Φαίνεται ότι έτσι το μοντέλο διατηρεί αρκετές πληροφορίες για να ερμηνεύει το βίντεο, επεξεργαζόμενο σημαντικά λιγότερα οπτικά δεδομένα.

Μια ενδιαφέρουσα πρόκληση είναι η επιλογή των καρέ που αξίζει να αποθηκευτούν ολόκληρα. Οι παραδοσιακοί κωδικοποιητές συνήθως τοποθετούν καρέ αναφοράς σε τακτά διαστήματα, είτε χρειάζονται είτε όχι. Το AdaCodec, αντίθετα, προσπαθεί να εντοπίσει τις σημαντικότερες στιγμές.

Φανταστείτε μια σκηνή με δύο άτομα που συζητούν σχεδόν ακίνητα σε ένα διαμέρισμα. Ξαφνικά μια ομάδα SWAT εισβάλλει από το παράθυρο. Αμέσως αυξάνονται οι γωνίες λήψης και τα μονταζιακά κοψίματα, απαιτώντας πολύ περισσότερα δεδομένα από όσα θα εξασφάλιζε ένα σταθερό διάστημα μεταξύ καρέ αναφοράς:

Αυτή είναι η λογική μεθόδων μεταβλητής συμπίεσης, όπως ομεταβλητός ρυθμός μετάδοσης bit. Οι μέθοδοι αυτές αναλύουν το αρχικό βίντεο για να εντοπίσουν τέτοια τμήματα με πολλές μεταβολές και κατανέμουν περισσότερα δεδομένα όπου χρειάζονται, με καθόλου αμελητέο κόστος σε χρόνο και πόρους.

Αν το AdaCodec μπορεί να προβλέψει με ακρίβεια ένα καρέ από γειτονικά καρέ, συνεχίζει να χρησιμοποιεί συμπαγή tokens κίνησης και υπολοίπου. Αν η σκηνή αλλάξει σημαντικά, όπως στο παράδειγμα με την ομάδα SWAT ή με λιγότερο δραματικό τρόπο, εισάγει ένα πλήρες καρέ αναφοράς. Έτσι, μεγαλύτερο μέρος του διαθέσιμου υπολογιστικού προϋπολογισμού μπορεί να διατεθεί στις σημαντικές οπτικές πληροφορίες, αντί να κατανέμεται ομοιόμορφα σε όλο το βίντεο.

Δεδομένα και δοκιμές

Οι ερευνητές χρησιμοποίησαν το προαναφερθέν Qwen3-VL-8B ως βασικό μοντέλο και αξιολόγησαν το AdaCodec σε έντεκα δοκιμές που καλύπτουν τρεις τομείς κατανόησης βίντεο: απόδοση σε βίντεο μεγάλης διάρκειας αξιολογήθηκε με τα MLVU, LongVideoBench και LVBench; χρονική κατανόηση με τα TempCompass, MotionBench και TOMATO; και γενική κατανόηση βίντεο με τα Video-MME, MVBench, NExT-QA, PerceptionTest και EgoSchema.

Τα μοντέλα ανοικτού κώδικα που δοκιμάστηκαν ήταν InternVL3.5-8B; Keye-VL-1.5-8B; GLM-4.1V-9B; MiniCPM-V-4.5-8B; Eagle2.5-8B; PLM-8B; LLaVA-Video-7B; VideoChat-Flash-7B; Molmo2-8B; και Molmo2-O-7B.

Οι παραλλαγές GPT-5, Gemini και Claude εμφανίζονται στον πίνακα παρακάτω μόνο ως βάσεις σύγκρισης. CoPE-VideoLM-7B και ReMoRa-7B είναι προγενέστερα μοντέλα βίντεο και γλώσσας που μειώνουν τη χρήση οπτικών tokens μέσω συμπίεσης εμπνευσμένης από τους κωδικοποιητές. Είναι επομένως οι πλησιέστεροι άμεσοι ανταγωνιστές του AdaCodec:

Κύρια αποτελέσματα σε έντεκα δοκιμές αξιολόγησης που καλύπτουν την κατανόηση βίντεο μεγάλης διάρκειας, τον χρονικό συλλογισμό και τη γενική κατανόηση βίντεο. Η υψηλότερη βαθμολογία δηλώνει καλύτερη απόδοση. LVB = LongVideoBench· V-MME = Video-MME. Οι έντονες και υπογραμμισμένες τιμές δηλώνουν αντίστοιχα την καλύτερη και τη δεύτερη καλύτερη βαθμολογία μεταξύ των ανοικτών μοντέλων. Οι βαθμολογίες των κλειστών μοντέλων προέρχονται από επίσημες αναφορές όπου ήταν διαθέσιμες. Τα αποτελέσματα που έλειπαν προέρχονται από το Molmo2 ή αξιολογήθηκαν από τους συγγραφείς.

Για δίκαιη σύγκριση, το AdaCodec και το τυπικό σύστημα Qwen3-VL-8B έλαβαν τον ίδιο αριθμό οπτικών tokens. Έτσι, τα αποτελέσματα αποτυπώνουν την αποτελεσματικότητα της μεθόδου συμπίεσης και όχι διαφορές στους υπολογιστικούς πόρους.

Στη ρύθμιση με την εντονότερη συμπίεση, το AdaCodec μείωσε τη χρήση οπτικών tokens κατά περίπου 86%, διατηρώντας επίδοση ίση ή ελαφρώς καλύτερη από το βασικό σύστημα σε εργασίες κατανόησης βίντεο μεγάλης διάρκειας, χρονικών σχέσεων και γενικής κατανόησης βίντεο.

Όταν τα tokens που εξοικονομήθηκαν χρησιμοποιήθηκαν για την επεξεργασία περισσότερων καρέ, η απόδοση βελτιώθηκε σε κάθε δοκιμή βίντεο μεγάλης διάρκειας και σε κάθε δοκιμή χρονικής κατανόησης. Η βελτίωση έφτασε τις +5,4 μονάδες στο LongVideoBench και τις +4,3 μονάδες στο TOMATO, δίνοντας μερικά από τα καλύτερα αποτελέσματα ανοικτών μοντέλων στη μελέτη.

Συμπέρασμα

Αν και τέτοια έργα συνήθως απευθύνονται σε παρόχους υπερμεγάλης κλίμακας, αυτή η ερευνητική προσπάθεια θα ενδιαφέρει και ερασιτέχνες και μικρομεσαίες επιχειρήσεις. Θα μπορούσε να ενταχθεί σε μια νέα δημόσια τάση λιτότητας γύρω από την τοπική, πιο ορθολογική ανάπτυξη της AI.

Για κοινότητες όπως το r/stablediffusion, αυτή είναι μια από καιρό γνωστή πρακτική: κάθε μεγάλη κυκλοφορία ανοικτού μοντέλου μετατρέπεται συστηματικά σε μια εξαιρετικά βελτιστοποιημένη έκδοση (GGUF, κβαντισμένα βάρη και ούτω καθεξής), η οποία μπορεί, με λίγη υπομονή, να λειτουργήσει σε κάρτες γραφικών χαμηλότερης κατηγορίας.

Αν η φάση επίδειξης αυτής της τρίτης μεγάλης ανόδου της AI έχει πράγματι τελειώσει και υποθέσουμε ότι οι εταιρείες θα αποθαρρυνθούν από το πραγματικό κόστος της εξαγωγής συμπερασμάτων, τότε πρωτοβουλίες όπως το AdaCodec μπορεί να αποτελέσουν μέρος της επερχόμενης «μεγάλης βελτιστοποίησης».

^† Αυτό δεν είναι το ίδιο με την τελική εξαγωγή του βίντεο σε μορφή και μέγεθος αρχείου κατάλληλα για τον χρήστη. Αφορά την εσωτερική δημιουργία και συγκέντρωση καρέ μέσα στο μοντέλο AI κατά την εξαγωγή συμπερασμάτων.

* Μετέτρεψα, σε εύλογο βαθμό, τις ενσωματωμένες παραπομπές των συγγραφέων σε υπερσυνδέσμους.

Πρώτη δημοσίευση Πέμπτη, 4 Ιουνίου 2026