Η γωνία του Anderson

Δίνοντας στα βίντεο τεχνητής νοημοσύνης λίγη μνήμη από τα περασμένα

mm
Προσθέστε το Unite.AI στις προτιμώμενες πηγές σας στο Google
A screen-grab of Guy Pearce from Christopher Nolan's 2000 thriller 'Memento', depicting the plight of a man unable to remember more than the last 10-15 minutes of his life (discussed in the accompanying article). Superimposed in the background are grabs from various memory-creation tools discussed in the article. Guy Pearce in Memento (2000), directed by Christopher Nolan. © 2000 I Remember Productions, LLC. All Rights Reserved.

Τον περασμένο Μάρτιο εξετάσαμε τη δυσκολία που αντιμετωπίζει η παραγωγική τεχνητή νοημοσύνη για βίντεο στο να θυμάται πράγματα και μέρη που έχει δει, ώστε να μπορεί να τα αναπαράγει ξανά και να διατηρεί οπτική συνέπεια.

Το τελικό αποτέλεσμα είναι ότι μπορεί να περάσετε από μια πόρτα σε ένα μοντέλο κόσμου τεχνητής νοημοσύνης, να γυρίσετε δέκα δευτερόλεπτα αργότερα και να διαπιστώσετε ότι η πόρτα από την οποία περάσατε δεν υπάρχει πια.

Δεν πρόκειται για ένα απλό σφάλμα που διορθώνεται εύκολα: επειδή η παραγωγική τεχνητή νοημοσύνη για βίντεο επινοεί συνεχώς «το επόμενο πράγμα» με το οποίο πρέπει να ασχοληθεί, δεν μπορεί στην πραγματικότητα να θυμάται όσα συνέβησαν πολύ παλαιότερα ή όσα έχουν βγει από το περιορισμένο παράθυρο συμφραζομένων της.

Αυτό σημαίνει ότι η εξερεύνηση ενός εκπαιδευμένου μοντέλου κόσμου τεχνητής νοημοσύνης δεν μοιάζει με την εξερεύνηση ενός μοντελοποιημένου περιβάλλοντος CGI, όπου οι υφές και η γεωμετρία είναι σταθερές και αποθηκεύονται ως διανυσματικά και ψηφιογραφικά δεδομένα. Αντίθετα, μοιάζει με το να περπατά κανείς μέσα σε ένα όνειρο από κατά προσέγγιση πιθανότητες: μπορεί να συναντήσει ακριβώς το ίδιο πράγμα δύο φορές, αλλά αυτό συμβαίνει μόνο επειδή αναδύθηκε ξανά από τον λανθάνοντα χώρο μέσω των συμφραζομένων, όχι επειδή το μοντέλο θυμάται πράγματι ότι το δημιούργησε ή το είδε.

Έτσι, το μέσο μοντέλο κόσμου βίντεο γενετικής τεχνητής νοημοσύνης μοιάζει με κάποιον που πάσχει από προδρομική αμνησία: θυμάται τα πάντα πριν από ένα εγκεφαλικό συμβάν, όπως ένα εγκεφαλικό επεισόδιο ή έναν τραυματισμό, αλλά δεν μπορεί να σχηματίσει νέες αναμνήσεις μετά το περιστατικό (μια πάθηση που έγινε ευρύτερα γνωστή χάρη στον χαρακτήρα του Guy Pearce που πάσχει από αυτήν στην ταινία Memento [2000], η οποία εμφανίζεται στην κεντρική εικόνα του άρθρου).

Με αυτόν τον τρόπο, τα μοντέλα βίντεο διατηρούν βαθιά και ισχυρά εδραιωμένη κατανόηση πολλών πεδίων, αλλά δεν έχουν τη δυνατότητα να θυμούνται οτιδήποτε καινούργιο.

Ίχνη από ψίχουλα

Η λύση HyDRA που εξετάσαμε τον Μάρτιο βασιζόταν στη χρήση μιας «τράπεζας μνήμης» με συμπιεσμένες οπτικές μονάδες, η οποία θα επέτρεπε σε χαρακτήρες που δημιουργούνται από τεχνητή νοημοσύνη να βγαίνουν εκτός οθόνης και να επιστρέφουν με την ίδια εμφάνιση που είχαν όταν εμφανίστηκαν για πρώτη φορά.

Υπάρχουν αρκετές άλλες μέθοδοι που χρησιμοποιούν αυτή την προσέγγιση των «ψίχουλων»· ωστόσο, η δημιουργία και η αποθήκευση σύνθετης τρισδιάστατης γεωμετρίας λύνει το πρόβλημα με τίμημα το μέγεθος των αρχείων, καθώς και την απόκριση, την καθυστέρηση και άλλα πιθανά σημεία συμφόρησης.

Σε αυτά τα «μοντέλα κόσμου με τρισδιάστατη αναπαράσταση του εδάφους» συγκαταλέγεται το Gen3C, με επικεφαλής τη NVIDIA, του οποίου η προσέγγιση HyDRA χρησιμοποιεί την πιο συνηθισμένη μέθοδο για την αντιμετώπιση του συγκεκριμένου προβλήματος: μετατρέπει όσα «βλέπει» σε νέφη σημείων, δηλαδή σε ουσιαστικά απλοποιημένη τρισδιάστατη γεωμετρία:

Κάντε κλικ για αναπαραγωγή. Η προσέγγιση HyDRA χρησιμοποιεί μια μόνιμη κρυφή μνήμη τρισδιάστατων νεφών σημείων για να καθοδηγεί τη δημιουργία βίντεο, διατηρώντας τη συνέπεια της σκηνής καθώς κινείται η κάμερα και επανεμφανίζονται περιοχές που έχουν ήδη καταγραφεί. Πηγή

Υπάρχουν και άλλες παρόμοιες προσεγγίσεις, όπως το VMEM του Πανεπιστημίου της Οξφόρδης, από το 2025, και η συνεργασία SPMem με επικεφαλής το Stanford, την ίδια περίοδο:

Κάντε κλικ για αναπαραγωγή. Από τη συνεργασία SPMem με επικεφαλής το Stanford, η οποία συνδυάζει έναν μόνιμο τρισδιάστατο χάρτη του στατικού σκηνικού με πρόσφατα καρέ βίντεο για την κίνηση και επιλεγμένα παλαιότερα καρέ για οπτικές λεπτομέρειες, βοηθώντας το μοντέλο να θυμάται μέρη όταν επιστρέφει σε αυτά. Πηγή 

Ωστόσο, η τρισδιάστατη γεωμετρία απαιτεί πολλή δουλειά και επιβαρύνει σημαντικά τις απαιτήσεις κατά τη συναγωγή. Δεν είναι εύκολο να περιηγείται κανείς σε ένα περιβάλλον και να το «χτίζει» διαρκώς, όπως θα έκανε ένας καλλιτέχνης γραφικών υπολογιστή. Επιπλέον, οποιαδήποτε άλλα αποσπάσματα, οπτικές γωνίες ή λήψεις θα πρέπει να μπορούν να ανατρέχουν αργότερα στη γεωμετρία που δημιουργήθηκε, κάτι που αποτελεί δύσκολο εγχείρημα.

Πιο ελαφριά αποτυπώματα

Η πιο πρόσφατη προσθήκη στην έρευνα για τη «μνήμη βίντεο τεχνητής νοημοσύνης» είναι μια νέα συνεργασία με επικεφαλής το Tsinghua University, με τίτλο Μόνιμη επίπεδη μνήμη για μοντέλα κόσμων βίντεο:

Κάντε κλικ για αναπαραγωγή. Ένα παράδειγμα του συστήματος σε λειτουργία, από τον ιστότοπο του έργου PPMem με επικεφαλής το Tsinghua. Το PPMem αντικαθιστά την ογκομετρική τρισδιάστατη μνήμη που χρησιμοποιούσε το προηγούμενο έργο SPMem με ένα πιο συμπαγές σύνολο επίπεδων επιφανειών, τις οποίες ενημερώνει και επαναχρησιμοποιεί καθώς κινείται η κάμερα, ώστε να διατηρείται η συνέπεια των περιβαλλόντων που έχουν ήδη καταγραφεί. Πηγή 

Όπως φαίνεται στο παραπάνω απόσπασμα βίντεο*, το PPMem βελτιώνει τις προηγούμενες προσεγγίσεις χρησιμοποιώντας μια πιο συμπαγή αναπαράσταση του τρισδιάστατου περιβάλλοντος. Αντί να αποθηκεύει εκατομμύρια μεμονωμένα σημεία για την ανακατασκευή περιβαλλόντων που έχουν ήδη καταγραφεί, το σύστημα εντοπίζει επίπεδες επιφάνειες, όπως τοίχους, δάπεδα και έπιπλα, και τις αποθηκεύει ως επαναχρησιμοποιήσιμα γεωμετρικά επίπεδα, που ονομάζονται επίπεδα-πρωτογενή στοιχεία· αυτά προστίθενται διαρκώς σε μια μόνιμη τοπική μνήμη καθώς δημιουργούνται νέα τμήματα του περιβάλλοντος:

Δύο παραδείγματα δημιουργίας βίντεο από το PPMem παράλληλα με την κατασκευή μιας μόνιμης τρισδιάστατης μνήμης. Κάθε παράδειγμα ξεκινά με μια εικόνα εισόδου στα αριστερά, ενώ από κάτω φαίνεται η προγραμματισμένη διαδρομή της κάμερας. Αν διαβάσει κανείς τα αριθμημένα καρέ από αριστερά προς τα δεξιά στην πρώτη σειρά και έπειτα στη δεύτερη, βλέπει την κάμερα να εξερευνά ένα κατάστημα ή έναν κήπο. Τα μικρά ένθετα με χρώμα δείχνουν πώς συσσωρεύονται οι αποθηκευμένες τρισδιάστατες επιφάνειες καθώς προχωρά η διαδρομή, διατηρώντας το τοπίο που έχει ήδη εξερευνηθεί. Πηγή - https://arxiv.org/pdf/2610.23795

Δύο παραδείγματα δημιουργίας βίντεο από το PPMem καθώς κατασκευάζει μια μόνιμη τρισδιάστατη μνήμη. Κάθε παράδειγμα ξεκινά με μια εικόνα εισόδου στα αριστερά, ενώ από κάτω φαίνεται η σχεδιασμένη διαδρομή της κάμερας. Η ανάγνωση των αριθμημένων καρέ από αριστερά προς τα δεξιά στην πρώτη σειρά και, στη συνέχεια, στη δεύτερη, δείχνει την κάμερα να εξερευνά ένα κατάστημα ή έναν κήπο. Τα μικρά έγχρωμα ένθετα αποκαλύπτουν πώς συσσωρεύονται οι αποθηκευμένες τρισδιάστατες επιφάνειες καθώς προχωρά η διαδρομή, διατηρώντας το τοπίο που έχει ήδη εξερευνηθεί. Πηγή

Όταν η κάμερα επιστρέφει σε μια τοποθεσία που έχει επισκεφθεί νωρίτερα, τα αποθηκευμένα επίπεδα προβάλλονται ξανά στο οπτικό της πεδίο, καθοδηγώντας τη δημιουργία νέων καρέ και μειώνοντας τον όγκο των χωρικών πληροφοριών που πρέπει να διατηρηθούν και να υποβληθούν σε επεξεργασία. Αυτό συμβάλλει επίσης στην αποτροπή αλλαγών ή εξαφάνισης γνώριμων αντικειμένων και του περιβάλλοντος ανάμεσα στις επισκέψεις.

Η χρήση στοιχειωδών επίπεδων επιφανειών —παραμετρικών αντικειμένων που ορίζονται από μαθηματικά διανύσματα— προσφέρει, όπως υποστηρίζουν οι συγγραφείς, μια πιο ευέλικτη και αποτελεσματική λύση στην «προσέγγιση των ψίχουλων»:

«Ένα μοντέλο που δημιουργεί ολόκληρους κόσμους και όχι μόνο σύντομα αποσπάσματα χρειάζεται μια ανάλογα συμπαγή, δομημένη μνήμη όσων έχει δημιουργήσει. Οι στοιχειώδεις επίπεδες επιφάνειες αποτελούν φυσική επιλογή για αυτόν τον ρόλο.

«Κάθε στοιχειώδης επιφάνεια ορίζεται από μόλις 7 αριθμούς (ένα βάθος κέντρου, δύο διαστάσεις ορθογωνίου και ένα τεταρνιόν περιστροφής), οι οποίοι αναπαριστούν ρητά την τρισδιάστατη γεωμετρική δομή και είναι κατά τάξεις μεγέθους πιο συμπαγείς από τις αναπαραστάσεις ανά εικονοστοιχείο.»

Κάντε κλικ για αναπαραγωγή, αν χρειάζεται. Οι ελαφριές συνθέσεις επίπεδων πρωτογενών σχημάτων που δημιουργεί το PPMem μπορούν να αποτυπώνουν και να διατηρούν τόσο τις λεπτομέρειες όσο και τη συνολική γεωμετρία, καθώς η κάμερα κινείται μέσα στο μοντέλο του κόσμου. Τα πράσινα τμήματα που απεικονίζονται παραπάνω διατηρούνται στη μνήμη καθώς χαρτογραφούνται από σκούρο>πράσινο.

Το εύρος του κόσμου που μπορούν να αναπαραστήσουν αυτά τα επίπεδα περιορίζεται αναπόφευκτα από τη μνήμη και άλλα προβλέψιμα σημεία συμφόρησης. Αυτό σημαίνει ότι δεν θα ήταν δυνατό να περιπλανηθεί κανείς στον κόσμο για ώρες και να επιστρέψει βρίσκοντάς τον ακριβώς όπως τον άφησε. Ωστόσο, αυτού του είδους οι περιορισμοί «ανά επίπεδο» θα είναι γνώριμοι στους λάτρεις των βιντεοπαιχνιδιών, των οποίων οι ισχυροί αλλά πεπερασμένοι τοπικοί πόροι τείνουν να αποδίδουν καλύτερα σε πιο περιορισμένα περιβάλλοντα:

Κάντε κλικ για αναπαραγωγή. Στο PPMem, καθώς η κάμερα κινείται σε ένα περιβάλλον, αφήνει πίσω της ελαφριά «επίπεδα» (που απεικονίζονται με πράσινο χρώμα), τα οποία αναπαριστούν όσα είδε και παραμένουν στη θέση τους αν η κάμερα επιστρέψει αργότερα.

Έτσι, παραπάνω μπορούμε να δούμε ένα τέτοιο επίπεδο να «χαρτογραφείται», δωμάτιο προς δωμάτιο, μέχρι ολόκληρος ο όροφος να γίνει πράσινος και να μπορεί να εξερευνηθεί ελεύθερα, με μικρότερη —αλλά όχι μηδενική— ανάγκη για τη δημιουργία περισσότερων επιπέδων.

Μέθοδος

Το PPMem αναπτύχθηκε με βάση το Wan2.2-TI2V-5B (και όχι το Wan2.1-T2V-1.3B που χρησιμοποιεί το HyDRA), ένα μοντέλο διάχυσης βίντεο με πέντε δισεκατομμύρια παραμέτρους, στο οποίο προστέθηκε ένα σύστημα πρόβλεψης γεωμετρίας προσαρμοσμένο από το Plana3R. Ο υπάρχων κορμός του μοντέλου βίντεο διατηρήθηκε, ενώ εισήχθη μια ξεχωριστή διαδρομή επεξεργασίας για την εξαγωγή γεωμετρικών πληροφοριών από τις εσωτερικές αναπαραστάσεις του:

Σχηματικό διάγραμμα του συστήματος δημιουργίας βίντεο και τρισδιάστατης μνήμης του PPMem. Η επάνω διαδρομή παράγει το βίντεο, ενώ η κάτω καταγράφει τα σχήματα και τις θέσεις των ορατών επιφανειών. Αυτά προστίθενται στην αποθηκευμένη μνήμη στα δεξιά, η οποία στη συνέχεια χρησιμοποιείται για να καθοδηγήσει το επόμενο τμήμα του βίντεο. Τα βέλη στο κάτω μέρος δείχνουν πώς αυτές οι πληροφορίες τροφοδοτούνται ξανά στο σύστημα.

Σχηματικό διάγραμμα του συστήματος δημιουργίας βίντεο και τρισδιάστατης μνήμης του PPMem. Η επάνω διαδρομή παράγει το βίντεο, ενώ η κάτω καταγράφει τα σχήματα και τις θέσεις των ορατών επιφανειών. Αυτά προστίθενται στην αποθηκευμένη μνήμη στα δεξιά, η οποία στη συνέχεια χρησιμοποιείται για να καθοδηγήσει το επόμενο τμήμα του βίντεο. Τα βέλη στο κάτω μέρος δείχνουν πώς αυτές οι πληροφορίες τροφοδοτούνται ξανά στο σύστημα.

Στο πρώτο από τα δύο στάδια εκπαίδευσης, το Wan 2.2 βελτιστοποιήθηκε περαιτέρω για τη δημιουργία βίντεο με έλεγχο της κάμερας, χρησιμοποιώντας προβολές της εικόνας εισόδου και προηγούμενων καρέ για να καθοριστεί η επιθυμητή κίνηση της κάμερας. Στη συνέχεια, ο κορμός του μοντέλου βίντεο πάγωσε και τα νέα στοιχεία γεωμετρίας εκπαιδεύτηκαν ανεξάρτητα.

Για την εκπαίδευση χρησιμοποιήθηκαν περισσότερα από 80.000 αποσπάσματα από τα DL3DV και RealEstate10K, σε ανάλυση 576×1024. Οι πληροφορίες βάθους αναφοράς προήλθαν από το MoGe-2, ενώ οι εκτιμώμενες αποστάσεις ευθυγραμμίστηκαν με τρισδιάστατες ανακατασκευές που δημιουργήθηκαν από το VGGT.

Έτσι, το σύστημα πρόβλεψης επίπεδων επιφανειών του PPMem εκπαιδεύτηκε ώστε να εκτιμά το βάθος και τον προσανατολισμό των επιφανειών, με τα αποτελέσματα να ελέγχονται σε σύγκριση με τη γεωμετρία αναφοράς. Εφαρμόστηκε πρόσθετη εκπαίδευση στις αποδοθείσες επιφάνειες, ώστε να βελτιωθεί η συμφωνία τους με τις ανακατασκευασμένες σκηνές.

Η Προσαρμογή χαμηλής βαθμίδας (LoRA) χρησιμοποιήθηκε για την εισαγωγή επεξεργασίας ειδικά προσαρμοσμένης στη γεωμετρία, χωρίς να τροποποιηθεί το υποκείμενο μοντέλο βίντεο.

Κατά τη φάση της εξαγωγής συμπερασμάτων, η κανονική διαδικασία δημιουργίας βίντεο ολοκληρώνεται με αυτές τις προσαρμογές απενεργοποιημένες και, στη συνέχεια, εκτελείται ξεχωριστό πέρασμα επεξεργασίας για την εξαγωγή της γεωμετρίας, ώστε οι δύο λειτουργίες να παραμένουν ουσιαστικά ανεξάρτητες.

Στη συνέχεια, το βίντεο δημιουργείται σε τμήματα περίπου 25 καρέ, με τις προβλεπόμενες κινήσεις της κάμερας να χρησιμοποιούνται για την προετοιμασία των οπτικών και χωρικών πληροφοριών που απαιτούνται για κάθε νέα ακολουθία. Σε αυτές περιλαμβάνονται προβολές σκηνικών που έχουν ήδη δημιουργηθεί· μάσκες που υποδεικνύουν ποιες περιοχές είναι ορατές· και πληροφορίες βάθους που προκύπτουν από τη συσσωρευμένη γεωμετρία.

Για να βελτιωθεί η πρόβλεψη νέων επιφανειών, οι αποθηκευμένες πληροφορίες βάθους συνδυάζονται με την υπάρχουσα κατανόηση της σκηνής από το μοντέλο, μέσω ενός οπτικού μετασχηματιστή που βασίζεται στο DINOv2-Base.

Κατά την εκπαίδευση, ορισμένα τμήματα των χαρτών βάθους αποκρύφτηκαν μέσω επιλεκτικής κάλυψης, με αποτέλεσμα το μοντέλο να πρέπει να προβλέψει τη γεωμετρία των επιφανειών με βάση ελλιπή χωρικά δεδομένα, γεγονός που βελτίωσε τη γενίκευση.

Με τη δημιουργία νέας γεωμετρίας, η δεξαμενή επιπέδων βελτιώνεται μέσω ελέγχων για επικαλυπτόμενες και αποκρυμμένες επιφάνειες, ενώ οι λιγότερο αξιόπιστες εκτιμήσεις αφαιρούνται όταν γίνονται διαθέσιμες καλύτερες παρατηρήσεις. Έτσι, η αποθηκευμένη αναπαράσταση μπορεί να διορθώνεται σταδιακά καθώς κινείται η κάμερα, αντί απλώς να συσσωρεύει επ’ αόριστον κάθε πρόβλεψη επιφάνειας.

Αποτελέσματα

Στις δοκιμές, η μέθοδος αξιολογήθηκε έναντι των Gen3C· Voyager· VMEM· και SPMem, με τις προεπιλεγμένες ρυθμίσεις και παραμέτρους του κώδικα στα αποθετήριά τους.

Οι μετρικές που χρησιμοποιήθηκαν ήταν ο μέγιστος λόγος σήματος προς θόρυβο (PSNR)· οι μαθημένες μετρικές αντιληπτικής ομοιότητας (LPIPS)· η ομοιότητα CLIP· και η ομοιότητα DINOv2 (βλ. την εργασία για λεπτομέρειες σχετικά με τις εξαιρέσεις).

Στην πρώτη δοκιμή, το PPMem συγκρίθηκε με τα υπόλοιπα μοντέλα στα σύνολα δεδομένων DL3DV και RealEstate10K, με την ποιότητα του βίντεο να αξιολογείται σε ακολουθίες 49 και 121 καρέ:

Σύγκριση της ποιότητας βίντεο των PPMem, Gen3C, Voyager, VMem και SPMem στα DL3DV και RealEstate10K, για ακολουθίες 49 και 121 καρέ. Το PPMem πέτυχε τις καλύτερες ή από κοινού καλύτερες βαθμολογίες και στις τέσσερις μετρικές, ενώ το πλεονέκτημά του γενικά αυξανόταν όσο μεγάλωναν οι ακολουθίες.

Σύγκριση της ποιότητας βίντεο των PPMem, Gen3C, Voyager, VMem και SPMem στα DL3DV και RealEstate10K, για ακολουθίες 49 και 121 καρέ. Το PPMem πέτυχε τις καλύτερες ή από κοινού καλύτερες βαθμολογίες και στις τέσσερις μετρικές, ενώ το πλεονέκτημά του γενικά αυξανόταν όσο μεγάλωναν οι ακολουθίες.

Για τα αποτελέσματα αυτά, οι συγγραφείς αναφέρουν:

«Το PPMem επιτυγχάνει τα καλύτερα αποτελέσματα σε όλες τις μετρικές, και στα δύο σύνολα δεδομένων και για τα δύο όρια αριθμού καρέ, παρότι χρησιμοποιεί μικρότερο βασικό μοντέλο (Wan 2.2 5B) από τα Gen3C (Cosmos 7B) και Voyager (HunyuanVideo ∼13B). T’

Το PPMem δοκιμάστηκε επίσης ως προς την ικανότητά του να εκτιμά τις αποστάσεις αντικειμένων και επιφανειών από την κάμερα: σε 121 καρέ από το DL3DV, όπως σημειώνουν οι συγγραφείς, οι εκτιμήσεις βάθους ήταν ακριβέστερες από εκείνες του Voyager, του μοναδικού ανταγωνιστικού μοντέλου που μπορεί να δημιουργεί ταυτόχρονα βίντεο και πληροφορίες βάθους.

Στη δεύτερη, ποιοτική δοκιμή, συγκρίθηκε η ικανότητα των μοντέλων να διατηρούν σταθερό το σκηνικό καθώς η κάμερα κινούνταν μέσα σε σκηνές του DL3DV για 300–400 καρέ. Το PPMem διατήρησε την όψη και τη δομή του περιβάλλοντος που είχε ήδη εμφανιστεί πιο αποτελεσματικά από τα ανταγωνιστικά μοντέλα, με το πλεονέκτημά του να γίνεται μεγαλύτερο όσο συνεχίζονταν οι ακολουθίες:

Κάντε κλικ για αναπαραγωγή. Παρότι μπορούμε να αναπαραγάγουμε τα αποτελέσματα μόνο σε χαμηλότερη ανάλυση από την αρχική, θεωρήσαμε ότι το βίντεο τα παρουσίαζε πιο παραστατικά από τις στατικές εικόνες της εργασίας. Για την έκδοση υψηλότερης ποιότητας, παραπέμπουμε τους αναγνώστες στον ιστότοπο του έργου PPMem.

Εδώ, οι συγγραφείς αναφέρουν:

«Το PPMem διατηρεί την υψηλότερη αντιληπτική πιστότητα σε όλη τη διάρκεια, με τη διαφορά να διευρύνεται με την πάροδο του χρόνου — πιο εντυπωσιακά στην περίπτωση του DINOv2, όπου το PPMem προηγείται της αμέσως επόμενης καλύτερης μεθόδου κατά ∼0.27 στο καρέ 300.»

Σύγκριση καρέ βίντεο που δημιουργήθηκαν από τα Gen3C, VMem, SPMem, Voyager και PPMem σε έξι σημεία μιας ακολουθίας 288 καρέ, δίπλα στο αρχικό υλικό (Ground Truth). Το PPMem διατηρεί πιο σταθερά την όψη του παρτεριού και του γύρω σκηνικού καθώς κινείται η κάμερα, ενώ τα ανταγωνιστικά μοντέλα παραμορφώνουν όλο και περισσότερο ή χάνουν λεπτομέρειες.

Σύγκριση καρέ βίντεο που δημιουργήθηκαν από τα Gen3C, VMem, SPMem, Voyager και PPMem σε έξι σημεία μιας ακολουθίας 288 καρέ, δίπλα στο αρχικό υλικό (Ground Truth). Το PPMem διατηρεί πιο σταθερά την όψη του παρτεριού και του γύρω σκηνικού καθώς κινείται η κάμερα, ενώ τα ανταγωνιστικά μοντέλα παραμορφώνουν όλο και περισσότερο ή χάνουν λεπτομέρειες.

Η εργασία σημειώνει ότι, έπειτα από περίπου 400 καρέ βίντεο, μια ολόκληρη σκηνή που έχει εξερευνηθεί μπορεί να αναπαρασταθεί στο PPMem με περίπου 100.000 πρωτογενή επίπεδα, καταλαμβάνοντας μόλις 5 MB μνήμης.

Καθώς αυτό είναι περίπου χίλιες φορές πιο συμπαγές από την αποθήκευση του ίδιου σκηνικού ως μεμονωμένων σημείων σε ένα πυκνό τρισδιάστατο νέφος σημείων, η εργασία, η οποία θα μπορούσε να θεωρηθεί ένα μικρό βήμα προόδου σε μια καθιερωμένη ερευνητική κατεύθυνση, φαίνεται να προσφέρει ουσιαστική βελτίωση στη λειτουργική αποδοτικότητα αυτής της αρχιτεκτονικής.

Συμπέρασμα

Παρότι η νέα μελέτη αποτελεί μια συναρπαστική εξέλιξη εντός των ορίων και των παραμέτρων του συγκεκριμένου προβλήματος, εξακολουθούμε να εργαζόμαστε στο πλαίσιο ενός παραδείγματος όπου η τυχαία εξερεύνηση του λανθάνοντος χώρου ενός μοντέλου κόσμου σκορπίζει γεωμετρικά σχήματα παντού σαν αφρός που επιμένει· σχήματα που ίσως χρειαστεί να ανακτηθούν σε μεταγενέστερες σκηνές ή για μεταγενέστερα περιβάλλοντα.

Αυτή η διαδικασία ανάκτησης είναι πολύ πιο περίπλοκη από την εισαγωγή παραδοσιακών τρισδιάστατων πλεγμάτων CGI και τυλιγμένων υφών. Θα μπορούσε κανείς να υποστηρίξει ότι όλη αυτή η προσέγγιση είναι «κάπως οπισθοδρομική»: ιδανικά, τα μοντέλα τεχνητής νοημοσύνης θα έπρεπε να μπορούν να ανακτούν και να ανατρέχουν σε σταθερά στοιχεία μέσω κάποιου είδους RAG ή συστήματος αναζήτησης, διατηρώντας παράλληλα την ευελιξία και τη δημιουργική ελευθερία της κίνησης στον λανθάνοντα χώρο.

Είναι πολλά αυτά που ζητάμε, αλλά η μέθοδος των «ψιχίων» μού φαίνεται πράγματι ισοδύναμη με τις παράδοξες λύσεις που προηγήθηκαν των αδελφών Ράιτ.

 

* Για το πλήρες βίντεο, επισκεφθείτε τον ιστότοπο του έργου.

Δημοσιεύτηκε αρχικά την Τρίτη, 20 Οκτωβρίου 2026

Συγγραφέας στον τομέα της μηχανικής μάθησης, ειδικός σε συνθετικές ανθρώπινες εικόνες. Πρώην επικεφαλής του τμήματος περιεχομένου έρευνας στην Metaphysic.ai, μέχρι τη διάλυσή της στην Brahma.ai της DNEG.
Ιστοσελίδα: martinanderson.ai
Επικοινωνία: martin@martinanderson.ai