Το AI Προτιμά να Διαβάσει το Βιβλίο Παρά να Δει την Ταινία

Είναι εκπληκτικά δύσκολο να πείσεις τα μοντέλα AI να παρακολουθήσουν και να σχολιάσουν πραγματικό βίντεο, ακόμη και αν είναι σχεδιασμένα για αυτό. Είναι πιο ενδιαφερόμενα για το γραπτό λόγο.

Εάν έχετε προσπαθήσει να ανεβάσετε ένα μικρό βίντεο στο ChatGPT ή σε ένα παρόμοιο δημοφιλές μοντέλο όρασης/γλώσσας, μπορεί να σας έχει εκπλήξει να ανακαλύψετε ότι δεν μπορούν πραγματικά να αναλύσουν βίντεο. Ενώ μοντέλα όπως το ChatGPT-4o+ μπορούν να αναλύσουν ξεχωριστά πλαίσια – στη μορφή εικόνων, όπως JPEG και PNG – προτιμούν ο χρήστης να εξαγάγει τα δικά του πλαίσια και να τα ανεβάσει ως εικόνες (τις οποίες είναι προετοιμασμένες να σχολιάσει).

Στην περίπτωση της σειράς GPT της OpenAI, μπορείτε, με κάποια δυσκολία, να εξαγάγετε ένα πλήρες σύνολο πλαισίων από ένα βίντεο και να τα δώσετε στο ChatGPT, για σκοπούς όπως η δημιουργία ενός AI-δημιουργημένου αφηγηματικού κομματιού για το βίντεο:

Εικόνες και κώδικας από ένα tutorial της OpenAI για την ανάλυση πολλαπλών εξαγμένων πλαισίων για τον σκοπό της ανάπτυξης ενός AI-δημιουργημένου σχολιασμού για ένα βίντεο. Πηγή

Αλλά πέφτει στον χρήστη να κάνει τη μετατροπή από βίντεο σε πλαίσια, είτε καλώντας συναρτήσεις σε μια μεγαλύτερη ρουτίνα, όπως το παραπάνω παράδειγμα, είτε εξαγώντας τα πλαίσια με FFMPEG ή διάφορες δωρεάν και πληρωμένες λύσεις επεξεργασίας βίντεο.

Σε κάποιο βαθμό, ίσως ακόμη και σε μεγάλο βαθμό, οι περιορισμοί στην ανάλυση βίντεο σε προϊόντα μεγάλης κλίμακας όπως το ChatGPT εξαρτώνται από χρήση πόρων: το να εξοπλιστεί ένα μόνο στιγμιότυπο AI με μια επιλογή από τους πιο δημοφιλείς κωδικοποιητές βίντεο και η δέσμευση υπολογιστικών πόρων για τη διαδικασία της εξαγωγής, δεν είναι μια ελαφριά υπόθεση, εάν εκατομμύρια χρήστες αποφασίσουν να αρχίσουν να χρησιμοποιούν αυτές τις εγκαταστάσεις κάθε μέρα.

Επιπλέον, η χρονική ανάλυση μπορεί να παραστήσει μια πολύ διαφορετική εικόνα από ένα seul πλάισιο (φανταστείτε κάποιον να μπαίνει σε ένα σπίτι με καλή διάθεση και στη συνέχεια να ανακαλύπτει ένα πτώμα); επομένως, η σκέψη του συνόλου του χρονικού ‘checksum’ sogar ενός σύντομου βίντεο είναι μια απαιτητική και πόρων-εντατική εργασία – καθώς και ένα εξειδικευμένο πεδίο της ερευνητικής βιβλιογραφίας, για παράδειγμα με την συνεχιζόμενη ανάπτυξη πλαισίων όπως η Optical Flow – η οποία ουσιαστικά ‘ανοίγει’ ένα μήκος βίντεο, ώστε να μπορεί να θεωρηθεί και να ενεργήσει σαν ένα στατικό έγγραφο:

Διάγραμμα ροής οπτικού πεδίου που υπογραμμίζει πώς η κίνηση παρακολουθείται σε ένα βίντεο, με πράσινους διανυσματικούς δείκτες που δείχνουν την κατεύθυνση και την ένταση της κίνησης. Αυτές οι αντιστοιχίσεις παρέχουν τη χρονική συνέχεια που απαιτείται για τα VLM και μπορούν επίσης να χρησιμεύσουν ως οδηγοί δομής σε ροές VFX.

Σταματώντας στα Cliff’s Notes

Παρόλα αυτά,既然 τα μοντέλα όπως το Notebook LM της Google και οι πιο πρόσφατες εισαγωγές του ChatGPT μπορούν να διαβάσουν συνδεδεμένα μεταδεδομένα (δηλ. ενσωματωμένο κείμενο που δίνει κάποιο контекστο στο βίντεο), δεν απαγορεύουν τις ανεβάσεις αρχείων βίντεο και μερικές φορές θα προσπαθήσουν ακόμη και να ερμηνεύσουν ένα βίντεο που δεν έχει τέτοια δεδομένα.

Στην ακόλουθη περίπτωση, ανέβασα ένα τυχαίο 6-δευτερόπτo κλιπ από την ιταλική ταινία Το Χέρι του Θεού (2021) στο NotebookLM, διασφαλίζοντας ότι το κλιπ δεν περιείχε κανένα χρήσιμο κείμενο, ούτε στα μεταδεδομένα ούτε στο όνομα του αρχείου.

Το NotebookLM στη συνέχεια προχώρησε σε μια περίπλοκη φανταστική ερμηνεία υλικού που δεν είχε καμία σχέση με το βίντεο*, πλήρης με ένα ανοητό και μη σχετικό πεντάλεπτο podcast:

Μια καθημερινή στιγμή σε ένα 6-δευτερόπτo κλιπ από μια ιταλική ταινία είναι απίστευτα λανθασμένη από το NotebookLM. Πηγή: Google NotebookLM

Αν και το Notebook, όπως και το ChatGPT, θα chấp thuận ένα βίντεο του YouTube ως είσοδο, θα το κάνει μόνο εάν το βίντεο έχει μια ερμηνεύσιμη στρωματική αναnotation και/ή υπότιτλους (όχι υπότιτλους που έχουν καεί στο βίντεο).

Με αυτόν τον τρόπο, η δύσκολη δουλειά της πραγματικής παρατήρησης και ακρόασης του περιεχομένου του βίντεο και της εκτέλεσης της σεμαντικής ερμηνείας του (μια νομική αναγκαιότητα για το YouTube, λόγω των μετρών προστασίας πνευματικών δικαιωμάτων, και του συστήματος ανίχνευσης ταυτότητας που πρόκειται να εφαρμοστεί), έχει γίνει σε ευκαιρία μετά την ανέβασή του από τον χρήστη, όποτε το κλιπ θα μπορούσε να ανατεθεί οι απαραίτητοι πόροι επεξεργασίας.

Η πραγματική ερμηνεία βίντεο είναι ακριβή και εξαντλητική, και φαίνεται ότι ακόμη και τα μοντέλα που έχουν εκπαιδευτεί ειδικά για αυτή τη δουλειά θα προτιμούσαν να διαβάσουν κείμενο παρά να κοιτάξουν πραγματικά το βίντεο.

TL;DW

Αυτό, σύμφωνα με một νέα εργασία από το Πανεπιστήμιο του Μπρίστολ στο Ηνωμένο Βασίλειο, με τίτλο Ένα Βίντεο Δεν Ισούται με Χίλιες Λέξεις, όπου οι δύο συγγραφείς καταλήγουν στο συμπέρασμα ότι τα τρέχοντα state-of-the-art μοντέλα όρασης-γλώσσας (VLMs) – μοντέλα που προορίζονται να μπορούν να αναλύσουν βίντεο με πιο επίμονο τρόπο, και να συμμετάσχουν σε ερωτήσεις και απαντήσεις βίντεο (VQA) – επίσης προτιμούν να βασίζονται σε κείμενο-βασισμένες πληροφορίες όποτε μπορούν.

Όταν τους δόθηκαν κινούμενα σχέδια και γραπτές ερωτήσεις και πολλαπλές επιλογές, οι συγγραφείς της εργασίας βρήκαν ότι τα μοντέλα συνήθως βασίζονταν στις τάσεις στο κείμενο, παρά σε οτιδήποτε συμβαίνει στην οθόνη – σε πολλές περιπτώσεις εκτελώντας εξίσου καλά ακόμη και όταν η ερώτηση αφαιρέθηκε εντελώς.

Σε αυτό που φαίνεται να είναι μια συνήθης μορφή συντόμευσης ή απατώντας, αυτό που μετράνε περισσότερο για τα περισσότερα μοντέλα είναι να μπορέσουν να εντοπίσουν μοτίβα στις πιθανές απαντήσεις· μόνο όταν η εργασία γινόταν πιο δύσκολη, με την προσθήκη περισσότερων επιλογών απαντήσεων, άρχισαν τα AI να δίνουν μεγαλύτερη προσοχή στο βίντεο.

Οι συγγραφείς έδωσαν ερωτήσεις VQA σε μια σειρά από συνθήκες σε έξι VLM μοντέλα με διαφορετικά μήκη контекστο, σε τέσσερις κατάλληλες βάσεις δεδομένων· και βρήκαν ότι τα αποτελέσματα έδειξαν την εξάρτηση των μοντέλων από το κείμενο πάνω από το βίντεο περιεχόμενο.

Παράδειγμα από τη μελέτη που δείχνει πώς ένα μοντέλο ανάλυσης βίντεο ζυγίζει αυτό που βλέπει σε σχέση με αυτό που διαβάζει. Το κλιπ δείχνει ένα άτομο που πλέκει βάμμπου, αλλά το μοντέλο δίνει πολύ μεγαλύτερη σημασία στο γραπτό κείμενο της ερώτησης και της απάντησης παρά στα πλαίσια του βίντεο. Τα μπλε highlights σημειώνουν στοιχεία που υποστηρίζουν την επιλεγμένη απάντηση, ενώ τα κόκκινα σημειώνουν αυτά που την τραβούν στην αντίθετη κατεύθυνση, δείχνοντας πώς το λόγο του μοντέλου επικεντρώνεται στο κείμενο και όχι στις κινούμενες εικόνες.

Μέθοδος

Για να κατανοήσουμε πόσο συμβάλλει κάθε είσοδος στη λήψη απόφασης του μοντέλου, η νέα εργασία χρησιμοποιεί μια μέθοδο από τη θεωρία παιγνίων που ονομάζεται Τιμές Shapley. Αρχικά σχεδιασμένες για να μοιράσουν δίκαια μια αμοιβή μεταξύ παικτών σε μια συμμαχία, οι Τιμές Shapley αναθέτουν πίστωση σε κάθε ‘παικτή’ με βάση την ατομική τους επίδραση.

Ενεργά, λοιπόν, οι ‘παικτές’ σε αυτή τη σκηνή είναι είτε τα πλαίσια του βίντεο είτε τα κείμενο-συστατικά (αναnotations, υπότιτλοι, legend, κ.λπ.) μιας εργασίας VQA· και η ‘αμοιβή’ είναι η τελική απάντηση του μοντέλου. Με τη συστηματική δοκιμή του τι συμβαίνει όταν κάθε μέρος προστίθεται ή αφαιρείται, η τεχνική αποκαλύπτει πόσο σημαντική ήταν αυτή η επιλογή για την επιλεγμένη απάντηση.

Στην περίπτωση της νέας εργασίας, για να επεκτείνουν τη μέθοδο σε πολλαπλά δεδομένα, οι Τιμές Shapley προσαρμόστηκαν για να χειρίζονται μικτές modalities, με τα βίντεο και τα κείμενο-συστατικά να αντιμετωπίζονται διακριτά, και η μεταβαλλόμενη επιρροή τους στα αποτελέσματα του μοντέλου μετρήθηκε, αποκαλύπτοντας εάν το περιεχόμενο του βίντεο ερμηνευόταν πραγματικά ή εάν γραπτές ενδείξεις χρησιμοποιούνταν ως συντόμευση.

Μέτρησης

Δυο απλές μετρήσεις ορίστηκαν για να συγκρίνουν πόσο κάθε modality (δηλ. βίντεο, ερώτηση, ή απάντηση) συνεισέφερε στη λήψη απόφασης του μοντέλου: Συνεισφορά Modalities μετράει πόσο από την συνολική εξήγηση προέρχεται από κάθε τύπο εισόδου; εδώ, όλες οι διαθέσιμες Τιμές Shapley προστίθενται και το μερίδιο που ανήκει σε κάθε modality υπολογίζεται ως ποσοστό του συνόλου.

Δεύτερον, Συνεισφορά ανά χαρακτηριστικό διορθώνει το γεγονός ότι ορισμένες modalities, όπως το βίντεο, περιέχουν πολλά περισσότερα χαρακτηριστικά από άλλες. Αντίθετα, η μέση Τιμή Shapley υπολογίζεται για κάθε χαρακτηριστικό, και αυτές οι μέσες τιμές συγκρίνονται για να καθορίσουν ποια modality έχει την κυρίαρχη επιρροή.

Δεδομένα και Δοκιμές

Οι συγγραφείς έτρεξαν την προσέγγισή τους σε έξι VLMs με ποικίλες ιδιότητες που σχεδιάστηκαν για να διασφαλίσουν ότι οι αρχές των δοκιμών ήταν ευρέως εφαρμόσιμες και γενικεύσιμες. Επομένως, τα μοντέλα επιλέχθηκαν για διαφορετικά μήκη контекστο, διαφορετική ηλικία (δηλ. πόσο καιρό από την κυκλοφορία του πλαισίου) και διαφορετικές αρχιτεκτονικές ρυθμίσεις.

Οι διαγωνιζόμενοι ήταν FrozenBiLM; InternVideo; VideoLLaMA2; VideoLLaMA3; LLaVa-Video (που χρησιμοποιεί Qwen2); και LongVA (που χρησιμοποιεί επίσης Qwen2).

Με τον ίδιο στόχο της ποικίλης ποικιλίας, οι τέσσερις στόχοι βάσεων δεδομένων που επιλέχθηκαν ήταν EgoSchema, μια βάση δεδομένων VQA που σχεδιάστηκε για να είναι αδύνατο να ολοκληρωθεί χωρίς πλήρη προβολή των συνδεδεμένων βίντεο; HD-EPIC, μια βάση δεδομένων που επικεντρώνεται στην κουζίνα και που περιλαμβάνει κάποια ασυνήθιστα μακρά βίντεο; MVBench, μια επιλεγμένη συλλογή συνεισφορών από άλλες βάσεις δεδομένων; και LVBench, που θέτει ερωτήσεις VQA για πολύ μακρά βίντεο.

Από αυτά, οι συγγραφείς ανέπτυξαν 60 ερωτήσεις – δέκα από κάθε τύπο ερώτησης.

Οι μετρήσεις συνεισφοράς έδειξαν ότι τα περισσότερα μοντέλα βασίζονταν λιγότερο στο βίντεο παρά στο κείμενο, ιδιαίτερα όταν κρίνονταν πλάισιο προς πλάισιο. Ακόμη και όπου το βίντεο είχε μια λογική εμφάνιση στην συνολική συνεισφορά, η επιρροή του ανά χαρακτηριστικό ήταν συχνά ελάχιστη, υποδεικνύοντας ότι ενώ το μοντέλο μπορεί να χρησιμοποιούσε το βίντεο συνολικά, δεν έδινε πολλή προσοχή σε ξεχωριστά πλαίσια. Το VideoLLaMA3 ήταν η κύρια εξαίρεση εδώ, με μια μεγαλύτερη οπτική εξάρτηση, ιδιαίτερα στις μακρύτερες ακολουθίες στο LVBench:

Σκορ Συνεισφοράς Modalities (MC) και Συνεισφοράς ανά Χαρακτηριστικό (PFC) σε μοντέλα και βάσεις δεδομένων, δείχνοντας το σχετικό βάρος των εισόδων βίντεο (V), ερώτησης (Q), και απάντησης (A). Ψυχρότερες αποχρώσεις δείχνουν ισχυρότερες συνεισφορές· θερμότερες αποχρώσεις δείχνουν ασθενέστερες ή αμελητέες επιρροές. Σε hầu hết τις ρυθμίσεις, η γλώσσα είναι σαφώς κυρίαρχη, με το βίντεο να περιθωριοποιείται – ιδιαίτερα στη επιρροή ανά πλάισιο.

Όσον αφορά το κείμενο, η ερώτηση είχε τη μεγαλύτερη σημασία από την απάντηση, ιδιαίτερα στα ισχυρότερα μοντέλα. Αυτό ήταν πιο εμφανές σε βάσεις δεδομένων όπως το EgoSchema, όπου οι ερωτήσεις ήταν μακρύτερες και πιο φυσικές, ενώ οι απαντήσεις ήταν σύντομες και μερικές φορές σχήματικές. Το MVBench ανέστρεψε αυτό κάπως,既然 η δυαδική δομή απάντησής του φούσκαρε την φαινομενική σημασία των token απάντησης.

Σε όλα τα μοντέλα και τις βάσεις δεδομένων, όμως, η όραση ήταν συνεχώς περιθωριοποιημένη, με τη γλώσσα να κάνει την περισσότερη δουλειά.

Το έγγραφο αναφέρει:

‘[Για] μοντέλα με μακρύ контекστο, το βίντεο δείχνει δραματικά μειωμένες συνεισφορές, που σημαίνει ότι ανά πλάισιο οι Τιμές Shapley είναι πολύ μικρότερες από τις αντίστοιχες τους στο κείμενο.

‘Το βίντεο ως μια ολόκληρη modality είναι σαφώς ακόμη πολύ σχετικό, αλλά αυτό είναι απόδειξη ότι οι Τιμές Shapley των ξεχωριστών πλαισίων του είναι πιο κεντραρισμένες γύρω από το μηδέν, και ότι η προσοχή του μοντέλου σε αυτά είναι πολύ λιγότερο καθοδηγούμενη από το κείμενο.’

Για να δοκιμάσουν πόσο κάθε μέρος της εισόδου (βίντεο, κείμενο, κ.λπ.) συνεισφέρει στην ακρίβεια του μοντέλου, οι ερευνητές διεξήγαγαν επιπλέον δοκιμές χρησιμοποιώντας masking – σκοπίμως κρύβοντας ένα ή περισσότερα μέρη της εισόδου, και βλέποντας πόσο αλλάζει η ακρίβεια του μοντέλου ως αποτέλεσμα.

Εάν η απόδοση πέσει δραματικά όταν μια συγκεκριμένη είσοδος αφαιρεθεί, αυτή η είσοδος είναι πιθανότατα σημαντική· εάν το μοντέλο εκτελείται περίπου το ίδιο, αυτό υποδηλώνει ότι το λείπων κομμάτι δεν ήταν πολύ εξαρτημένο. Σε αυτόν τον τρόπο, οι δοκιμές masking είναι ένα είδος επαναλαμβανόμενης μελέτης αφαίρεσης.

Επίδραση απόδοσης από masking βίντεο, ερώτησης, ή απάντησης εισόδων σε τέσσερις VQA δοκιμές. Οι σκορ δείχνουν αλλαγή από την αμασκέ βάση. Κόκκινο σημαίνει χαμηλότερη ακρίβεια, πράσινο σημαίνει υψηλότερη. Τα μοντέλα διατήρησαν συχνά υψηλά σκορ χωρίς βίντεο, αλλά έχαναν περισσότερο όταν η (κειμενο) απάντηση αφαιρέθηκε. Η ερώτηση μπορούσε συνήθως να mask με ελάχιστη επίδραση.

Τα αποτελέσματα (οπτικοποιημένα παραπάνω) δείχνουν ότι οι απαντήσεις (κειμενο απαντήσεις στις πολλαπλές επιλογές δεδομένων) φέρουν το μεγαλύτερο βάρος σε όλα. Το masking της απάντησης προκάλεσε τη μεγαλύτερη πτώση στην ακρίβεια, συχνά μειώνοντας τα μοντέλα σε τυχαία απόδοση.

Ωστόσο, το masking της ερώτησης είχε συνήθως πολύ λιγότερη επίδραση, που υποστηρίζει την προηγούμενη εύρεση ότι τα μοντέλα υποτιμούν την ερώτηση.

Σε ορισμένες περιπτώσεις, η ακρίβεια ακόμη και βελτιώθηκε όταν η ερώτηση αφαιρέθηκε, που υποδηλώνει ότι τα μοντέλα μερικές φορές απλώς ταιριάζουν απαντήσεις σε οπτικές ή κειμενογραφικές ενδείξεις παρά να αξιολογούν σωστά την ερώτηση.

Τα μοντέλα επίσης ποίκιλλαν στην εξάρτησή τους από το βίντεο: ορισμένα διατήρησαν μια λογική ακρίβεια χωρίς αυτό, επιβεβαιώνοντας περαιτέρω την περιορισμένη συνεισφορά των χαρακτηριστικών του βίντεου σε πολλές τρέχουσες ρυθμίσεις.

Οι συγγραφείς στη συνέχεια έτρεξαν μια δοκιμή για να δουν εάν τα μοντέλα θα μπορούσαν να αναγκαστούν να βασιστούν στο βίντεο προσθέτοντας επιπλέον λάθος απαντήσεις στις πολλαπλές επιλογές.

Όταν οι distractors ήταν εύκολες και ανακυκλωμένες από άλλες ερωτήσεις, η απόδοση βελτιώθηκε, καθώς τα μοντέλα ταιριάζουν μοτίβα κειμένου χωρίς πολύ σκέψη. Αλλά με δέκα ή περισσότερες ανεξάρτητες απαντήσεις, άρχισαν να βασίζονται περισσότερο στο βίντεο και την ερώτηση:

Συνεισφορά ανά χαρακτηριστικό και ακρίβεια για βίντεο, ερώτηση, και απάντηση εισόδων, καθώς προστίθενται επιπλέον λάθος απαντήσεις σε κάθε VQA δοκιμή, δείχνοντας ότι η αύξηση του αριθμού των distractors μειώνει την κυριαρχία του κειμένου και αυξάνει τη σχετική επιρροή των οπτικών και ερωτηματικών χαρακτηριστικών.

Για το VideoLLaMA3, το masking του βίντεο μείωσε την ακρίβεια κατά 40% στο EgoSchema και 15% στο LVBench, υποδεικνύοντας ότι μια απλή αύξηση του αριθμού των απαντήσεων μπορεί να μεταφέρει τα μοντέλα μακριά από συντόμευσεις κειμένου και προς την πραγματική πολλαπλή reasoning.

Οι ερευνητές επίσης εξέτασαν πώς η απόδοση διανέμεται σε εισόδους, και παρακάτω βλέπουμε θερμογραφίες των Τιμών Shapley για κάθε μοντέλο εισόδου:

Θερμογραφίες Τιμών Shapley για τέσσερις βάσεις δεδομένων, όπου κάθε σειρά δείχνει ένα VQA-τρίο, και κάθε στήλη ένα ξεχωριστό χαρακτηριστικό. Τα χαρακτηριστικά βίντεο εμφανίζονται στην αριστερή πλευρά, ακολουθούμενα από το κείμενο. Οι πολύ ισχυρότερες τιμές στις κόκκινες περιοχές επιβεβαιώνουν ότι τα μοντέλα βασίζονται πολύ περισσότερο στη γλώσσα παρά στο βίντεο.

Σχολιάζοντας τα αποτελέσματα παραπάνω, οι συγγραφείς αναφέρουν:

‘Η μεγέθυνση των Τιμών Shapley είναι πολύ μεγαλύτερη προς την δεξιά πλευρά κάθε θερμογραφίας, που αντιπροσωπεύει την ερώτηση και την απόδοση. Αυτό το δραματικό όριο είναι όπου τα πλαίσια του βίντεο τελειώνουν και αρχίζουν τα χαρακτηριστικά του κειμένου, δείχνοντας ότι η συνεισφορά της modalities του βίντεο είναι πολύ μικρότερη από την ερώτηση/απάντηση. ‘

Συνοψίζοντας, σε όλες τις βάσεις δεδομένων, οι τιμές είναι πολύ ισχυρότερες προς το κείμενο, δείχνοντας ότι τα μοντέλα βασίζονται πολύ περισσότερο στη γλώσσα παρά σε οπτικές ενδείξεις. Ακόμη και όπου το βίντεο χρησιμοποιείται, η συνεισφορά είναι διάσπαρτη σε πολλά πλαίσια, συχνά χωρίς σταθερό μοτίβο.

Παρακάτω βλέπουμε μια annoted пример από το EgoSchema. Τα 16 πιο ‘สำคαντα’ πλαίσια επιλέχθηκαν χρησιμοποιώντας Τιμές Shapley και χρωματίστηκαν σύμφωνα με την επιρροή τους, με μπλε που δείχνει θετική συνεισφορά και κόκκινο που δείχνει αρνητική:

Αποδόσεις Shapley για ένα μόνο пример EgoSchema, δείχνοντας τα 16 πιο επιρροούντα πλαίσια και όλα τα κείμενο-εισόδους. Οι συνεισφορές του βίντεο είναι ελάχιστες σε σύγκριση με το κείμενο, που κυριαρχεί στο λόγο του μοντέλου. Μπλε και κόκκινο δείχνουν θετική και αρνητική επιρροή στην επιλεγμένη απάντηση.

Το αποτέλεσμα είναι ότι σχεδόν κάθε πλάισιο έχει μόνο ασθενή επιρροή σε σύγκριση με τα λόγια στην ερώτηση και την απάντηση. Οι οπτικές ενδείξεις είναι σπάνιες και ασυνεπείς, ενώ ονόματα όπως ‘καρέκλα’ και ‘περίφραξη’ οδηγούν το μοντέλο προς την σωστή επιλογή – ή μακριά από αυτή, ανάλογα με το контекστο.

Συμπέρασμα

Όποιος έχει ασχοληθεί με επεξεργασία βίντεο ή ανάλυση βίντεο θα γνωρίζει ήδη πόσο πόρων-εντατική είναι αυτή η διαδικασία, και θα καταλάβει γιατί οι εταιρείες που αναλύουν εκατομμύρια αιτήματα AI κάθε μέρα δεν μπορούν να επιτρέψουν να τρέχουν ad hoc επεξεργασία και ερμηνεία βίντεο από τους χρήστες.

Ένα πράγμα να θυμάστε σε αυτή τη σχέση είναι ότι σχεδόν κάθε API AI διεπαφής που θα δοκιμάσετε (με την πιθανή εξαίρεση ενός καινούριου και βραχύβιου demo για την υποστήριξη νέων επιστημονικών ερευνών) προσπαθεί να εκπληρώσει τις επιθυμίες των χρηστών στο ελάχιστο δυνατό επίπεδο δαπάνης πόρων.

Αυτό σημαίνει να βασίζονται σε υπάρχοντα μεταδεδομένα από δεδομένα που παρέχονται από τους χρήστες ή RAG retrievals, αν είναι δυνατόν· και να εξάγουν (αν είναι απολύτως απαραίτητο) μεταδεδομένα για πιο αναγνώσιμες μορφές όπως PDF, έγγραφα και單ικές εικόνες.

Τι δεν είναι στο τραπέζι είναι το τρέξιμο του ανεβαθέντος βίντεο μέσω CLIP ή της τελευταίας YOLO έκδοσης, ή μέσω οποιασδήποτε πόρων-εντατικής και χρονοβόρας VLM που μπορεί πραγματικά να αναγνωρίσει τι υπάρχει στα πλαίσια και να κατανοήσει τι συμβαίνει στο παρεχόμενο βίντεο, λαμβάνοντας υπόψη τη χρονικότητα.

Ωστόσο, αυτό δεν σημαίνει ότι τα φαινόμενα που τεκμηριώνονται από την τρέχουσα εργασία προέρχονται απαραίτητα από οικονόμους αρχιτεκτονικούς προσεγγίσεις. Οι συγγραφείς παρατηρούν ότι το κείμενο κυριαρχεί στα state-of-the-art πολυτροπικά μοντέλα εκπαίδευσης σε κάθε περίπτωση, υποδεικνύοντας ότι η ‘οπτική γλώσσα’ είναι είτε λιγότερο ανεπτυγμένη, λιγότερο σημαντική ή ενημερωτική σε ένα πολυτροπικό контекστο, είτε (τουλάχιστον για την ώρα) λιγότερο καλά κατανοητή,

* Ενδιαφέρον, το υλικό που το NotebookLM ήρθε με φαίνεται να είναι είτε εντελώς πρωτότυπο είτε τελείως μη-εμφανιζόμενο από το Google, καθώς δεν μπορώ να βρω κανένα αποτέλεσμα που θα μπορούσε να είχε κρυφτεί στο σύνολο δεδομένων εκπαίδευσης και να προκάλεσε αυτή την έξοδο.

Πρώτη δημοσίευση Παρασκευή, 31 Οκτωβρίου 2025· επεξεργασία 14:20 για μορφοποίηση